개 훈련 기법으로 로봇 신속 학습: 긍정 강화로 며칠 만에 기술 습득

개를 앉히고 기다리게 하는 데 흔히 쓰이는 훈련 기법으로 컴퓨터 과학자들이 로봇에게 블록 쌓기 등 여러 새로운 트릭을 스스로 익히게 했다. 이 방법으로 로봇 '스팟(Spot)'은 일반적으로 한 달 걸리던 걸 며칠 만에 배웠다. 긍정 강화(positive reinforcement) — 개 행동 변화에 간식을 쓰는 사람에게 익숙한 접근법 — 를 사용해 팀은 로봇의 기술을 극적으로 향상시켰고, 실제 업무용 로봇 훈련을 더 실행 가능하게 할 만큼 빠르게 했다.

인간과 동물은 직관적인 뇌를 타고나지만, 컴퓨터는 백지 상태여서 모든 걸 처음부터 배워야 한다. 하지만 진정한 학습은 종종 시행착오로 이뤄지며, 로봇공학자들은 여전히 로봇이 실수로부터 효율적으로 배우는 법을 찾고 있다. 팀은 개에게 간식이 작용하는 방식처럼 로봇에 작동하는 보상 시스템을 고안해 이를 달성했다. 개가 잘하면 쿠키를 받듯, 로봇은 숫자 포인트를 얻는다.

블록을 쌓기 위해 스팟은 건설적 행동에 집중하는 법을 배워야 했다. 로봇이 블록들을 탐색하면서 올바른 쌓기 행동은 높은 포인트를, 잘못된 행동은 아무 포인트도 주지 않음을 빠르게 학습했다. 4단 블록 탑 맨 위에 마지막 블록을 올릴 때 가장 많은 포인트를 얻었다.

이 훈련 전술은 효과적일 뿐만 아니라 로봇이 몇 주 걸리던 걸 며칠 만에 배우게 했다. 팀은 시뮬레이션 로봇(비디오 게임과 비슷)을 먼저 훈련시키고 스팟으로 테스트해 연습 시간을 줄였다. 로봇은 최고의 보상을 얻기 위한 올바른 행동을 빠르게 학습한다. 사실 로봇이 100% 정확도를 달성하는 데 한 달 걸리던 게 이틀 만에 끝났다.

긍정 강화는 로봇이 스스로 블록 쌓기를 배우게 도왔을 뿐 아니라, 포인트 시스템으로 시뮬레이션 내비게이션 게임 플레이 등 여러 다른 작업도 빠르게 익히게 했다. 실수로부터 모든 유형의 상황에서 배우는 능력은 새로운 환경에 적응하는 로봇 설계에 필수적이다.

팀은 이 발견이 가사 로봇의 빨래와 설거지 훈련을 돕고 — 노인 독립 생활 지원 — 향상된 자율주행차 설계나 제품 조립에도 도움이 될 수 있다고 상상한다.

자세한 정보는 질 로젠(Jill Rosen)에게 문의: 이메일(스팸봇 보호, 자바스크립트 필요) / 전화: 443-547-8805.