시뮬레이션 기반 파이프라인으로 덱스터스 로봇 훈련 데이터 맞춤화

PhysicsGen: 수십 건 VR 시연을 수천 개 로봇별 시뮬레이션으로 증폭

ChatGPT나 제미나이(Gemini)가 여러분의 질문에 전문가다운 답변을 줄 때, 그 답변이 얼마나 많은 정보에 의존하는지 깨닫지 못할 수 있습니다. 다른 인기 생성형 AI 모델처럼 이 챗봇들은 수십억, 심지어 수조 개의 데이터 포인트로 훈련되는 파운데이션 모델이라는 백본 시스템에 의존합니다.

로봇 파운데이션 모델을 위한 데이터 수집 과제

비슷한 맥락에서 엔지니어들은 집과 공장에서 물체 집기, 이동, 내려놓기 같은 새로운 기술을 다양한 로봇에 훈련시키는 파운데이션 모델을 구축하려 합니다. 문제는 여러 로봇 시스템 간에 교육 데이터를 수집하고 전송하기 어렵다는 것입니다. 가상현실(VR) 같은 기술로 하드웨어를 단계별로 원격 조작해 시스템을 가르칠 수 있지만, 시간이 많이 걸립니다. 인터넷의 비디오로 훈련하는 것은 덜 교육적입니다. 클립이 특정 로봇을 위한 단계별 전문 작업 안내를 제공하지 않기 때문입니다.

PhysicsGen: 시뮬레이션 주도 데이터 생성 접근법

MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)와 로보틱스 및 AI 연구소의 'PhysicsGen'이라는 시뮬레이션 주도 접근법은 로봇이 작업에 대한 가장 효율적인 움직임을 찾도록 로봇 훈련 데이터를 맞춤화합니다. 이 시스템은 수십 건의 VR 시연을 기계당 거의 3,000개 시뮬레이션으로 증폭시킵니다. 이러한 고품질 지침은 로봇 팔과 손 같은 기계적 동반자의 정확한 구성에 매핑됩니다.

3단계 파이프라인 프로세스

PhysicsGen은 3단계 프로세스를 통해 특정 로봇과 조건에 일반화되는 데이터를 생성합니다:

1. VR 헤드셋이 인간이 블록 같은 물체를 손으로 조작하는 방식을 추적합니다. 이 상호작용은 동시에 3D 물리 시뮬레이터에 매핑되어 손의 주요 포인트를 우리 제스처를 거울처럼 반영하는 작은 구로 시각화합니다. 예를 들어 장난감을 뒤집으면 그 물체의 가상 버전을 회전시키는 손의 다른 부분을 나타내는 3D 형태를 볼 수 있습니다.
2. 파이프라인은 이 포인트들을 특정 기계(로봇 팔 등) 설정의 3D 모델에 리매핑해 시스템이 비틀리고 회전하는 정확한 '관절'로 이동시킵니다.
3. PhysicsGen은 궤적 최적화(본질적으로 작업을 완료하는 가장 효율적인 움직임 시뮬레이션)를 사용해 로봇이 상자 재배치 같은 작업을 수행하는 최선의 방법을 알도록 합니다.

훈련 데이터 포인트로서의 시뮬레이션

각 시뮬레이션은 로봇이 물체를 다루는 잠재적 방법을 안내하는 상세한 훈련 데이터 포인트입니다. 정책(로봇이 따르는 행동 계획)에 구현되면 기계는 작업에 접근하는 다양한 방법을 가지게 되고, 하나가 작동하지 않으면 다른 움직임을 시도할 수 있습니다.

"우리는 인간이 각 기계마다 전문 시연을 재녹화할 필요 없이 로봇별 데이터를 생성하고 있습니다."라고 MIT 전기공학 및 컴퓨터과학 박사과정이자 CSAIL 소속, 새 프로젝트 논문 제1저자인 루지에 양(Lujie Yang)은 말했습니다. "우리는 자율적이고 효율적인 방식으로 데이터를 확장해 작업 지침을 더 넓은 범위의 기계에 유용하게 만들고 있습니다."

검증 결과와 향후 전망

이렇게 많은 로봇 교육 궤적을 생성하면 결국 로봇 팔과 덱스터스 핸드 같은 기계를 안내하는 거대한 데이터셋 구축에 도움이 될 수 있습니다. 예를 들어 파이프라인은 두 로봇 팔이 창고 물품을 협업해 집어 올리고 올바른 배송 상자에 넣도록 도울 수 있습니다. 시스템은 두 로봇이 컵 치우기 같은 가정 작업을 함께 수행하도록 안내할 수도 있습니다.

PhysicsGen의 잠재력은 오래된 로봇이나 다른 환경을 위해 설계된 데이터를 새로운 기계에 유용한 지침으로 변환하는 데까지 확장됩니다. "특정 유형의 로봇을 위해 수집되었음에도 불구하고, 우리는 이 이전 데이터셋을 되살려 더 일반적으로 유용하게 만들 수 있습니다."라고 양은 말했습니다. PhysicsGen은 단 24개의 인간 시연을 수천 개의 시뮬레이션으로 전환해 디지털 및 실제 로봇 모두의 물체 재방향을 도왔습니다.

양과 동료들은 먼저 떠다니는 로봇 손이 블록을 목표 위치로 회전해야 하는 가상 실험에서 파이프라인을 테스트했습니다. 디지털 로봇은 PhysicsGen의 거대한 데이터셋으로 훈련해 81% 정확도로 작업을 수행했으며, 인간 시연만 학습한 기준선보다 60% 향상되었습니다.

연구자들은 또한 PhysicsGen이 가상 로봇 팔들이 물체를 조작하기 위해 협업하는 방식을 개선할 수 있음을 발견했습니다. 그들의 시스템은 두 쌍의 로봇이 순수 인간 교육 기준선보다 최대 30% 더 자주 작업을 성공적으로 수행하도록 도운 추가 훈련 데이터를 생성했습니다.

한 쌍의 실제 로봇 팔 실험에서도 연구자들은 기계들이 큰 상자를 지정된 위치로 뒤집기 위해 협업할 때 유사한 개선을 관찰했습니다. 로봇이 의도한 궤적에서 벗어나거나 물체를 잘못 다루었을 때, 교육 데이터 라이브러리에서 대체 궤적을 참조해 중간에 복구할 수 있었습니다.

"이 모방 유도 데이터 생성 기술은 인간 시연의 강점과 로봇 모션 플래닝 알고리즘의 힘을 결합합니다."라고 도요타 전기공학컴퓨터과학 석좌교수이자 도요타 연구소 대형 행동 모델 수석 부사장, CSAIL 수석연구원인 러스 테드레이크(Russ Tedrake)는 말했습니다.

"단일 인간 시연만으로도 모션 플래닝 문제를 훨씬 쉽게 만들 수 있습니다."라고 테드레이크는 말했습니다. "미래에는 아마도 파운데이션 모델이 이 정보를 제공할 수 있을 것이고, 이 유형의 데이터 생성 기술은 그 모델에 대한 일종의 사후 훈련 레시피를 제공할 것입니다."

새로운 작업으로의 확장 가능성

머지않아 PhysicsGen은 기계가 실행할 수 있는 작업 다양화라는 새로운 개척지로 확장될 수 있습니다. "PhysicsGen을 사용해 로봇에게 물 따르기를 가르치고 싶은데, 접시 치우기만 훈련되었을 때를 예로 들 수 있습니다."라고 양은 말합니다. "우리 파이프라인은 친숙한 작업에 대한 동역학적으로 실현 가능한 동작을 생성할 뿐만 아니라, 인간이 시연하지 않은 완전히 새로운 작업을 달성하기 위한 빌딩 블록이 될 수 있는 다양한 물리적 상호작용 라이브러리를 생성할 잠재력도 가지고 있습니다."

광범위하게 적용 가능한 대량의 훈련 데이터 생성은 결국 로봇을 위한 파운데이션 모델 구축에 도움이 될 수 있지만, MIT 연구자들은 이것이 다소 먼 목표라고 경고합니다. CSAIL 주도 팀은 PhysicsGen이 어떻게 방대하고 비정형적인 리소스(인터넷 비디오 등)를 시뮬레이션의 씨앗으로 활용할 수 있는지 조사 중입니다. 목표: 일상적인 시각 콘텐츠를 누구도 명시적으로 가르치지 않은 작업을 기계에 가르칠 수 있는 풍부한 로봇 준비 데이터로 변환하는 것입니다.

양과 동료들은 또한 미래에 다양한 형태와 구성의 로봇에 PhysicsGen을 더 유용하게 만들 것을 목표로 합니다. 이를 위해 로봇 관절이 어떻게 움직이는지 포착하는 실제 로봇 시연 데이터셋을 활용할 계획입니다. 또한 강화학습(AI 시스템이 시행착오로 학습)을 통합해 PhysicsGen이 인간 제공 예시를 넘어 데이터셋을 확장하도록 할 계획입니다. 고급 지각 기술을 파이프라인에 보강해 로봇이 환경을 시각적으로 지각하고 해석하게 해 기계가 물리적 세계의 복잡성을 분석하고 적응할 수 있게 할 수도 있습니다.

현재 PhysicsGen은 AI가 어떻게 같은 카테고리(특히 강체) 내 다른 로봇들에게 물체 조작을 가르치는 데 도움이 될 수 있는지 보여줍니다. 파이프라인은 곧 로봇이 부드러운 물체(과일)와 변형 가능한 물체(점토)를 다루는 최선의 방법을 찾도록 도울 수 있지만, 그런 상호작용은 아직 시뮬레이션하기 쉽지 않습니다.

출처