CMU, 크로스 모달 시뮬레이션 데이터로 자율 드론 학습 혁신

시뮬레이션-현실 격차 해소한 2단계 학습법 개발

자율 비행을 위해 드론은 환경에서 인지한 것을 이해하고 그 정보를 바탕으로 의사결정을 내려야 합니다(아래 영상 참조).

카네기 멜론 대학교(CMU) 연구진이 개발한 새로운 방법으로 드론은 인지(perception)와 행동(action)을 별도로 학습할 수 있게 되었습니다.

이 2단계 접근법은 '시뮬레이션-현실 격차(simulation-to-reality gap)'를 극복하고, 시뮬레이션 데이터만으로 학습한 드론을 실제 코스 내비게이션에 안전하게 배치하는 길을 열었습니다.

연구 배경과 접근법

로보틱스 연구소 박사과정 로헤리오 보나티(Rogerio Bonatti)는 "최고 수준의 포토리얼리스틱 시뮬레이션 데이터로 학습한 드론도 조명, 색상, 질감이 여전히 너무 달라 현실에서 실패합니다. 우리 인지 모듈은 두 가지 양상(modality)으로 학습해 환경 변화에 대한 강건성을 높였습니다."라고 설명했습니다.

두 가지 학습 양상

1. 이미지(Image): 포토리얼리스틱 시뮬레이터로 드론, 축구장, 지면에서 띄워진 빨간 사각 게이트가 무작위 배치된 트랙 환경 구축. 수천 가지 무작위 드론·게이트 구성에서 대규모 시뮬레이션 이미지 데이터셋 생성.
2. 게이트 위치·방향(Position & Orientation): 시뮬레이션 이미지 데이터셋을 활용해 게이트의 공간적 위치와 방향 정보 학습.

다중 양상으로 모델을 학습시키면 드론의 경험에 대한 강건한 표현이 강화되어, 시뮬레이션에서 현실로 전이되는 방식으로 필드와 게이트의 본질을 이해하게 됩니다.

이미지를 더 적은 픽셀로 압축하면 이 과정을 돕습니다. 저차원 표현으로 학습하면 현실 세계의 시각적 노이즈를 꿰뚫어 보고 게이트를 식별할 수 있게 됩니다.

제어 정책 학습

인지가 학습되면 연구진은 드론을 시뮬레이션 내에 배치해 제어 정책(물리적 이동 방식)을 학습시킵니다.

이 경우 코스 탐색 중 각 게이트 조우 시 어떤 속도를 적용할지 학습합니다. 시뮬레이션 환경이므로 배포 전 프로그램으로 드론의 최적 궤적을 계산할 수 있습니다.

이 방식은 전문 오퍼레이터가 감독하는 수작업 학습 대비 장점이 있습니다. 현실 학습은 위험하고, 시간 많이 들고, 비용이 많이 들기 때문입니다.

전략적 훈련으로 자율 레이싱 역량 확보

드론은 연구진이 정한 훈련 단계를 거치며 코스 탐색을 학습합니다. 보나티는 드론이 현실에서 필요로 할 특정 민첩성과 방향을 도전시킵니다.

보나티: "드론을 좌우로 다양한 트랙 모양에서 돌게 하는데, 노이즈를 추가하며 난이도를 높입니다. 로봇이 특정 트랙 통과를 재현하는 게 아닙니다. 시뮬레이션 드론을 전략적으로 조종함으로써 자율 레이싱에 필요한 모든 요소와 움직임 유형을 학습하는 것입니다."

인간 수준 환경 해석 능력 지향

보나티는 현재 기술을 인간의 환경 큐 해석 능력 수준으로 끌어올리고자 합니다.

"지금까지 자율 드론 레이싱 연구는 속도만을 목표로 추가 센서와 소프트웨어로 시스템을 보강하는 데 집중했습니다. 우리는 인간의 뇌 기능을 모방한 계산 구조를 만들어, 시각 정보를 잠재 표현을 거쳐 올바른 제어 행동으로 매핑하는 것을 목표로 했습니다."

확장 가능성

드론 레이싱은 이 학습법의 한 가지 가능성일 뿐입니다. 인지와 제어 분리는 운전, 요리 등 AI의 다양한 작업에 적용 가능합니다.

이 모델은 이미지와 위치를 사용해 인지를 가르치지만, 소리, 형태 등 다른 양상으로 자동차, 야생동물, 물체 식별 등에도 응용할 수 있습니다.

참여 연구진 및 논문 정보

• CMU 세바스찬 셰러(Sebastian Scherer), 마이크로소프트 라트네시 마단(Ratnesh Madaan), 비바브 비니트(Vibhav Vineet), 아시시 카푸어(Ashish Kapoor) 공동 참여
• 논문 Learning Visuomotor Policies for Aerial Navigation Using Cross-Modal Representations, IROS 2020 채택
• 코드 오픈소스로 공개