CMU 연구원이 교차 모드 시뮬레이션 데이터를 사용하여 자율 드론을 훈련

자율 비행을 하려면 드론이 환경에서 인식하는 것을 이해하고 해당 정보를 기반으로 결정을 내려야 합니다. (아래 동영상 참조)

Carnegie Mellon University 연구원들이 개발한 새로운 방법을 통해 드론은 인식과 행동을 별도로 학습할 수 있습니다.

2단계 접근 방식은 "시뮬레이션과 현실의 격차"를 극복하고 시뮬레이션된 데이터로 완전히 훈련된 드론을 실제 코스 탐색에 안전하게 배포하는 방법을 만듭니다.

컴퓨터 과학 학교 로봇 연구소의 박사 과정 학생인 Rogerio Bonatti는 다음과 같이 말합니다. 피>

"우리의 인식 모듈은 환경적 변화에 대한 견고성을 높이기 위해 두 가지 방식으로 훈련되었습니다."

드론의 인식을 훈련하는 데 도움이 되는 첫 번째 양식은 이미지입니다. 연구원들은 사실적인 시뮬레이터를 사용하여 드론, 축구장, 땅에서 솟아올라 트랙을 만들기 위해 무작위로 배치된 빨간색 사각형 게이트를 포함하는 환경을 만들었습니다.

그런 다음 무작위로 생성된 수천 개의 드론 및 게이트 구성에서 시뮬레이션된 이미지의 대규모 데이터 세트를 구축했습니다.

지각에 필요한 두 번째 양식은 공간에서 게이트의 위치와 방향을 아는 것인데, 이는 연구원들이 시뮬레이션된 이미지 데이터 세트를 사용하여 달성한 것입니다.

여러 양식을 사용하여 모델을 교육하면 드론의 경험에 대한 강력한 표현이 강화됩니다. 즉, 시뮬레이션에서 현실로 변환되는 방식으로 필드와 게이트의 본질을 이해할 수 있습니다.

더 적은 픽셀을 갖도록 이미지를 압축하면 이 프로세스에 도움이 됩니다. 저차원 표현에서 학습하면 모델이 실제 세계의 시각적 노이즈를 통해 보고 게이트를 식별할 수 있습니다.

인식을 학습한 연구원은 시뮬레이션 내에 드론을 배치하여 제어 정책 또는 물리적 이동 방법을 학습할 수 있습니다.

이 경우 코스를 탐색하고 각 게이트를 만날 때 적용할 속도를 학습합니다. 시뮬레이션된 환경이기 때문에 프로그램은 배치 전에 드론의 최적 궤적을 계산할 수 있습니다.

이 방법은 실제 학습이 위험하고 시간이 많이 걸리고 비용이 많이 들 수 있기 때문에 전문가 연산자를 사용하는 수동 지도 학습에 비해 이점을 제공합니다.

드론은 연구원이 지시한 훈련 단계를 거쳐 코스를 탐색하는 법을 배웁니다. Bonatti는 드론이 현실 세계에서 필요로 하는 특정한 민첩성과 방향에 도전한다고 말했습니다.

Bonatti는 다음과 같이 말합니다. “드론이 서로 다른 트랙 모양에서 왼쪽과 오른쪽으로 회전하도록 합니다. 이는 노이즈를 추가할수록 더 단단해집니다. 로봇은 특정 트랙을 통해 재생산하는 법을 배우지 않습니다.

"오히려 시뮬레이션된 드론을 전략적으로 지시하여 모든 요소와 움직임 유형을 학습하여 자율적으로 경주하고 있습니다."

Bonatti는 현재 기술을 활용하여 환경 신호를 해석하는 인간의 능력에 접근하고자 합니다.

그는 다음과 같이 말합니다. "지금까지 자율 드론 경주에 대한 대부분의 작업은 속도만을 목표로 추가 센서와 소프트웨어로 증강된 시스템을 엔지니어링하는 데 중점을 두었습니다.

"대신, 우리는 인간 두뇌의 기능에서 영감을 받은 컴퓨터 패브릭을 만드는 것을 목표로 했으며, 잠재된 표현을 통해 시각적 정보를 올바른 제어 작업에 매핑했습니다."

그러나 드론 레이싱은 이러한 유형의 학습을 위한 하나의 가능성일 뿐입니다. 지각과 통제를 분리하는 방법은 운전이나 요리와 같은 인공 지능을 위한 다양한 작업에 적용될 수 있습니다.

이 모델은 인식을 가르치기 위해 이미지와 위치에 의존하지만 소리와 모양과 같은 다른 양식은 자동차, 야생 동물 또는 물체 식별과 같은 노력에 사용될 수 있습니다.

이 작업에 기여한 연구원으로는 Carnegie Mellon의 Sebastian Scherer와 Microsoft Corporation의 Ratnesh Madaan, Vibhav Vineet 및 Ashish Kapoor가 있습니다.

교차 모달 표현을 사용한 항공 항법을 위한 시각 운동 정책 학습 , 지능형 로봇 및 시스템에 관한 국제 회의 2020에 채택되었습니다.

이 논문의 코드는 오픈 소스이며 다른 연구자들이 사용할 수 있습니다.