페이스북 AI, 지도 없이 나침반·카메라·GPS만으로 자율 내비게이션… DD-PPO 알고리즘 개발

맵 없는 복잡 환경 탐색, 강화학습으로 돌파

물리 세계와 스마트하게 상호작용하는 지능형 기계 개발은 AI 커뮤니티 장기 목표. 주요 과제: 이 기계들 효율적으로 복잡하고 낯선 환경 지도 없이 탐색하게 가르치기.

보통 실제 지도 몇 달 내 구식됨. 건물·구조물 변하고 객체 이동. 그래서 지도 없이 물리 세계용 AI 구축 필수.

이 점 고려해 페이스북 AI 연구진 나침반 데이터, RGB-D 카메라, GPS만 사용해 포인트골 내비게이션(point-goal navigation) 작업 효과적 해결하는 새 강화학습(RL) 알고리즘 개발. 대규모 알고리즘 'DD-PPO'(분산 근접 정책 최적화) 명명.

잘 확장되는 새 RL 분산 아키텍처

요즘 ML 기반 시스템 다양한 복잡 게임서 인간 전문가 능가. 하지만 이 시스템들 방대 훈련 샘플 의존해 대규모 분산 병렬화 없이 구축 불가능.

현재 분산 강화학습 아키텍처 — 수천 워커(CPU) 단일 파라미터 서버 포함 — 잘 확장 안 됨. 그래서 연구진 동기식 분산 강화학습 기법 제안.

DD-PPO 여러 머신 걸쳐 실행, 파라미터 서버 없음. 각 워커(CPU) GPU 가속 리소스 집약적 시뮬레이션 환경서 경험 수집과 모델 최적화 번갈아 수행. 명시적 통신 상태서 모든 워커 모델 업데이트 동기화. 즉 분산 동기식.

모든 워커 에이전트 포인트골 내비게이션 시뮬레이션, 모델 최적화, 업데이트 동기화 | DD-PPO 훈련 중 데이터 공유 방식

이 접근법으로 DD-PPO 준선형 확장성 보임: 직렬 구현 대비 128 GPU서 107배 속도향상 달성.

참고: arXiv:1911.00357 | Facebook AI

근완벽 포인트골 내비게이션

포인트골 내비게이션에서 에이전트 낯선 환경 임의 초기 위치/방향 배치, 지도 없이 목표 좌표 탐색 임무. 나침반, GPS, RGB 또는 RGB-D 카메라만 사용 가능.

연구진 DD-PPO 확장성 활용해 에이전트 25억 스텝 훈련, 인간 80년 경험 상당. 몇 달 아닌 64 GPU로 3일 미만 훈련 완료.

결과: 1억 스텝(적은 컴퓨팅 리소스 8 GPU)서 최고 성능 90% 획득. 수십억 스텝 경험으로 에이전트 99.9% 성공률. 대조 이전 시스템 92% 성공률.

잘못된 경로 선택 후 백트래킹해 목표 위치 도달하는 에이전트 | 연구진 제공

응용 분야

이 AI 에이전트들 물리 세계 사람 도움 가능. 예: AR 안경 착용자 관련 정보 표시, 로봇 위층 책상 물건 가져오기, 시각장애인 도움 AI 시스템.

이 연구 구축 모델들 실험실·오피스 빌딩 내부 등 일반 설정서 작동, 추가 데이터포인트(지도·GPS 데이터) 없을 때.

이미지넷 사전훈련 CNN 능가하며 범용 리소스 역할 가능. 하지만 복잡 환경 탐색 학습 시스템 개발 위해 아직 할 일 많음. 연구진 현재 RGB-only 포인트골 내비게이션 구현 새 접근법 탐색 중.