데카르트(Decart), 로봇 훈련용 사실적 저지연 월드 모델 '오아시스 3' 출시

프론티어 AI 연구소 데카르트(Decart)가 합성 시뮬레이션과 실제 AI 배포 사이의 간극을 메우기 위해 설계된 월드 모델 '오아시스 3(Oasis 3)'을 출시했습니다.

이번 달 공개된 비디오 출력 엔진은 로봇 및 자율주행차 제어 시스템의 훈련을 가속화하여 예측 불가능한 실제 조건에서 살아남을 수 있게 합니다.

로보틱스 개발자들은 복잡한 실제 환경을 탐색할 시스템을 훈련하는 데 필요한 고품질 데이터 부족에 직면해 있습니다.

차량은 고정된 교통 콘이 있는 정적 주차장에서 주행하는 법을 배울 수 있지만, 실제 도로는 날씨, 조명, 동적 장애물이 끊임없이 변하는 훨씬 더 까다로운 환경을 제시합니다.

폭우, 돌발 장애물, 불규칙한 교통 등 도시 거리의 혼란을 처리하도록 시스템을 훈련시키는 것은 오아시스 3이 해결하는 독특한 과제입니다.

로보틱스 훈련 병목 현상

대규모 언어 모델(LLM)이 앞서 나갔지만, 범용 로보틱스(물리적 AI)는 주로 풍부한 미디어 리소스 부족으로 뒤처져 있습니다.

베세머 벤처스(Bessemer Ventures)는 LLM 개발자가 수십억 공개 웹 페이지를 스크래핑하는 혜택을 누리는 반면, 물리적 공간에서 해석하고 행동해야 하는 비전-언어-액션(VLA) 모델은 그런 사치가 없다고 지적했습니다.

VLA 모델은 환경 데이터를 흡수하고 처리한 후 반응합니다. 훈련에는 세 가지 주요 경로가 있습니다:

• 텔레오퍼레이션 – 인간 운영자가 제어 슈트에서 로봇 동작 모방. 최고 품질 데이터 산출하지만 비용과 시간이 엄청나 대규모 배포 비현실적.
• 오픈 웹 비디오 – 쉽게 구하지만 지저분하며, 일관된 환경, 공간 텔레메트리, 직접적 행동 조건화 부족.
• 합성 데이터 – 중간 지대지만 현재 물리 엔진은 실제 뉘앙스에 미치지 못해 소위 심-투-리얼 갭(sim-to-real gap) 발생.

이 갭은 기름 유출, 깨지기 쉬운 포장, 예상치 못한 파편 같은 실제 무작위성이 자율 시스템의 균형을 무너뜨리며 한계를 드러낼 때 나타납니다.

폐루프 생성 시뮬레이션으로 갭 해소

데카르트는 오아시스 3이 사실적인 모션 그래픽과 견고한 물리 엔진을 융합하여 기존 가상 훈련 한계를 극복한다고 주장합니다.

단일 고성능 훈련 루프에 임베디드된 오아시스 3은 개발자가 상상하는 거의 모든 혼란스러운 시나리오를 생성할 수 있는 액션 조건부 비디오 스트림을 생성하여 현실을 밀접하게 반영하는 훈련 환경을 만듭니다.

플랫폼은 완전 제어 가능한 멀티뷰, 초현실적 환경을 지원합니다. 자율주행차의 횡방향 편차가 200ms 미만으로 관점을 조정하는 생성 스트림을 트리거합니다. 이는 강화 학습 요구사항 내에 잘 맞습니다.

엔비디아의 물리적 AI 생태계와 공동 설계된 오아시스 3은 코어위브(CoreWeave)의 특수 클라우드 인프라에서 22fps로 실행되며, 512×768×3 해상도에서 인터랙티브 가상 환경을 제공합니다.

공간적, 시간적 일관성을 여러 각도에서 보존하는 네이티브 3카메라 뷰를 제공하여 자율 시스템이 깊이와 주변 맥락을 정확하게 측정할 수 있게 합니다.

오아시스 3은 데카르트 API를 통해 접근 가능하여 개발자가 기존 물리적 AI 시뮬레이션 파이프라인에 원활하게 통합할 수 있습니다.

미지의 영역을 정복하도록 로봇 훈련

SF 수준의 휴머노이드를 달성하려면 실험실에서 복제 불가능한 독특한 에지 케이스를 실시간으로 관리하도록 로봇을 훈련해야 합니다. 예를 들어 자율주행차 카메라가 진흙으로 가려진 동안 도로에 짐이 떨어지는 상황.

오아시스 3은 개발자가 간단한 자연어 프롬프트로 다양한 각도, 날씨 조건, 노면 상태에서 이러한 이벤트의 무한한 변형을 생성할 수 있게 합니다.

수백만 가지 위험에 저렴하게 노출시킴으로써 개발자는 모든 그럴듯한 실제 시나리오에 대한 준비성을 보장할 수 있습니다.