Decart, Oasis3 출시:로봇공학 교육을 위한 현실적이고 지연 시간이 짧은 세계 모델

프론티어 AI 연구소 Decart는 합성 시뮬레이션과 실제 AI 배포 간의 격차를 해소하기 위해 설계된 세계 모델인 Oasis3를 출시했습니다.

이번 달 공개된 비디오 출력 엔진은 로봇 및 자율주행차 제어 시스템의 훈련을 가속화하여 예측할 수 없는 실제 상황에서도 성공할 수 있도록 지원합니다.

로봇 공학 개발자는 복잡한 실제 환경을 탐색할 수 있는 시스템을 교육하는 데 필요한 고품질 데이터가 부족하다는 점에 직면해 있습니다.

차량은 고정된 교통 원뿔이 있는 고정된 주차장에서 조종하는 방법을 배울 수 있지만 개방형 도로는 날씨, 조명 및 동적 장애물이 끊임없이 변화하는 훨씬 더 까다로운 환경을 제공합니다.

폭우, 갑작스러운 장애물, 불규칙한 교통 등 도시 거리의 혼란을 처리하기 위한 훈련 시스템은 Oasis3가 해결해야 할 뚜렷한 과제를 나타냅니다.

로봇공학 훈련 병목현상

LLM(대형 언어 모델)이 급증했지만 범용 로봇 공학, 즉 물리적 AI는 리치 미디어 리소스 부족으로 인해 뒤쳐졌습니다.

Bessemer Ventures는 LLM 개발자가 수십억 개의 공개 웹 페이지를 스크랩함으로써 이익을 얻을 수 있다고 언급했습니다. 이는 물리적 공간 내에서 해석하고 행동해야 하는 VLA(Vision-Language-Action) 모델에서는 사용할 수 없는 사치입니다.

VLA 모델은 환경 데이터를 수집하고 처리한 후 응답합니다. 이들을 교육하는 데에는 세 가지 기본 경로가 제공됩니다:

• 원격운영 —인간 조작자는 통제된 슈트를 입고 로봇의 행동을 흉내냅니다. 최고 품질의 데이터를 생성하지만 엄청나게 비싸고 느리기 때문에 대규모 배포가 비실용적입니다.
• 오픈 웹 동영상 —쉽게 사용할 수 있지만 지저분하고 일관된 환경, 공간 원격 측정 및 직접적인 조치 조건이 부족합니다.
• 합성 데이터 —중간 수준이지만 현재 물리 엔진은 실제 뉘앙스가 부족하여 소위 시뮬레이션과 실제 간극이 발생합니다. .

이러한 격차는 기름 유출, 깨지기 쉬운 포장, 예상치 못한 잔해 등 실제 무작위성으로 인해 자율 시스템의 균형이 무너지고 한계가 드러날 때 드러납니다.

폐쇄 루프 생성 시뮬레이션으로 격차 해소

Decart는 Oasis3가 사실적인 모션 그래픽과 강력한 물리 엔진을 융합하여 기존의 가상 훈련 한계를 해소한다고 주장합니다.

단일 고성능 훈련 루프에 내장된 Oasis3는 개발자가 상상하는 거의 모든 혼란스러운 시나리오를 생성할 수 있는 동작 조절 비디오 스트림을 생성하여 현실을 밀접하게 반영하는 훈련 환경을 만듭니다.

이 플랫폼은 완전히 제어 가능한 다중 뷰, 초현실적인 환경을 지원합니다. 자율 주행 자동차의 측면 편차는 강화 학습 요구 사항 내에서 200ms 이내에 관점을 조정하는 생성 스트림을 촉발합니다.

Nvidia의 물리적 AI 생태계와 공동 설계한 Oasis3는 CoreWeave의 전문 클라우드 인프라에서 22fps로 실행되어 512×768×3 해상도의 대화형 가상 환경을 제공합니다.

다양한 각도에서 공간적, 시간적 일관성을 유지하는 기본 3개 카메라 보기를 제공하여 자율 시스템이 깊이와 주변 상황을 정확하게 측정할 수 있도록 합니다.

Oasis3는 Decart의 API를 통해 액세스할 수 있으므로 개발자는 이를 기존 물리적 AI 시뮬레이션 파이프라인에 원활하게 통합할 수 있습니다.

미지의 영역을 정복하기 위한 로봇 훈련

SF 수준의 휴머노이드를 구현하려면 자율주행차의 카메라가 진흙으로 가려진 상태에서 하중이 도로에 떨어지는 등 실험실에서 재현할 수 없는 특수한 상황을 실시간으로 관리하도록 로봇을 훈련해야 합니다.

Oasis3는 개발자가 간단한 자연어 프롬프트를 사용하여 다양한 각도, 날씨 조건 및 도로 표면에 걸쳐 이러한 이벤트의 무한한 변형을 만들 수 있도록 지원합니다.

모델을 수백만 가지 위험에 저렴하게 노출함으로써 개발자는 그럴듯한 실제 시나리오에 대한 준비를 보장할 수 있습니다.