엔비디아, 실제 영상에서 대화형 3D 환경 생성하는 AI 공개

• 연구자들이 새로운 유형의 비디오-투-비디오 합성 시연
• 개발자가 실제 비디오에서 완전 대화형 3D 환경을 렌더링할 수 있게 함
• 2K 해상도의 30초 길이 비디오 생성 가능

약 20년 전 엔비디아는 세계 최초의 GPU를 선보이며 3D 게임 성능에 비약적인 도약을 가져왔습니다. 이제 그들은 개발자가 실제 비디오에서 완전 합성된 대화형 3차원 환경을 렌더링할 수 있게 하는 인공지능 도구를 도입했습니다.

현실 세계 역학을 모델링하고 재현하는 능력은 지능형 에이전트 개발에 필수적입니다. 연속적인 시각 경험을 합성하는 것은 컴퓨터 그래픽스와 로봇공학에서 다양한 응용이 있습니다. 조명, 재료, 장면 기하학을 지정하지 않고도 개발자가 사실적인 장면을 만드는 데 도움을 줄 수 있습니다.

이 작업에서 연구자들은 새로운 유형의 비디오-투-비디오 합성을 시연했습니다. 목적은 입력 비디오를 출력 비디오로 효율적으로 변환하는 매핑 함수를 학습하는 것입니다. 생성자와 판별자, 시공간 적대적 학습을 사용해 고해상도, 시간적으로 일관된 비디오를 합성했습니다.

신경망으로 고수준 설명 렌더링

합성 3D 세계를 실시간으로 렌더링하기 위해 조건부 생성 신경망으로 시작해 기존 비디오로 훈련했습니다. 네트워크는 차량, 건물, 나무 같은 객체 렌더링을 점차 학습했습니다.

기존 기술로는 개발자가 각 객체를 개별적으로 모델링해야 하는데, 이는 시간과 비용이 많이 드는 과정입니다. 반면 새 도구는 실제 비디오에서 자동으로 학습해 자동차, 게임, 로봇공학, 건축, 가상현실용 가상 세계를 생성하는 모델 기반입니다.

참조: arXiv:1808.06601 | NVIDIA | GitHub

실제 위치를 기반으로 대화형 환경을 만들거나, 사람들이 좋아하는 록스타처럼 춤추는 모습을 보여줄 수 있습니다. 네트워크는 3D 장면의 고수준 설명(객체 위치를 설명하는 에지 맵, 이미지 특정 부분이 건물인지 자동차인지 같은 일반 속성)에서 작동합니다. 그런 다음 실제 장면을 사용해 세부 사항을 채웁니다.

신경망은 실제 도시 지역의 비디오로 훈련되었습니다. 연구자들은 네트워크로 렌더링된 가상 도시 세계를 탐색할 수 있는 데모를 만들었습니다. 장면이 합성적으로 생성되므로 가상 장면에서 객체를 쉽게 편집, 추가, 수정할 수 있습니다.

연구진 제공

데모는 엔비디아 텐서 코어 GPU에서 실행되며, 보고서에 따르면 대화형 그래픽의 완전히 새로운 경험을 제공합니다. 신경망은 CUDA 딥 뉴럴 네트워크 라이브러리를 사용해 DGX-1과 엔비디아 Tesla V100 GPU로 훈련되었습니다. 팀은 Cityscapes와 Apolloscapes 데이터셋에서 수천 개의 클립을 선택해 네트워크를 훈련시켰습니다.

테스트

그들은 여러 테스트를 수행해 정량적, 정성적 결과를 얻었으며, 합성된 장면이 기존 최첨단 방법으로 생성된 것보다 더 사실적으로 보임을 보여줍니다.

이 새로운 AI는 2K 해상도의 30초 길이 비디오를 생성할 수 있습니다. 또한 출력에 대한 고수준 제어를 제공합니다. 예를 들어 장면에서 나무를 건물로 쉽게 추가하거나 교체할 수 있습니다.

이 접근법은 완벽하지 않으며, 맵 데이터 부족으로 회전하는 차량 렌더링 등 여러 시나리오에서 실패합니다. 그러나 이는 깊이 맵 같은 3D 단서를 통합하여 해결할 수 있습니다.

참고: 구글 AI, 비디오 컬러화로 객체 추적

연구 초기 단계지만, 이 기술의 응용은 다양한 영역을 위한 가상 환경 개발을 훨씬 더 쉽고 저렴하게 만들 수 있습니다.