NVIDIA, 실제 세계에서 인터랙티브 그래픽을 생성하는 AI 개발

• 연구원들이 새로운 유형의 비디오-비디오 합성을 시연합니다.
• 개발자는 실제 비디오에서 완전한 대화형 3D 환경을 렌더링할 수 있습니다.
• 2K 해상도의 30초 길이의 동영상을 만들 수 있습니다.

거의 20년 전, NVIDIA는 3D 게임 성능에서 크게 도약한 세계 최초의 GPU를 선보였습니다. 이제 개발자가 실제 비디오에서 완전히 합성된 대화형 3차원 환경을 렌더링할 수 있는 인공 지능 도구를 도입했습니다.

실제 역학을 모델링하고 재현하는 능력은 지능형 에이전트를 개발하는 데 중요합니다. 연속적인 시각적 경험을 합성하는 것은 컴퓨터 그래픽과 로봇 공학에서 다양한 응용 분야를 가지고 있습니다. 개발자가 조명, 재료 및 장면 지오메트리를 지정하지 않고도 사실적인 장면을 만드는 데 도움이 될 수 있습니다.

이 작업에서 연구원들은 새로운 유형의 비디오-비디오 합성을 시연했습니다. 목표는 입력 비디오를 출력 비디오로 효율적으로 변환할 수 있는 매핑 기능을 학습하는 것입니다. 그들은 생성기와 판별기, 시공간 적대 학습을 사용하여 고해상도의 시간적으로 일관된 동영상을 합성했습니다.

신경망을 사용하여 높은 수준의 설명 렌더링

합성 3차원 세계를 실시간으로 렌더링하기 위해 조건부 생성 신경망으로 시작하여 기존 비디오에서 훈련했습니다. 네트워크는 차량, 건물, 나무와 같은 개체를 렌더링하는 방법을 점차 학습했습니다.

기존 기술을 사용하면 개발자는 각 개체를 개별적으로 모델링해야 하므로 시간과 비용이 많이 드는 프로세스입니다. 반면에 새로운 도구는 실제 비디오에서 자동으로 학습하고 자동차, 게임, 로봇 공학, 건축 및 가상 현실을 위한 가상 세계를 생성하는 모델을 기반으로 합니다.

참조:arXiv:1808.06601 | 엔비디아 | GitHub

실제 위치를 기반으로 대화형 환경을 만들거나 좋아하는 록 스타처럼 춤추는 사람들을 표시할 수 있습니다. 네트워크는 물체의 위치를 ​​설명하는 에지 맵과 같은 3D 장면에 대한 높은 수준의 설명과 이미지의 특정 부분이 건물 또는 자동차로 구성되는지 여부와 같은 일반적인 속성에서 작동합니다. 그런 다음 실제 장면을 사용하여 세부 정보를 채웁니다.

신경망은 실제 도시 지역의 비디오로 훈련되었습니다. 연구원들은 사람들이 네트워크로 렌더링된 가상 도시 세계를 탐색할 수 있도록 하는 데모를 만들었습니다. 장면은 합성적으로 생성되기 때문에 가상 장면에서 개체를 쉽게 편집, 추가 또는 수정할 수 있습니다.

연구원 제공

이 데모는 NVIDIA Tensor Core GPU에서 실행되며 보고서에 따라 완전히 새로운 대화형 그래픽 경험을 제공합니다. 신경망은 NVIDIA Tesla V100 GPU를 사용하여 CUDA Deep Neural Network 라이브러리와 함께 DGX-1에서 훈련됩니다. 팀은 네트워크를 훈련시키기 위해 Cityscapes 및 Apolloscapes 데이터세트에서 수천 개의 클립을 선택했습니다.

테스트

여러 테스트를 수행하여 양적 및 질적 결과를 모두 얻었으며 합성된 장면이 기존의 최첨단 방법으로 생성된 장면보다 사실적으로 보입니다.

이 새로운 AI는 2K 해상도의 30초 길이 동영상을 제작할 수 있습니다. 또한 출력에 대한 높은 수준의 제어를 제공합니다. 예를 들어, on은 장면에서 나무를 건물로 쉽게 추가하거나 교체할 수 있습니다.

이 접근 방식은 완벽하지 않으며 불충분한 지도 데이터로 인한 회전 차량 렌더링과 같은 여러 시나리오에서 실패합니다. 그러나 이것은 깊이 맵과 같은 3D 큐를 통합하여 해결할 수 있습니다.

읽기:Google AI는 비디오에 색상을 지정하여 개체를 추적할 수 있습니다.

연구는 초기 단계이지만 이 기술을 적용하면 다양한 도메인에 대한 가상 환경을 훨씬 쉽고 저렴하게 개발할 수 있습니다.