Google의 새로운 AI는 시작 및 끝 프레임만으로 동영상을 만들 수 있습니다.

<울>

최근 인공 신경망 아키텍처 및 생성적 적대 네트워크의 발전으로 이미지/비디오 합성 방법의 발전이 가속화되었습니다. 기존 연구의 대부분은 무조건 영상 생성과 영상 예측이라는 두 가지 연산에 초점을 맞추고 있다. 둘 다 제한된 수의 과거 프레임을 사용하여 새로운 그럴듯한 동영상을 생성/예측하는 것과 관련이 있습니다.

최근 구글 연구팀은 2개의 프레임(시작 프레임과 끝 프레임)만 있는 상황에서 다양하고 그럴듯한 비디오 시퀀스를 생성하는 문제에 집중했습니다. 인비트위닝이라고 하는 프로세스는 일반적으로 게이트 순환 단위 또는 장기 단기 기억을 사용하여 순환 신경망을 훈련/실행하여 수행됩니다.

그러나 이 연구에서 연구자들은 3D 컨볼루션 신경망을 통해 이 문제(사이)를 해결할 수 있음을 보여주었습니다. 이 방법의 주요 장점은 단순성입니다. 반복 요소를 사용하지 않기 때문에 더 짧은 그래디언트 경로는 더 깊은 네트워크와 더 안정적인 훈련을 가능하게 합니다.

완전 컨볼루션 모델

컨볼루션 네트워크에서 시작 및 끝 프레임(입력으로 제공됨)에 시간적 일관성을 적용하는 것은 매우 쉽습니다. 이 모델에는 3가지 핵심 구성 요소가 있습니다. –

참조:arXiv:1905.10240 | NVIDIA

팀은 시작 및 끝 프레임의 인코딩된 표현에서 직접 비디오를 만들려고 했지만 결과는 기대에 미치지 못했습니다. 이것이 그들이 키 프레임 표현을 확률적으로 융합하고 최종 비디오의 시간적 해상도를 꾸준히 증가시키는 잠재 표현 생성기를 설계한 이유입니다.

테스트

팀은 UCF101 Action Recognition, BAIR 및 KTH Action Database를 포함하여 공개적으로 사용 가능한 다양한 데이터 세트에서 모델을 테스트했습니다.

새 모델에 의해 생성된 프레임의 예 | 연구원 제공

최종 결과:데이터 세트의 모든 단일 샘플에는 총 16개의 프레임이 포함되었으며 그 중 14개는 컨볼루션 신경망에서 생성되었습니다. 모델은 모든 단일 키프레임 쌍에 대해 100번 이상 실행되었으며 각 모델 변형에 대해 전체 프로세스가 10번 반복되었습니다.

읽기:새로운 AI는 흑백 비디오를 실시간으로 컬러로 변환합니다.

모든 경우에 모델은 키 프레임이 서로 약 1/2초 떨어져 있다는 점을 감안할 때 사실적인 비디오 시퀀스를 생성할 수 있었습니다. 게다가, 연구원들은 생성 과정을 구동하는 입력 노이즈 벡터를 단순히 변경함으로써 다양한 시퀀스를 생성하는 것이 가능하다는 것을 보여주었습니다. 이 새로운 방법은 비디오 제작에 대한 향후 연구를 위한 귀중한 대안적 관점을 제공할 수 있습니다.