구글, 시작·끝 프레임만으로 전체 비디오 생성하는 AI 공개… 3D CNN 활용

두 키프레임 사이 중간 프레임 채우는 '인비트위닝' 문제 해결

인공 신경망 아키텍처와 생성적 적대 신경망(GAN) 최근 발전으로 이미지/비디오 합성 방법 개발이 촉진됐습니다. 기존 연구 대부분은 무조건적 비디오 생성과 비디오 예측 두 작업에 초점을 맞춥니다. 둘 다 제한된 과거 프레임을 사용해 새 개연성 있는 비디오를 생성/예측하는 것을 포함합니다.

최근 구글 연구팀은 시작 프레임과 끝 프레임 단 두 프레임만 있을 때 다양하고 개연성 있는 비디오 시퀀스를 생성하는 문제에 집중했습니다. 이 과정은 '인비트위닝(inbetweening)'이라 불리며, 보통 게이트드 순환 유닛이나 장단기 기억장치(LSTM)를 사용해 순환 신경망을 훈련/실행해 수행합니다.

그러나 이 연구에서 연구자들은 이 문제(인비트위닝)를 3D 컨볼루션 신경망으로 해결할 수 있음을 보였습니다. 이 방법의 주요 장점은 단순성입니다. 순환 요소를 사용하지 않아 더 짧은 기울기 경로로 더 깊은 네트워크와 더 안정적인 훈련이 가능합니다.

완전 컨볼루션 모델

컨볼루션 네트워크에서 시작·끝 프레임(입력 제공)과 시간적 일관성을 강제하기 꽤 쉽습니다. 모델은 3가지 핵심 구성요소를 가집니다.

1. 입력 키프레임을 잠재 공간으로 매핑하는 2D 컨볼루션 이미지 인코더
2. 입력 프레임 데이터를 점진적으로 증가하는 시간 해상도로 통합하는 3D 컨볼루션 잠재 표현 생성기
3. 잠재 표현을 비디오 프레임으로 디코딩하는 비디오 생성기

참고: arXiv:1905.10240 | 엔비디아

팀은 인코딩된 시작·끝 프레임 표현에서 직접 비디오를 생성하려 했지만 결과가 만족스럽지 않았습니다. 그래서 잠재 표현 생성기를 설계했는데, 이는 키프레임 표현을 확률적으로 융합하고 최종 비디오의 시간 해상도를 꾸준히 증가시킵니다.

테스트

팀은 UCF101 행동 인식, BAIR, KTH 행동 데이터베이스 등 다양한 공개 데이터셋에서 모델을 테스트했습니다.

새 모델이 생성한 프레임 예시 | 연구진 제공

최종 결과: 데이터셋 각 샘플은 총 16개 프레임 포함, 그중 14개는 컨볼루션 신경망이 생성. 각 키프레임 쌍마다 모델을 100회 이상 실행하고, 전체 과정을 각 모델 변형마다 10회 반복했습니다.

모든 경우에서 키프레임이 약 0.5초 간격일 때 모델이 현실적인 비디오 시퀀스를 생성할 수 있었습니다. 게다가 입력 노이즈 벡터를 단순히 변경해 생성 과정을 구동함으로써 다양한 시퀀스를 생성할 수 있음을 보였습니다. 이 새 방법은 향후 비디오 생성 연구에 가치 있는 대안적 관점을 제공할 수 있습니다.