새로운 AI로 정지 이미지를 3D 애니메이션으로 변환

• 새로운 딥 러닝 방법은 합성곱 신경망을 사용하여 단일 스틸 사진에서 캐릭터를 3D로 애니메이션화합니다.
• 이미지 속 캐릭터를 3D로 걷거나, 앉거나, 뛰거나, 뛰어오르게 할 수 있습니다.
• 전체 애니메이션은 모니터와 VR/AR 장치에서 대화식으로 볼 수 있습니다.

최근 몇 년 동안 비디오의 일반적인 애니메이션은 수많은 창의적인 효과를 가져왔습니다. 동영상이나 일련의 사진이 아닌 단일 이미지로 애니메이션을 적용하면 매력적인 효과를 얻을 수 있습니다.

SMPL(Skinned Multi-Person Linear) 모델 및 딥 러닝 프레임워크는 단일 이미지에서 3D 포즈 및 모양 추정에 매우 유용한 것으로 입증되었습니다. 지금까지 대부분의 단일 이미지 인물 애니메이션 기술은 주로 2D 또는 유사 3D 애니메이션에 중점을 두었습니다.

최근 워싱턴대학교와 페이스북 연구팀은 정지화와 이미지를 3D 애니메이션으로 변환할 수 있는 새로운 기술을 개발했다. "Photo Wake-Up"이라는 딥 러닝 방법은 CNN(Convolutional Neural Network)을 사용하여 단일 스틸 사진에서 3D로 캐릭터를 애니메이션합니다.

전면 캐릭터에 생명을 불어넣다

비디오를 만들기 위해 특정 순서로 움직이는 정지 이미지를 사용하는 시네마그래프와 달리 새로운 시스템은 단일 이미지를 입력으로 사용하고 완전한 3D 경험을 제공합니다. 이미지 속 캐릭터를 3D로 걷거나, 앉거나, 뛰거나, 뛰어오르게 할 수 있으며 전체 애니메이션을 모니터와 VR/AR 장치에서 대화식으로 볼 수 있습니다.

이제 이 새로운 방법이 어떻게 작동하는지 궁금할 것입니다. 5단계로 이루어집니다.

CNN은 사전 훈련된 모델 SMPL에 의존하고 NVIDIA TITAN GPU에서 실행됩니다. 포스터와 예술에서 스포츠 사진에 이르기까지 다양한 정면 이미지에서 작동합니다. 사용자는 사진 속 인물을 편집하고, 재구성된 신체를 3D로 보고, AR 기기에서 탐색할 수도 있습니다. 예를 들어 사용자는 벽에 아트웍을 놓고 애니메이션이 재생되는 동안 주변을 걸을 수 있습니다.

읽기:arXiv:1812.02246 | 워싱턴 대학교

팀은 만화 캐릭터, 그래피티, 스테판 커리(NBA 선수) 및 피카소 그림 이미지에 대한 알고리즘을 시연했습니다. 지금까지 그들은 인터넷에서 다운로드한 70개 이상의 이미지로 신경망을 테스트했습니다.

비교 및 제한 사항

연구자들은 알고리즘을 다른 최신 관련 방법과 비교하고 인간 연구를 통해 결과를 평가했습니다. Photo Wake-Up을 통해 얻은 결과는 다른 방법보다 스틸 프레임에서 훨씬 덜 왜곡되고 사실적으로 나타났습니다. 또한 이러한 결과물은 기존 기술에서는 불가능했던 실제 3D 경험을 제공합니다.

읽기:새로운 인공 지능은 누구나 전문 댄서로 만들 수 있습니다.

알고리즘은 아직 완벽하지 않고 개선의 여지가 많습니다. 예를 들어, 반사와 그림자는 아직 모델링되지 않았으며 때로는 전체 신체 모양이 비현실적으로 보이기 때문에 잘못된 3D 포즈를 생성합니다. 또한 앉았을 때 다리를 꼬는 것과 같은 특정 교합을 수정해야 합니다.