삼성 AI, 단일 사진으로 사실적인 말하는 아바타 생성

• 새 AI 모델이 단일 이미지로 말하는 아바타를 생성합니다.
• 개발자들이 레오나르도 다빈치, 모나리자 등 유명 그림에 이 모델을 적용했습니다.
• 일부 시각적 결함이 있지만 이전 기술보다 훨씬 인상적입니다.

딥페이크(인간 이미지 합성을 위한 AI 기반 기술) 생성 소프트웨어는 사실적인 위조를 만들기 위해 대량의 이미지 세트가 필요합니다. 최근 신경망의 발전으로 광범위한 데이터셋으로 네트워크를 훈련시키면 얼마나 사실적인 인간 이미지를 얻을 수 있는지 보여주었습니다.

하지만 모스크바 삼성 연구센터의 개발자들이 이제 단일 이미지에서 말하는 아바타를 생성할 수 있는 새로운 AI 모델을 개발했습니다. 한 장의 이미지로 비디오 클립을 제작하는 것이 가능하지만, 여러 장의 사진으로 훈련시키면 더 나은 정체성 보존과 더 높은 사실감을 얻을 수 있습니다.

이 모델이 생성하는 말하는 머리는 워핑 기반 시스템의 능력을 넘어서는 다양한 포즈를 처리할 수 있습니다. 일부 시각적 결함이 있을 수 있지만, 결과는 이전 기술보다 훨씬 인상적입니다. 이 모델은 결국 실제 비디오와 구별하기 어려운 멀티미디어 창조로 이어질 것입니다.

관련 과제

사실적인 말하는 아바타 시퀀스를 제작하는 것은 주로 두 가지 이유로 어렵습니다.

1. 인간의 머리는 높은 운동학적, 기하학적, 광도적 복잡성을 가집니다. 머리카락, 눈, 입안 등 많은 요소를 정확하게 모델링해야 합니다.
2. 인간 머리의 외관 모델링에서 미세한 오류에 대한 시각 시스템의 예민함.

이 문제들을 해결하기 위해 새로운 AI 모델은 학습 과정에서 세 개의 신경망을 생성합니다. 얼굴 랜드마크 프레임을 벡터와 연결하는 임베디드 네트워크를 구축합니다. 그런 다음 랜드마크를 합성 클립으로 매핑하는 생성자 네트워크를 만듭니다. 마지막 단계에서 판별자 네트워크가 프레임의 포즈와 사실감을 평가합니다.

참고: arXiv:1905.08233 | YouTube

얼굴 랜드마크와 움직임을 더 잘 이해하기 위해 연구자들은 수천 개의 유튜브 인간 대화 영상으로 네트워크를 훈련시켰습니다. 결과(말하는 머리)는 정량적 측정을 통해 대안 신경망들과 비교되었습니다.

결과

팀은 이 모델을 모나리자, 레오나르도 다빈치, 알베르트 아인슈타인 등 유명 인물들의 이미지에 적용했습니다. AI는 단일 이미지에서 말하는 비디오를 제작해 고전 초상화에 생명을 불어넣었습니다. 비디오 생성에 사진 한 장만 필요합니다. 하지만 32장의 사진으로 훈련된 모델은 더 나은 개인화 점수와 완벽한 사실감을 달성할 수 있습니다.

이 tipo의 AI는 텔레프레즌스 분야에서 다중 플레이어 게임, 화상 회의, 특수 효과 산업 등 여러 실용적 응용을 가질 수 있습니다.

참고: IBM, 비디오 속 장면 감지하는 AI 개발

단점으로는 이런 기술의 급속한 발전이 허위정보, 사칭, 사기, 선거 조작 등의 위험을 높일 수 있다는 점입니다.