AI 딥러닝 모션 트랜스퍼로 아마추어 댄서를 프로처럼 변신

• 혁신적 딥러닝 시스템이 탑 댄서 안무를 모든 비디오 영상에 복제.
• 비싼 3D 장비나 모션 캡처 슈트 없이 일반 비디오 입력만으로 스튜디오급 결과물 생성.

인공지능이 가전부터 우주 탐사까지 산업 재편 중인 가운데, 최신 혁신이 예술 분야 변혁적 힘을 보여줍니다. 캘리포니아 대학 연구진이 소스 댄서 움직임을 타겟 퍼포머에 매핑해 일반인도 노련한 발레리나나 팝 아이콘처럼 보이게 하는 모션 트랜스퍼 알고리즘 개발.

핵심 아이디어는 단순합니다: "내가 하는 대로 해보세요." 단 몇 분 만에 전문 댄스 동작을 타겟 대상에 오버레이해 공연자, 교육자, 콘텐츠 크리에이터에게 새로운 창작 가능성 열어줍니다.

기술 작동 원리

과정은 소스와 타겟 비디오에서 키포인트 기반 포즈 스켈레톤 추출로 시작. 이 포즈 스틱 피규어는 신체 위치를 외형 독립적 경량 표현으로 제공해 모델이 모션에만 집중 가능.

각 프레임 포즈는 감독 학습 포즈 추정 알고리즘으로 생성해 정확한 스틱 피규어 만듭니다. 모션 트랜스퍼 모델이 이 스켈레톤 입력받아 타겟 외형 유지하며 소스 포즈 모방하는 타겟 이미지 생성. 최종 출력은 포즈 트랜스퍼 모듈과 생성적 리파인먼트 네트워크 융합으로 더 선명하고 사실적인 프레임 전달.

워크플로는 3단계:

1. 포즈 검출 – 소스와 타겟 영상에서 2D 키포인트 추출.
2. 전역 포즈 정규화 – 피험자 간 스켈레톤 정렬.
3. 포즈 매핑 – 소스 포즈 매칭하는 타겟 프레임 합성.

시간적 부드러움 위해 현재 프레임 포즈와 이전 생성 프레임 블렌딩으로 지터(jitter) 대폭 감소. 저프레임레이트 입력엔 미디안 필터, 고프레임레이트(최대 120fps) 비디오는 키포인트 가우시안 스무딩 적용.

고충실도 결과 위해 피험자당 20분 이상 고프레임레이트 아마추어 댄스 영상으로 학습된 조건부 생성적 적대 신경망(cGAN) 통합. 엔비디아 개발 픽스투픽스HD(pix2pixHD) 아키텍처가 이미지 변환 파이프라인 백본.

훈련과 추론은 엔비디아 지포스 GTX 1080 Ti와 타이탄 Xp GPU에서 파이토치(PyTorch), CUDA 가속으로 수행.

미래 방향

알고리즘 현재 특수 하드웨어 없이 다양한 피험자 간 모션 트랜스퍼 지원. 다만 소스 동작 속도가 훈련 범위 초과 시 간헐적 지터 잔존. 지속 연구로 포즈 추정 방법 최적화와 모션 레퍼토리 확장으로 아티팩트 완화 중.

관련 혁신: 엔비디아 AI로 30fps 비디오를 240fps로 변환