AI가 사실적이고 다양한 댄스 동작 생성으로 안무 혁신

• 연구진이 사실적이고 다양하며 스타일 일관성이 있는 새로운 댄스 스텝을 생성하는 딥러닝 모델을 개발했습니다.
• 이 모델은 리듬 체조, 연극 공연 등 여러 분야에서 콘텐츠 제작을 지원하고 확장할 수 있습니다.

과학자들이 컴퓨터를 인간 수준의 지능으로 점차 발전시키면서, 매우 인간적인 영역인 안무에도 도전하기 시작했습니다. 인공지능이 수천 가지 다양한 스타일을 제안하며 안무가들이 새로운 시도를 할 수 있도록 돕는 시점에 도달했습니다.

최근 캘리포니아 대학교 연구진은 사실적이고 다양하며 스타일 일관성이 있는 새로운 댄스 스텝을 생성하는 딥러닝 모델을 개발했습니다. 이 모델은 음악에서 비트 매칭 댄스를 생성하기 위한 분석-합성 학습 프레임워크를 포함합니다.

이러한 음악-댄스 프레임워크 구축은 어려운 과제지만, 피겨 스케이팅, 리듬 체조, 연극 공연 등 여러 분야에서 콘텐츠 제작을 지원하고 확장할 수 있습니다.

AI 안무가의 핵심

음악에서 댄스를 합성하기 위해 연구진은 분해-구성 프레임워크를 개발했습니다. 먼저 움직임 방법을 학습하는 분해 단계, 그 다음 기본 움직임을 시퀀스로 배열하는 구성 단계를 거칩니다.

첫 번째 단계에서, 운동학적 비트 검출기를 사용하여 댄스 시퀀스에서 움직임 비트를 추출했습니다. 각 댄스 시퀀스는 일련의 댄스 유닛으로 시간적으로 정규화되었습니다. 개별 댄스 유닛은 초기 자세와 움직임으로 분리되었습니다.

참고: arXiv:1911.02001 | GitHub

두 번째 단계에서, 연구진은 입력 음악과 일치하는 움직임 시퀀스를 생성하는 음악-움직임 모델을 제안했습니다. 실행 시 비트와 스타일 정보를 추출한 후, 음악 스타일에 따라 순차적으로 댄스 유닛 시리즈를 생성했습니다. 마지막으로 추출된 오디오 비트로 댄스 유닛을 워핑했습니다.

네트워크 훈련을 위해 팀은 360,000개 이상의 비디오 클립(총 71시간)을 수집했습니다. 이 비디오에는 힙합, 줌바, 발레 세 가지 댄스 카테고리가 포함되었습니다.

서로 다른 자세를 처리하기 위해, 단일 이미지에서 인체, 얼굴, 손, 발 키포인트를 공동으로 검출하는 실시간 다중 인물 시스템인 OpenPose를 사용했습니다. 성능 평가를 위해 스타일 일관성, 사실성, 다양성, 비트 매칭을 검토하는 다양한 지표를 사용했습니다.

생성된 댄스를 사실적인 비디오에 매핑 | 연구진 제공

연구진은 자세 시퀀스를 사실적인 비디오로 합성하여 결과를 더 잘 시각화했습니다. 대규모 짝지어진 댄스-음악 데이터셋과 소스 코드는 GitHub에서 공개되어 있습니다.

자세히 보기: AI가 영화 예고편 분석으로 관객 수 예측

생성적 적대 신경망은 엔비디아 V100 GPU에서 PyTorch 딥러닝 프레임워크로 훈련되었습니다. 향후 연구진은 더 많은 댄스 스타일(예: 커플 댄스)을 추가하여 시스템을 더욱 개선할 계획입니다.