AI는 이제 현실감 있고 다양한 춤 동작을 구성할 수 있습니다.

• 연구원은 딥 러닝 모델을 훈련하여 현실적이고 다양하며 스타일이 일관된 새로운 댄스 스텝을 생성합니다.
• 리듬체조, 연극 등 여러 영역에서 콘텐츠 제작을 지원하고 확장할 수 있습니다.

과학자들이 점차적으로 인간의 지능 수준으로 컴퓨터를 발전시키면서, 그들은 매우 인간적인 노력을 다루기 시작했습니다. 우리는 확실히 인공 지능이 수천 가지의 다양한 스타일을 제안함으로써 안무가가 모든 것을 섞는 데 도움이 될 수 있는 지점에 도달했습니다.

최근 캘리포니아 대학의 연구원들은 현실적이고 다양하며 스타일이 일관된 새로운 댄스 스텝을 생성하기 위해 딥 러닝 모델을 개발했습니다. 여기에는 음악에서 비트 일치 댄스를 생성하기 위한 분석별 합성 학습 프레임워크가 포함되어 있습니다.

이러한 음악-댄스 프레임워크를 구축하는 것은 어려운 작업이지만 피겨 스케이팅, 리듬 체조 및 연극 공연과 같은 여러 영역에서 콘텐츠 제작을 지원하고 확장할 수 있습니다.

AI 안무가의 핵심

음악에서 춤을 합성하기 위해 연구원들은 먼저 움직이는 방법(분해 단계에서)을 배운 다음 기본 동작을 시퀀스로 배열하는 방법(작곡 단계에서)을 배우는 분해-구성 프레임워크를 개발했습니다.

첫 번째 단계에서 그들은 운동학적 비트 검출기를 사용하여 춤 시퀀스에서 움직임 비트를 추출했습니다. 각 댄스 시퀀스는 시간적으로 일련의 댄스 유닛으로 정규화됩니다. 개별 댄스 유닛은 초기 포즈와 동작으로 엉켰습니다.

참조:arXiv:1911.02001 | GitHub

두 번째 단계에서 연구원들은 입력 음악과 일치하는 일련의 움직임을 생성하기 위해 음악 대 움직임 모델을 제안했습니다. 런타임 시 비트와 스타일 정보를 추출한 후 음악 스타일에 따라 일련의 댄스 유닛을 순차적으로 제작했다. 마지막으로 오디오 비트를 추출하여 댄스 유닛을 뒤틀었습니다.

네트워크를 훈련시키기 위해 팀은 총 71시간 동안 360,000개 이상의 비디오 클립을 수집했습니다. 이 비디오에는 힙합, 줌바, 발레의 세 가지 댄스 카테고리가 포함되어 있습니다.

서로 다른 포즈를 처리하기 위해 실시간 다중 사람 시스템인 OpenPose를 사용하여 단일 이미지에서 인체, 얼굴, 손 및 발 키포인트를 공동으로 감지했습니다. 그리고 성능 평가를 위해 다양한 측정항목을 사용하여 스타일 일관성, 현실감, 다양성 및 비트 매칭을 조사했습니다.

생성된 춤을 사실적인 비디오에 매핑 | 연구원 제공

연구원들은 또한 결과를 더 잘 시각화하기 위해 사진과 같은 비디오에 포즈 시퀀스를 합성했습니다. 소스 코드와 함께 대규모 짝을 이루는 댄스 및 음악 데이터 세트는 GitHub에서 사용할 수 있습니다.

읽기:AI는 영화 예고편을 분석하여 관객 참석을 예측할 수 있습니다.

생성적 적대 네트워크는 NVIDIA V100 GPU에서 PyTorch 딥 러닝 프레임워크를 사용하여 훈련됩니다. 가까운 장래에 연구원들은 시스템을 더욱 개선하기 위해 더 많은 춤 스타일(예:파트너 댄스)을 추가할 것입니다.