Facebook AI는 장르와 악기 전반에 걸쳐 음악을 변화시킵니다.

• Facebook AI 연구팀은 범용 음악 번역 네트워크를 구축합니다. 
• 듣는 오디오를 복제하고 다양한 스타일, 장르, 악기로 재생합니다. 
• 박수나 휘파람 소리와 같이 들리지 않는 음악 소스를 처리하고 고품질 오디오를 생성할 수 있습니다.

음악에 있어서 인간은 항상 창의적으로 노래를 복제하고 박수를 치거나 휘파람을 불거나 다양한 악기로 연주하여 노래를 다양한 형태로 바꾸어 왔습니다.

음악은 컴퓨팅 기계와 알고리즘에 의해 가장 먼저 디지털화되고 처리되는 분야 중 하나이지만, 오늘날의 인공지능은 오디오를 모방하는 데 있어서 여전히 인간보다 훨씬 열등합니다.

이제 페이스북 AI 연구팀은 음악을 한 형식에서 다른 형식으로 변환할 수 있는 범용 음악 번역 네트워크를 개발했습니다. 듣는 음악을 복제하고 다양한 스타일, 장르, 악기로 재생합니다.

그들은 어떻게 했나요?

이 AI 시스템은 2가지 최신 기술을 기반으로 합니다

1. 자동 회귀 모델을 통한 고품질 오디오 합성
2. 비지도 방식으로 도메인 간 변환

자동 회귀 모델은 디코더로 훈련되어 고품질의 사실적인 오디오를 생성할 수 있습니다. 두 번째 기술은 지도 환경에서 학습 문제를 관리하려면 수많은 악기로 구성된 대규모 데이터 세트가 필요하기 때문에 상황을 더욱 실용적으로 만드는 역할을 합니다.

연구원들은 범용 인코더를 개발하여 각 입력에 적용했습니다. 이를 통해 전체 네트워크를 훈련해야 하는 부담이 사라졌고, 들어보지 못한 음악 도메인을 다른 도메인으로 전환할 수 있게 되었습니다.

네트워크 아키텍처 | 학습 중에만 도메인 혼동이 적용됨 

도메인별 데이터가 인코딩되지 않도록 하면서 [도메인 혼동 네트워크를 통해] 범용 인코더를 훈련했습니다. 범용 인코더는 입력 데이터를 기억하지 않고 의미론적으로 인코딩합니다. 이를 위해 연구자들은 무작위 로컬 피치 변조를 통해 입력 신호(오디오 형식)를 왜곡했습니다.

참조: arXiv:1805.07848

네트워크는 잡음 제거 자동 인코더로 훈련되었으므로 원래 입력 신호의 왜곡되지 않은 형태를 복구할 수 있습니다. 시스템은 도메인 외부 입력 신호를 적절한 출력 도메인으로 투영하는 방법을 점차 학습합니다.

연구원들은 해당 도메인의 수천 개의 샘플을 포함하여 6가지 유형의 클래식 음악 도메인에 대해 네트워크를 훈련했습니다. 그들은 8개의 NVIDIA Tesla V100 GPU에서 cuDNN 가속 PyTorch 딥 러닝 프레임워크를 실행했습니다. 네트워크를 완전히 훈련시키는 데 8일이 걸렸습니다.



결과

AI는 전문 음악가만큼 좋지는 않지만 청취자들은 어느 것이 원본 오디오이고 어느 것이 인위적으로 생성된 오디오인지 구분하기 어려울 때가 많습니다.

이 시스템은 박수나 휘파람 소리와 같이 들리지 않는 음악 소스를 효과적으로 처리하고 우수한 품질의 오디오를 생성할 수 있습니다. 전체 네트워크를 재교육할 필요 없이 새로운 악기를 통합할 수 있습니다.

읽기:Facebook AI 로봇 가동 중단 – 실제로 무슨 일이 일어났나요?

개발자에 따르면, 그들의 작업은 음악의 자동 구성 및 녹음과 같은 다른 복잡한 작업에 대한 새로운 문을 열 수 있습니다. 또한 잠재 공간 크기를 줄임으로써 디코더를 더욱 '창의적'으로 만들 수 있으며, 이를 통해 원본 오디오와의 연관성이 상실된다는 의미에서 흥미롭고 자연스러운 출력을 생성할 수 있습니다.