페이스북 AI, 음악을 장르와 악기 간 자유자재로 변환

페이스북 AI 연구팀이 범용 음악 번역 네트워크를 구축했습니다. 이 시스템은 들은 오디오를 복제해 다양한 스타일, 장르, 악기로 재생합니다. 박수나 휘파람 같은 미청취 음악 소스도 처리해 고품질 오디오를 생성합니다.

어떻게 했나?

이 AI 시스템은 두 가지 최신 기술을 기반으로 합니다:

1. 자기회귀 모델(auto-regressive models)로 고품질 오디오 합성
2. 비지도 방식으로 도메인 간 변환

자기회귀 모델은 디코더로 훈련돼 고품질의 사실적인 오디오를 생성합니다. 두 번째 기술은 실용성을 높여주는데, 지도 학습 환경에서 학습 문제를 관리하려면 수많은 악기의 대규모 데이터셋이 필요하기 때문입니다.

연구진은 범용 인코더(universal encoder)를 각 입력에 개발해 적용했습니다. 이는 네트워크 전체 훈련 부담을 덜어주고, 미청취 음악 도메인을 접한 다른 도메인으로 변환할 수 있게 합니다.

네트워크 아키텍처 | 도메인 혼란(domain confusion)은 훈련 중에만 적용

도메인 혼란 네트워크를 통해 범용 인코더를 훈련하면서 도메인 특화 데이터가 인코딩되지 않도록 했습니다. 범용 인코더는 입력 데이터를 암기하지 않고 의미론적 방식으로 인코딩합니다. 이를 위해 입력 신호(오디오 형식)를 무작위 국소 피치 변조로 왜곡시켰습니다.

참조: arXiv:1805.07848

네트워크가 디노이징 오토인코더(denoising auto-encoder)로 훈련됐기 때문에, 원래 입력 신호의 왜곡되지 않은 형태를 복원할 수 있습니다. 시스템은 점차 아웃오브도메인(out-of-domain) 입력 신호를 적절한 출력 도메인으로 투영하는 법을 학습합니다.

연구진은 수천 개의 샘플을 포함한 6가지 클래식 음악 도메인으로 네트워크를 훈련했습니다. 8개의 NVIDIA Tesla V100 GPU에서 cuDNN 가속 PyTorch 딥러닝 프레임워크를 실행했습니다. 네트워크 완전 훈련에 8일이 걸렸습니다.

결과

AI는 전문 음악가만큼 뛰어나진 않지만, 여러 경우 청취자가 어느 것이 원본 오디오이고 어느 것이 인공 생성인지 구별하기 어렵습니다.

시스템은 박수나 휘파람 같은 미청취 음악 소스를 효과적으로 처리해 우수한 품질의 오디오를 생성합니다. 전체 네트워크를 재훈련하지 않고도 새로운 악기를 통합할 수 있습니다.

관련 기사: 페이스북 AI 로봇 종료 — 실제 무슨 일이 있었나?

개발자들에 따르면, 이 연구는 자동 작곡과 음악 전사 같은 다른 복잡한 작업으로 새로운 문을 열 수 있습니다. 또한 잠재 공간 크기를 줄여 디코더를 더 '창의적으로' 만들 수 있는데, 이는 원본 오디오와의 연관성이 상실된 의미에서 흥미로운 자연스러운 출력을 생성하게 합니다.