페이스북 '멜넷(MelNet)', 누구 목소리든 몇 초 만에 완벽 복제… 스펙트로그램 기반 음성 합성

기존 TTS 한계 넘은 고품질 음성 생성 모델

최근 몇 년간 머신러닝 기법에 큰 발전이 있었습니다. 이 기법들은 객체·얼굴 인식과 사실적 이미지 생성에 매우 잘 작동했습니다.

하지만 오디오 분야에서 인공지능은 다소 실망스러웠습니다. 최고의 텍스트-음성 변환(TTS) 시스템조차 억양 변화 같은 기본 기능이 부족합니다. 스티븐 호킹 기계 생성 목소리 들어보셨나요? 때때로 문장 이해가 정말 어렵습니다.

이제 페이스북 AI 리서치 과학자들이 기존 TTS 시스템 한계를 극복하는 방법을 개발했습니다. '멜넷(MelNet)'이라는 생성 모델을 구축해 인간의 억양을 기이할 정도로 정확하게 생성합니다. 사실 누구 목소리로든 유창하게 말할 수 있습니다.

대부분 딥러닝 알고리즘은 대량 오디오 데이터베이스로 훈련돼 실제 음성 패턴을 재생합니다. 이 방법론 주요 문제는 데이터 유형입니다. 일반적으로 이 알고리즘들은 오디오 파형 녹음으로 훈련되는데, 이는 극적으로 다양한 시간척도에서 복잡한 구조를 가집니다.

이 녹음들은 소리 진폭이 시간에 따라 어떻게 변하는지 나타냅니다: 1초 오디오에 수만 개 타임스텝이 있습니다. 이런 파형들은 여러 다른 규모에서 특정 패턴을 반영합니다.

샘플RNN(SampleRNN)과 웨이브넷(WaveNet) 같은 기존 파형 생성 모델은 1초 미만만 백프로파게이션할 수 있습니다. 따라서 몇 초 규모에서 나타나는 고수준 구조를 포착할 수 없습니다.

반면 멜넷은 오디오 파형 대신 스펙트로그램(spectrograms)을 사용해 딥러닝 네트워크를 훈련시킵니다. 스펙트로그램은 전체 오디오 주파수 스펙트럼과 시간 변화가 어떻게 변하는지 보여주는 2D 시간-주파수 표현입니다.

동일 4초 오디오 콘텐츠의 스펙트로그램과 파형 패턴

1D 시간영역 파형이 한 변수(진폭) 시간 변화를 포착하는 반면, 스펙트로그램은 다른 주파수들 변화를 포착합니다. 따라서 오디오 정보가 스펙트로그램에 더 조밀하게 압축됩니다.

이 덕분에 멜넷은 수초 동안 일관성 있는 무조건부 음성·음악 샘플을 생성할 수 있습니다. 조건부 음성 생성과 텍스트-음성 합성도 완전히 엔드투엔드로 수행 가능합니다.

참고: arXiv:1906.01083 | GitHub

정보 손실 감소와 과도한 평활화 제한을 위해 고해상도 스펙트로그램 모델링과 높은 표현력 자기회귀 모델을 각각 사용했습니다.

연구자들은 수많은 TED 강연으로 멜넷을 훈련시켰고, 이후 무작위 문장을 몇 초 동안 화자 목소리로 재생성할 수 있었습니다. 아래는 빌 게이츠 목소리로 무작위 문장을 말하는 멜넷 예시 두 가지입니다.

"Port is a strong wine with a smoky taste."

"We frown when events take a bad turn."

더 많은 예시는 깃허브(GitHub)에서 확인 가능합니다.

멜넷이 놀랍도록 생생한 오디오 클립을 만들지만, 더 긴 문장이나 문단 생성은 못 합니다. 그럼에도 시스템은 컴퓨터-인간 상호작용을 개선할 수 있습니다.

많은 고객 상담 대화는 짧은 문구 포함합니다. 멜넷으로 그런 상호작용 자동화하거나 현재 자동 음성 시스템 대체해 발신자 경험 개선 가능합니다.

부정적 측면으로는, 이 기술이 가짜 오디오 콘텐츠 새 시대의 망령을 드리웁니다. 다른 AI 발전처럼 답보다 윤리적 질문을 더 많이 제기합니다.

산업기술