구글 새 AI, 혼잡한 환경서 개별 목소리 정확히 분리

구글이 혼잡한 장소에서 특정 목소리에 집중할 수 있는 새로운 AI를 개발했습니다. 시각 및 청각 신호를 결합해 목소리를 분리합니다. 이 기술은 겹치는 화자들에 대한 더 나은 비디오 자막 시스템을 제공할 잠재력도 있습니다. 음성 인식을 사전 처리함으로써 가능합니다.

어떻게 만들어졌나?

인간은 혼잡한 장소에서 특정 목소리를 골라내고 다른 모든 소리를 차단하는 데 탁월합니다. 하지만 이는 기계에게 여전히 어려운 과제입니다. 두 명 이상이 말하거나 배경 소음이 있을 때 개별 음성을 분리하는 데 여전히 서툽니다.

이제 구글이 딥러닝 기반 오디오-비주얼 모델을 개발해 목소리 혼합과 배경 소음에서 단일 오디오 신호에 집중할 수 있게 했습니다. AI는 비디오를 분석해 특정 인물의 목소리를 강화하면서 다른 모든 소리를 억제합니다.

특별한 오디오나 비디오 형식을 요구하지 않으며, 오디오 트랙이 하나인 모든 일반 비디오 형식에서 작동합니다. 사용자는 듣고 싶은 비디오 속 특정 얼굴을 선택하거나, 알고리즘이 맥락에 따라 자동으로 하게 할 수 있습니다.

이 기술은 비디오의 시각 및 청각 신호를 결합해 목소리를 분리합니다. 알고리즘은 입 움직임 기반으로 현재 누가 말하고 있는지 식별할 수 있습니다. 이런 시각 신호는 혼합 음성에서 음성 분리 품질을 크게 개선하고, 사운드 트랙을 보이는 화자와 연관시킵니다.

제작 과정

엔지니어들은 토크쇼와 강의 등 고품질 유튜브 비디오 대량을 수집해 훈련 샘플을 만들었습니다. 이 중 2,000시간 분량의 클립을 필터링했습니다. 필터링된 비디오는 깨끗한 목소리 — 관객 소음, 혼합 음악, 배경 간섭 없음 — 를 가졌습니다.

그런 다음 이 콘텐츠로 서로 다른 출처의 얼굴 비디오와 관련 음성, 배경 소음을 조합해 만들었습니다. 다중 스트림 합성곱 신경망(multi-stream convolutional neural network)을 훈련해 혼합 음성 비디오에서 개별 화자 목소리를 분리했습니다.

사운드트랙의 스펙트로그램 표현과 각 프레임의 화자 얼굴 썸네일(비디오에서 추출)이 신경망에 입력됩니다. 네트워크는 훈련 기간 동안 청각 및 시각 신호를 인코딩하고 융합해 단일 오디오-비주얼 콘텐츠를 생성하는 법을 점진적으로 학습합니다.

동시에 네트워크는 개별 화자에 대한 시간-주파수 마스크를 제공하는 법도 학습합니다. 그런 다음 노이즈 입력 스펙트로그램에 마스크를 곱해 깨끗한 음성을 출력하면서 간섭과 노이즈를 분쇄합니다.

구현 세부사항

네트워크는 텐서플로(TensorFlow, 오픈소스 머신러닝 프레임워크)에 구현됐으며, 연산으로 파형과 단시간 푸리에 변환을 수행합니다. 마스크 레이어를 제외한 모든 네트워크 레이어에 ReLU 활성화 함수가 뒤따릅니다.

모든 합성곱 레이어에 배치 정규화(batch normalization)를 수행했습니다. 배치 크기 6개 샘플로 500만 배치(스텝) 훈련했습니다. 오디오는 16kHz로 리샘플링했고, 스테레오 오디오는 모노로 변환해 단시간 푸리에 변환을 계산했습니다.

참조: arXiv:1804.03619 | Google Research

모든 얼굴 임베딩은 훈련 전 초당 25프레임으로 리샘플링돼 75개 얼굴 임베딩의 입력 시각 스트림이 생성됐습니다. 특정 샘플에서 누락된 프레임이 발견되면 영벡터(zero vectors)를 사용했습니다.

응용 분야

이 기술은 오디오 인식, 음성 강화 등 수많은 응용이 가능합니다. 특히 여러 사람이 말하는 상황에서 유용합니다. 다양한 오디오 환경에서 사용할 수 있는 마이크폰 유형을 확대할 것입니다. 당장은 유튜브와 행아웃(Hangouts)이 시작하기 쉬운 두 곳입니다. 궁극적으로 음성 증폭 이어버드와 구글 글래스에 적용될 수 있습니다.

관련 기사: 구글, 인간과 구별 안 되는 음성 AI 개발 | Tacotron 2

또한 이 기술은 겹치는 화자들에 대한 더 나은 비디오 자막 시스템을 제공할 잠재력이 있습니다. 음성 인식을 사전 처리함으로써 가능합니다. 이 기능은 청각장애인들이 화상 회의에 참여하고 영화 비디오를 즐기기 쉽게 만들 것입니다.