인공 지능은 신경 활동에서 음성을 생성할 수 있습니다

• 연구원은 순환 신경망을 사용하여 마비되어 의사 소통이 불가능한 사람들을 돕습니다.
• 네트워크는 신경 활동을 음성 음향으로 변환합니다.
• 환자가 자연스러운 말하기 속도로 무제한 어휘를 의사소통하는 데 도움이 될 수 있습니다.

많은 신경학적 상태로 인해 의사 소통이 끊어져 환자가 완전히 보조 장치에 의존하게 됩니다. 이러한 장치를 사용하면 분당 최대 10단어로 문장을 한 글자씩 입력할 수 있습니다. 그러나 이 속도는 1분에 150단어 내외로 이루어지는 일상 대화에 비하면 너무 느립니다.

훨씬 더 높거나 자연스러운 의사소통 속도를 가능하게 하기 위해 샌프란시스코 캘리포니아 대학의 연구원들은 성대 움직임과 생성되는 소리를 강조하는 생체 모방 접근 방식을 사용했습니다.

그들은 뇌 신호에서 직접 합성된 음성을 생성하는 것이 가능하다는 것을 보여주었습니다. 이 신호는 약 100개의 근육을 정확하게 조정하여 입술, 혀, 턱 및 후두를 움직이고 호흡을 소리로 형성하여 결국 단어와 문장을 형성합니다.

연구팀은 간질(신경 장애) 치료를 받고 있는 5명의 참가자로부터 고밀도 전기피질검사 신호를 기록했습니다. 모든 참가자는 문장을 소리내어 읽도록 요청받았고 뇌 표면에 전극을 배치하여 결과 신호를 측정했습니다.

반복 신경망

연구원들은 관절 역학의 명시적인 중간 표현으로 피질 신호를 디코딩하고 결국 가청 음성을 합성하기 위해 순환 신경망을 개발했습니다.

참조:자연 | DOI:10.1038/s41586-019-1119-1 | UC 샌프란시스코

신경망은 피질 신호와 함께 문장을 크게 말하는 참가자의 소리에 대해 훈련됩니다. 그들은 알고리즘을 훈련하기 위해 ADAM 옵티마이저를 사용했습니다. 훈련의 첫 번째 단계와 두 번째 단계에서는 배치 크기가 각각 256과 25를 사용했습니다.

적층형 심층 인코더-디코더 네트워크는 뇌 신호를 명시적으로 통합하여 신경 활동의 주요 생리학적 상관 관계를 디코딩한 다음 이를 음성 음향으로 변환했습니다. 전극에서 직접 음향을 디코딩하도록 최적화되었습니다.

신경으로 디코딩된 구어 문장에서 음성 합성 | 연구원 제공

이 통계적 매핑은 제한된 훈련 데이터 세트로 일반화를 가능하게 합니다. 연구원들은 25분의 연설로 만족스러운 성과를 얻을 수 있었고 더 많은 데이터를 제공할수록 성과가 지속적으로 향상되었습니다.

다음은 무엇입니까?

이 연구는 신경 장애로 고통받는 환자가 제기하는 큰 장애물을 해결하기 위한 고급 방법을 제시합니다. 일반화 결과에 따르면 화자는 화자와 독립적인 유사한 운동학적 상태 공간 표현을 공유합니다. 모델 지식(참여자 간에 운동학을 소리로 매핑)이 이전될 수 있습니다.

다른 사람들의 신경 활동에 대한 이 저차원 표현을 활용하면 뇌-컴퓨터 인터페이스 학습을 촉진할 수 있습니다. 이 발견은 마비 환자의 언어 회복을 실현하는 새로운 문을 열 수 있습니다.

읽기:AI는 연구 논문을 읽고 평범한 영어 요약을 제공할 수 있습니다.

본 연구에서 개발된 신경망은 자연스러운 말하기 속도로 무제한 어휘를 전달할 수 있는 기능을 제공합니다. 이 직접 음성 합성 접근 방식은 텍스트 출력에서 ​​사용할 수 없는 피치 억양을 포함하여 음성의 운율적 요소를 캡처합니다. 또한, 관절의 피질 처리가 아직 손상되지 않은 환자에게 사용법을 배우는 것이 더 쉽고 직관적일 수 있습니다.