2개의 오디오 신호를 매끄럽게 혼합하는 새로운 알고리즘

• 새로운 알고리즘은 실시간으로 두 오디오 신호 사이에 포르타멘토 효과를 생성합니다.
• 신호의 볼륨을 높이거나 낮추지 않고 한 오디오 신호의 주파수 세그먼트를 다른 오디오 신호로 매끄럽게 혼합합니다.

음악가는 '포르타멘토'라는 효과를 사용하여 음 사이를 전환합니다. 실제로 중간 음표를 정의하지 않고 한 음표에서 다른 음표로 글라이딩하는 기술입니다.

뮤지션들은 200년 이상 포르타멘토를 사용해 왔습니다. 그러나 제한된 유형의 악기가 이 효과를 가져올 수 있습니다. 바이올린이나 사람의 목소리처럼 피치가 계속해서 변할 수 있는 악기입니다.

최근 MIT의 한 학생인 Trevor Henderson은 두 오디오 신호 간에 실시간으로 포르타멘토 효과를 생성하는 알고리즘을 개발했습니다. 그는 한 노래가 다른 노래와 섞이고 피아노 음이 사람의 목소리로 흘러 들어가는 것과 같은 다양한 오디오 클립을 병합하여 알고리즘의 기능을 시연했습니다.

알고리즘은 어떻게 작동합니까?

이 알고리즘은 '최적 전송'으로 알려진 수백 년 된 기하학 기반 프레임워크를 기반으로 합니다. 프레임워크는 여러 원본 및 대상 구성 간에 데이터 포인트를 이동하는 최적의 방법을 결정합니다. 3D 모델링, 이미지 정렬, 유체 역학 및 컴퓨터 그래픽에 적용되었습니다.

Henderson은 이 프레임워크를 사용하여 오디오 신호를 보간했습니다. 알고리즘은 오디오 신호를 작은 세그먼트(약 50밀리초)로 분할하여 작동합니다. 그런 다음 개별 세그먼트의 피치를 다른 오디오 신호의 피치로 이동하는 가장 효율적인 방법을 결정합니다.

이러한 방식으로 알고리즘은 포르타멘토 효과의 부드러운 활공을 생성합니다. 또한 신호가 전환될 때 오디오 충실도를 유지합니다.

참조:arXiv:1906.06763 | MIT

일반적으로 페이딩 효과는 두 오디오 신호 간의 전환을 부드럽게 하는 데 사용됩니다. 이것은 한 신호의 볼륨을 낮추고 다른 신호의 볼륨을 높이는 전통적인 방법입니다.

반면에 새로운 알고리즘은 신호 볼륨을 높이거나 낮추지 않고 한 오디오 신호의 주파수 세그먼트를 다른 오디오 신호로 매끄럽게 혼합합니다.

이 기술은 포르타멘토를 다성 악기를 포함한 다양한 악기로 확장합니다. 사실, 다른 악기 세트 또는 다른 오디오 신호 쌍 사이를 전환하는 데 사용할 수 있습니다. 실시간으로 선명한 음악적 결과를 생성합니다.

'보간 매개변수'는 DJ의 믹싱 보드에 있는 크로스페이더와 같은 슬라이더 구성 요소로 제어할 수 있습니다. 크로스페이더를 밀면 매개변수가 변경되어 포르타멘토 효과가 생성됩니다.

왜곡을 제거하기 위해 Henderson은 단일 처리 기술을 적용한 '주파수 재할당'을 사용했습니다. 이를 통해 개별 음표를 신호 간에 쉽게 전환할 수 있습니다. 그는 또한 작은 오디오 세그먼트를 병합하면서 각 신호에 대해 새로운 위상을 합성하는 새로운 방법을 개발하여 인접한 세그먼트가 서로 간섭하지 않도록 했습니다.

읽기:Facebook AI는 음악을 한 스타일에서 다른 스타일로 변환합니다.

다음 연구에서 Henderson은 포르타멘토 출력을 입력으로 다시 공급하려고 시도할 것입니다. 이렇게 하면 서로 다른 음 사이에서 유동적이고 연속적인 움직임을 나타내는 레가토라는 또 다른 효과가 생성될 수 있습니다.