실시간 포르타멘토 알고리즘, 임의 두 오디오 신호 매끄럽게 연결… MIT 학생 개발

최적수송 이론 적용해 음높이 슬라이딩 효과 구현

음악가들은 '포르타멘토(portamento)' 효과로 음 사이 전환합니다. 중간 음 정의 없이 한 음에서 다른 음으로 미끄러지는 기법.

음악가들 200년 넘게 포르타멘토 사용. 하지만 제한된 악기만 이 효과 가능. 바이올린이나 사람 목소리처럼 음높이 연속 변화 가능한 악기들.

최근 MIT 학생 트레버 헨더슨(Trevor Henderson)이 임의 두 오디오 신호 간 실시간 포르타멘토 효과 생성 알고리즘 개발. 다른 오디오 클립 병합(한 곡이 다른 곡으로 블렌딩, 피아노 음이 사람 목소리로 미끄러짐) 시연.

알고리즘 작동 원리

알고리즘은 수세기 된 기하학 기반 프레임워크 '최적수송(optimal transport)' 기반. 여러 원점·목적지 구성 간 데이터 포인트 이동 최적 방식 결정. 3D 모델링, 이미지 정렬, 유체역학, 컴퓨터 그래픽스 적용돼옴.

헨더슨 이 프레임워크 오디오 신호 보간(interpolate)에 사용. 알고리즘 오디오 신호 작은 세그먼트(약 50ms)로 분할. 그런 다음 개별 세그먼트 음높이 다른 오디오 신호 음높이로 이동 최적 방식 결정.

이 방식 포르타멘토 효과 매끄러운 미끄러짐 생성. 신호 전환하며 오디오 충실도도 보존.

참고: arXiv:1906.06763 | MIT

일반적으로 두 오디오 신호 간 전환 부드럽게 페이딩 효과 사용. 한 신호 볼륨 줄이고 다른 신호 볼륨 높이는 전통 방식.

새 알고리즘 반면 한 오디오 신호 주파수 세그먼트 다른 신호로 매끄럽게 블렌딩, 신호 볼륨 증가/감소 없이.

이 기술 포르타멘토 다성악기 포함 다양한 악기 확장. 사실 다른 악기 세트 사이나 임의 오디오 신호 쌍 사이 전환 가능. 실시간 명확한 음악적 결과 생성.

'보간 파라미터(interpolation parameter)' 크로스페이더 같은 슬라이더 컴포넌트 제어. 크로스페이더 밀면 파라미터 변화, 포르타멘토 효과 생성.

왜곡 제거 위해 헨더슨 '주파수 재할당(frequency reassignment)' 사용 — 단일처리 기술 응용. 개별 음 신호 간 쉽게 전환 가능. 오디오 작은 세그먼트 병합하며 각 신호 새 위상 합성 새 방법 개발해 인접 세그먼트 간섭 방지.

다음 연구 헨더슨 포르타멘토 출력 입력 피드백 시도. 레가토(legato)라 불리는 다른 효과 — 다른 음 사이 유동적 연속 움직임 — 생성 가능.