Q&A:플랫폼이 헤드폰을 바보에서 스마트로 변환

스마트 헤드폰과 벙어리 헤드폰의 차이점은 스마트 헤드폰은 음악 재생을 넘어 생리학적 모니터와 가상 터치스크린이 될 수 있다는 것입니다. Xiaoran Fan은 Rutgers University의 박사 과정에 있는 동안 일반 헤드폰을 센서로 사용하는 HeadFi라는 방법을 개발한 연구원 팀을 이끌었습니다.

기술 요약: 이 프로젝트는 어떻게 시작되었나요?

팬 샤오란: 저는 오디오 애호가이기 때문에 헤드폰에 관심이 많았습니다. 스튜디오 믹서 및 홈 오디오와 같은 응용 프로그램에는 단순하고 간단한 헤드폰이 사용되지만 최근에는 Apple, Samsung 및 Microsoft에서 스마트 헤드폰을 볼 수 있습니다.

헤드폰의 드라이버는 원칙적으로 마이크와 유사하게 작동하므로 어떤 의미에서는 상호적이라는 것을 항상 알고 있었습니다. 마이크는 신호를 감지할 수 있으므로 기본적으로 헤드폰도 신호를 감지할 수 있습니다. 따라서 헤드폰이 똑똑할 수 있는 잠재력이 있었지만 아무도 그 IQ를 아직 사용하지 않았습니다. 그것이 저를 이 방향으로 이끌게 한 초기 동기였습니다. 게다가, 나의 고문인 Rich Howard는 평생 소신호 측정을 하는 데 바쳤습니다. 그래서 제가 이 아이디어에 대해 이야기할 때 그는 제가 시도할 수 있는 몇 가지 방법을 지적했습니다. 그런 다음 많은 탐색과 실험을 수행한 후 작업에 대한 논문을 발표할 수 있었습니다.

기술 요약: 헤드폰을 마이크처럼 사용하는 방법은 무엇입니까?

팬: 드라이버 자체는 복잡합니다. 저항, 커패시턴스 및 인덕턴스가 있으며 복잡한 임피던스 시스템입니다. 정확한 기술은 보유하고 있는 헤드폰 유형에 따라 다르지만 기본적으로 모두 전기 신호를 기계적 신호로 변환하는 변환기일 뿐입니다. 이러한 변환기는 원칙적으로 반대로 작동하도록 만들 수 있습니다. 기계적 신호는 전기 신호를 생성하기 위해 보이스 코일을 앞뒤로 움직일 수 있는 다이어프램을 진동시킬 수 있습니다. 따라서 원칙적으로 상호적입니다.

그러나 문제는 헤드폰이 음악 재생에 최적화되어 있다는 것입니다. 음악 신호가 지배적입니다. 외부의 여기 신호를 동시에 녹음할 수 있지만 음악 신호보다 1000배 작을 수 있습니다. 그래서 문제는 헤드폰이 여전히 음악을 재생하는 동안 감지 작업을 수행하는 방법이었습니다. 그렇게 할 수 없고 사용자가 감지 기능을 사용하기 위해 음악을 중지해야 하는 경우 유용하지 않습니다.

그래서 우리는 매우 흥미로운 일을 했습니다. 헤드폰은 왼쪽 드라이버와 오른쪽 드라이버와 함께 쌍으로 제공됩니다. 헤드폰은 좌우 드라이버가 서로 맞도록 제작되었다는 점을 이용했습니다. 즉, 둘의 사운드 신호가 균형을 이룹니다. 따라서 왼쪽 드라이버의 입력 신호를 사용하여 두 채널에 대해 재생 중인 음악 신호를 정확히 알고 있다는 사실을 사용하여 오른쪽 드라이버의 입력 신호를 취소할 수 있습니다. 따라서 왼쪽 드라이버와 오른쪽 드라이버의 출력에 차이가 있는 경우 출력을 빼면 차이 신호가 생성됩니다.

내가 말을 한다고 가정해 봅시다. 두 개의 헤드폰이 내 목소리를 캡처하지만 내 입에서 왼쪽 드라이버로의 목소리와 내 입에서 오른쪽 드라이버로의 목소리는 다른 채널을 통해 전달됩니다. 내 목소리와 왼쪽 귀 사이의 물리적 채널과 내 목소리와 오른쪽 귀 사이의 물리적 채널은 동일하지 않습니다. 내 뼈와 조직이 왼쪽에서 오른쪽으로 구조가 다르기 때문입니다.

따라서 빼기를 수행하면 캡처할 수 있는 왼쪽 드라이버와 오른쪽 드라이버 간에 차이가 발생합니다. 이 빼기는 음악 신호를 취소하지만 감지 신호 차동을 캡처할 수 있습니다. 우리는 이 작은 정보를 사용하여 무언가를 할 수 있습니다.

기술 개요 :헤드폰을 사용하여 사용자 식별과 같은 것을 측정하는 방법을 설명해 주시겠습니까? 심박수 모니터링; 제스처를 인식합니다.

팬 :실제로 우리는 논문에서 제스처 인식, 심박수 모니터링, 사용자 식별, 그리고 가장 간단한 음성 통신의 네 가지 응용 프로그램을 제시했습니다.

심박수 모니터링을 예로 들어 보겠습니다. 서두를 때 심장이 쿵쾅거리며 몸 전체에 기계적 진동을 생성하여 헤드폰이 이를 포착할 수 있습니다.

그러나 음성과 마찬가지로 심장에서 왼쪽 헤드폰으로, 오른쪽 헤드폰으로 가는 채널은 다릅니다. 우리의 알고리즘을 통해 차이 신호를 실행하여 심박수 기간을 찾을 수 있습니다.

제스처 인식의 경우 헤드폰의 오른쪽 인클로저를 탭하거나 터치한다고 가정해 보겠습니다. 오른쪽 드라이버는 터치 신호를 수신하지만 왼쪽 드라이버는 훨씬 약한 터치 신호를 수신합니다. 빼기를 하면 위상을 알 수 있습니다. 상승 에지가 한 방향이면 오른쪽 폰, 상승 에지가 다른 방향이면 왼쪽 터치입니다.

그러나 제스처를 정의하는 다른 고급 방법이 있습니다. 예를 들어, 스크래치에 의해 생성된 신호는 더 복잡합니다. 이 경우 몇 가지 딥 러닝 방법을 적용하여 제스처를 식별하는 신호 패턴을 학습할 수 있습니다.

하지만 가장 흥미로운 응용 프로그램은 사용자 식별이라고 생각합니다. 작동 방식은 헤드폰이 스와이프 신호를 생성하는 것입니다. 주파수 대역을 위로 스와이프하여 신호를 귀로 보내는 것입니다. 신호는 외이도를 통해 전파되고 다시 반사되며 신호를 생성한 동일한 헤드폰 드라이버에 의해 캡처됩니다. 왼쪽 및 오른쪽 드라이버는 모두 신호를 캡처하고 빼기를 수행합니다. 흥미로운 부분은 모든 사람의 외이도가 지문과 같은 구조를 가지고 있기 때문에 헤드폰에서 수신하는 에코가 모든 사람에게 다르다는 것을 의미합니다. 더욱 흥미로운 점은 모든 사람에게 왼쪽 및 오른쪽 외이도가 다르기 때문에 빼기를 수행하면 차이 신호가 있다는 것입니다. 그리고 그 차이는 심지어 일란성 쌍둥이 사이에서도 사람마다 다릅니다. 우리는 일란성 쌍둥이를 대상으로 실험을 했고 95% 이상의 성공률을 보였습니다. 응용 프로그램의 멋진 부분이라고 생각합니다.

기술 개요 :왜 고주파 신호를 사용합니까?

팬 :고주파를 발생시키는 이유는 일종의 CT 스캔과 비슷하기 때문입니다. 초음파 CT 스캔입니다. 우리의 외이도는 특정 외이도의 독특한 모양을 식별하기 위해 더 높은 주파수가 더 나은 해상도로 탐색할 수 있는 다른 구조를 가지고 있기 때문에 우리는 주파수 범위를 스와이프합니다. 우리는 해당 귀에 가장 적합한 결과를 제공하는 주파수를 찾기 위해 주파수를 스위핑합니다.

기술 개요 :스위프 신호는 어떻게 생성합니까?

팬 :당사 소프트웨어에는 처프 생성기가 포함되어 있습니다.

우리는 완전히 자동화된 프로세스를 가지고 있습니다. 두 단계가 있습니다. 첫 번째 단계는 헤드폰이 머리에 있는지 감지한 다음 애플리케이션을 실행하는 것입니다.

우리는 헤드폰이 머리에 있는지 확인하기 위해 흥미로운 트릭을 사용합니다. 조개 효과를 기반으로합니다. 바닷가를 걸을 때 조개껍데기를 집어 귀에 대면 바다 소리와 같은 소리가 들립니다. 그 이유는 조개 껍질과 외이도가 일부 주파수를 공명하고 증폭하는 반밀폐 공간을 형성하기 때문입니다.

헤드폰도 마찬가지입니다. 헤드폰을 귀에 착용하면 일부 주파수가 증폭되어 다양한 주파수에서 신호 강도를 보는 것만으로 헤드폰이 귀에 있는지 여부를 감지할 수 있습니다. 헤드폰이 머리에 있으면 짹짹 소리를 보내기 시작합니다.

그러나 우리는 이 네 가지 응용 프로그램에 국한되지 않습니다. 걸음 수 및 호흡 모니터링과 같은 측정도 할 수 있습니다.

기술 개요 :입력이 단계에서인지 호흡에서인지 어떻게 알 수 있습니까?

팬 :신호가 서로 다르기 때문에 딥 러닝 모델을 사용하여 구분할 수 있습니다.

이것은 또한 노인 케어에 사용될 수 있습니다. 사람이 넘어지면 인식할 수 있으므로 911에 전화해야 합니다. 이에 대해서도 작업할 계획입니다.

우리 프로젝트의 핵심 지적 기여는 재고 헤드폰을 스마트하게 만들 수 있는 플랫폼을 제시하여 가능한 다양한 응용 프로그램을 가능하게 하는 것입니다. 높은 수준에서 이 기술은 유비쿼터스 인간/헤드폰/네트워크 인터페이스를 활성화할 수 있습니다. 현존하는 수많은 "멍청한" 헤드폰이 HeadFi의 혜택을 받을 수 있기 때문입니다.

기술 개요 :플랫폼이라고 하면 소프트웨어를 말하는 건가요?

팬 :소프트웨어/하드웨어 솔루션입니다. 하드웨어는 왼쪽과 오른쪽 드라이버 사이의 취소를 수행하는 Wheatstone 브리지입니다. 그런 다음 벡터 머신 또는 딥 러닝 프레임워크 지원을 포함하여 분류와 같은 작업에 대한 신호 처리를 수행해야 합니다. 따라서 소프트웨어/하드웨어가 결합된 솔루션이지만 하드웨어는 매우 간단할 수 있습니다. 단 2개의 저항만큼 간단합니다.

기술 개요 :연결하는 어댑터가 있습니까?

팬 :예, 이것이 하드웨어의 현재 프로토타입입니다.

기술 개요 :그러면 스마트폰에 로드를 다운로드할 앱을 디자인해야 합니까?

팬 :네, 저희가 현재 사용하고 있는 어댑터는 USB Type C 연결 방식을 사용하고 있습니다. 이는 현재 헤드폰과 휴대폰에서 흔히 볼 수 있는 방식입니다.

기술 개요 :이것이 언제 상용화될지 대략적인 생각이 있습니까?

팬 :현재 Rutgers 상용화 센터 웹사이트를 이용하여 파트너를 찾고 있으며 Apple, Samsung 또는 Microsoft와 같은 잠재적 파트너를 탐색하고 있습니다. 또한 현재 어댑터는 개방형 인쇄 회로 기판이기 때문에 업그레이드된 하드웨어도 개발하고 있습니다. 지금까지 우리는 이 순간에 보드 크기를 3cm x 2cm로 줄일 수 있었습니다. 우리는 플러그 앤 플레이를 목표로 하고 있으며 쉽게 시연할 수 있도록 Android 소프트웨어도 작성하고 있습니다.

이 인터뷰의 편집된 버전은 Tech Briefs의 2021년 5월호에 실렸습니다.