기본에서 스마트로: HeadFi, 일반 헤드폰을 다기능 건강 모니터로 변신시키다

스마트 헤드폰과 일반 헤드폰의 차이는 스마트 헤드폰이 음악 재생을 넘어 생리 신호 모니터링과 가상 터치스크린 기능을 제공한다는 점입니다. 루트거스 대학교 박사 과정 중이던 샤오란 판(Xiaoran Fan)이 이끄는 연구팀은 일반 헤드폰을 센서로 활용하는 'HeadFi' 기술을 개발했습니다.

프로젝트 시작 계기

Tech Briefs: 이 프로젝트는 어떻게 시작되었나요?

샤오란 판: 저는 오디오 애호가라 헤드폰에 관심이 많았습니다. 단순한 헤드폰은 스튜디오 믹서나 홈 오디오용으로 쓰이지만, 최근 애플, 삼성, 마이크로소프트 등에서 스마트 헤드폰이 나오고 있습니다.

헤드폰의 드라이버가 원리적으로 마이크와 비슷하게 작동한다는 사실은 오래전부터 알려져 있었습니다. 즉, 상호 호환성이 있어 마이크가 신호를 감지할 수 있다면 헤드폰도 기본적으로 그럴 수 있습니다. 헤드폰이 스마트해질 잠재력은 있었지만, 아무도 그 'IQ'를 활용하지 않았습니다. 그게 이 연구를 시작한 초기 동기였습니다. 지도교수인 리치 하워드(Rich Howard) 교수는 평생 미세 신호 측정을 연구해오셨는데, 제 아이디어를 듣고 시도해볼 방법들을 제시해주셨습니다. 이후 수많은 탐색과 실험 끝에 논문을 발표할 수 있었습니다.

헤드폰을 마이크로 활용하는 원리

Tech Briefs: 헤드폰을 마이크로 어떻게 사용하나요?

판: 드라이버 자체는 저항, 커패시턴스, 인덕턴스를 가진 복잡한 임피던스 시스템입니다. 헤드폰 종류에 따라 정확한 기술은 다르지만, 기본적으로 모든 헤드폰은 전기 신호를 기계적 신호로 변환하는 트랜스듀서입니다. 이 트랜스듀서는 원리적으로 역방향으로도 작동할 수 있습니다. 기계적 진동이 진동판을 울리면 보이스 코일이 앞뒤로 움직이며 전기 신호를 생성하므로, 원리적으로는 상호 호환적입니다.

하지만 문제는 헤드폰이 음악 재생에 최적화되어 있어 음악 신호가 지배적이라는 점입니다. 외부에서 들어오는 감지 신호는 음악 신호보다 1000배나 작을 수 있습니다. 그래서 음악을 재생하면서 동시에 감지 작업을 수행하는 것이 과제였습니다. 음악을 멈춰야만 감지 기능을 쓸 수 있다면 실용적이지 않기 때문입니다.

우리는 아주 흥미로운 방법을 사용했습니다. 헤드폰은 좌우 한 쌍으로 구성되어 있고, 제조 과정에서 좌우 드라이버가 서로 매칭되도록 만들어집니다. 즉, 두 채널의 음향 신호가 균형을 이룹니다. 우리는 정확히 어떤 음악 신호가 양쪽 채널로 재생되는지 알기 때문에, 왼쪽 드라이버의 입력 신호로 오른쪽 드라이버의 입력 신호를 상쇄시킬 수 있습니다. 따라서 좌우 드라이버 출력에 차이가 생기면, 그 차이 신호를 얻을 수 있습니다.

예를 들어 제가 말을 하면 양쪽 헤드폰 모두 제 목소리를 포착하지만, 입에서 왼쪽 드라이버로, 오른쪽 드라이버로 전해지는 물리적 경로가 다릅니다. 뼈와 조직 구조가 좌우 대칭이 아니기 때문입니다. 뺄셈을 수행하면 좌우 드라이버 간의 차이, 즉 감지 신호의 차분 신호를 포착할 수 있습니다. 이 작은 정보를 이용해 다양한 작업을 수행할 수 있습니다.

제스처 인식, 심박수 모니터링, 사용자 식별 등 응용

Tech Briefs: 헤드폰으로 사용자 식별, 심박수 모니터링, 제스처 인식 등을 어떻게 수행하나요?

판: 논문에서 네 가지 응용을 제시했습니다: 제스처 인식, 심박수 모니터링, 사용자 식별, 그리고 가장 단순한 음성 통신.

심박수 모니터링을 예로 들면, 심장이 뛸 때 발생하는 기계적 진동이 온몸으로 전달되는데 헤드폰이 이를 포착합니다. 목소리 경우와 마찬가지로 심장에서 좌우 헤드폰으로 전해지는 경로가 다르므로, 차분 신호를 알고리즘으로 처리해 심박 주기를 찾아냅니다.

제스처 인식의 경우, 오른쪽 헤드폰 하우징을 탭하거나 터치하면 오른쪽 드라이버가 강한 터치 신호를 받고 왼쪽은 약한 신호를 받습니다. 뺄셈 후 위상 차이를 분석하면 어느 쪽인지 알 수 있습니다. 스크래치 같은 복잡한 제스처는 딥러닝으로 신호 패턴을 학습해 식별합니다.

가장 흥미로운 응용은 사용자 식별입니다. 헤드폰이 주파수 대역을 쓸어 올리는 '치프(chirp)' 신호를 생성해 귀로 보냅니다. 이 신호는 이도를 따라 전파됐다가 반사되어 같은 드라이버에 포착됩니다. 좌우 드라이버 모두 신호를 포착해 차분 신호를 만드는데, 모든 사람의 이도 구조가 지문처럼 다르기 때문에 반사되는 에코도 사람마다 다릅니다. 심지어 좌우 이도 구조도 달라 차분 신호 역시 개인마다 고유합니다. 일란성 쌍둥이 실험에서도 95% 이상 성공률을 보였습니다.

고주파 신호 사용 이유

Tech Briefs: 왜 고주파 신호를 사용하나요?

판: 초음파 CT 스캔과 비슷합니다. 이도 구조가 복잡해 고주파일수록 해상도가 좋아져 개별 이도의 독특한 형태를 더 잘 탐지할 수 있습니다. 주파수를 쓸어주며 각 귀에 가장 적합한 주파수를 찾습니다.

치프 신호 생성 및 자동화 프로세스

Tech Briefs: 치프 신호는 어떻게 생성하나요?

판: 소프트웨어에 치프 생성기가 포함되어 있습니다. 완전 자동화된 두 단계 프로세스입니다. 먼저 헤드폰이 머리에 착용되었는지 감지한 후 애플리케이션을 실행합니다.

착용 여부 확인에는 '조개껍데기 효과'를 이용합니다. 바닷가에서 조개껍데기를 귀에 대면 파도 소리가 들리는데, 조개껍데기와 이도가 반밀폐 공간을 형성해 특정 주파수가 공명·증폭되기 때문입니다. 헤드폰을 귀에 대면 특정 주파수가 증폭되는데, 여러 주파수에서 신호 강도를 살펴보면 착용 여부를 알 수 있습니다. 착용이 확인되면 치프 신호를 보냅니다.

이 네 가지 응용에 국한되지 않고 걸음 수 측정, 호흡 모니터링 등도 가능합니다.

걸음과 호흡 구분 방법

Tech Briefs: 입력이 걸음인지 호흡인지 어떻게 구분하나요?

판: 신호 패턴이 다르므로 딥러닝 모델로 구분합니다. 낙상 감지 등 노인 돌봄에도 활용할 계획입니다.

플랫폼 기술: 소프트웨어/하드웨어 결합 솔루션

Tech Briefs: 플랫폼이라고 하셨는데 소프트웨어를 의미하나요?

판: 소프트웨어/하드웨어 결합 솔루션입니다. 하드웨어는 휘트스톤 브리지로 좌우 드라이버 간 상쇄를 수행합니다. 이후 신호 처리를 통해 분류 작업(서포트 벡터 머신, 딥러닝 프레임워크 등)을 수행합니다. 하드웨어는 저항 두 개 정도로 매우 단순할 수 있습니다.

Tech Briefs: 어댑터를 꽂는 방식인가요?

판: 네, 현재 프로토타입이 그렇습니다.

Tech Briefs: 스마트폰에 다운로드할 앱을 개발해야 하나요?

판: 네, 현재 어댑터는 USB 타입 C 연결을 사용하며 이는 헤드폰과 스마트폰에서 흔히 쓰입니다.

상용화 전망

Tech Briefs: 상용화 시기는 언제쯤으로 보나요?

판: 루트거스 상용화 센터를 통해 파트너를 찾고 있으며 애플, 삼성, 마이크로소프트 등을 잠재 파트너로 탐색 중입니다. 하드웨어도 업그레이드 중인데, 현재 오픈 PCB 형태에서 3cm x 2cm까지 크기를 줄였습니다. 플러그 앤 플레이를 목표로 안드로이드 소프트웨어도 개발 중입니다.

본 인터뷰의 편집본은 2021년 5월호 Tech Briefs에 게재되었습니다.