마스크 착용 시에도 얼굴 표정 인식하는 이어폰 개발

연구자들은 볼 윤곽을 관찰하여 얼굴 표정을 지속적으로 추적하고, 이를 이모티콘이나 무음 음성 명령으로 변환할 수 있는 이어폰을 발명했습니다. 귀 착용형 장치(C-Face)를 사용하면 사용자는 카메라를 얼굴 앞에 들고 있지 않아도 온라인 협업자에게 감정을 표현할 수 있습니다. 이는 세계 많은 지역에서 원격 근무나 학습이 이루어지는 상황에서 특히 유용한 커뮤니케이션 도구입니다.

이 장치는 얼굴 표정 추적을 위한 기존 귀 착용형 웨어러블 기술보다 단순하고, 덜 거슬리며, 더 강력합니다. 얼굴 표정을 인식하기 위한 이전 웨어러블 기술에서는 대부분 얼굴에 센서를 부착해야 했으며, 그렇게 많은 계측을 해도 제한된 이산적 얼굴 표정만 인식할 수 있었습니다.

C-Face를 사용하면 가상현실 환경의 아바타가 사용자의 실제 감정을 표현할 수 있고, 강사는 온라인 수업 중 학생 참여도에 대한 귀중한 정보를 얻을 수 있습니다. 얼굴 신호만으로 음악 플레이어 같은 컴퓨터 시스템을 제어하는 데도 사용할 수 있습니다. 근육 움직임을 감지하여 작동하므로 사용자가 마스크를 착용해도 얼굴 표정을 포착할 수 있습니다.

이 장치는 헤드폰이나 이어폰 아래 양쪽 귀 아래에 위치한 두 개의 소형 RGB 카메라(적색, 녹색, 청색 대역의 빛을 포착하는 디지털 카메라)로 구성됩니다. 카메라는 안면 근육이 움직일 때 발생하는 얼굴 윤곽의 변화를 기록합니다. 얼굴 표정을 지을 때 안면 근육이 늘어나고 수축하여 피부를 밀고 당기며 인근 안면 근육의 긴장에 영향을 줍니다. 이 효과로 인해 귀 관점에서 볼 때 볼 윤곽(contours)이 변합니다.

이미지가 캡처되면 컴퓨터 비전과 딥러닝 모델을 사용하여 재구성됩니다. 원시 데이터가 2D이므로, 이미지 분류, 검출, 검색에 좋은 인공지능 모델인 합성곱 신경망(Convolutional Neural Network)이 윤곽을 표정으로 재구성하는 데 도움을 줍니다. 모델은 볼 이미지를 입, 눈, 눈썹의 모양과 위치를 나타내는 42개 얼굴 특징점(landmarks)으로 변환합니다. 이 특징들이 표정 변화에 가장 영향을 받기 때문입니다.

COVID-19 팬데믹으로 인한 제한으로 연구자들은 9명의 참가자로만 장치를 테스트할 수 있었습니다. 정면 카메라로 촬영된 전체 얼굴 이미지에서 얼굴 랜드마크를 추출하는 최첨단 컴퓨터 비전 라이브러리와 성능을 비교했습니다. 재구성된 랜드마크의 평균 오차는 0.8mm 미만이었습니다.

42개 특징점으로 표현된 재구성된 얼굴 표정은 '자연스러움', '화남' 등 8가지 이모티콘과 '재생', '다음 곡', '볼륨 업' 등 음악 기기 제어를 위한 8가지 무음 음성 명령으로도 변환될 수 있습니다.

얼굴 표정으로 기기를 제어하는 능력은 사람들이 큰소리로 말하여 다른 사람을 방해하고 싶지 않은 공유 작업 공간 등에서 유용할 수 있습니다. 표정을 이모티콘으로 변환하면 가상현실 협업에서 더 원활한 의사소통을 도울 수 있습니다.

C-Face의 한계는 이어폰의 제한된 배터리 용량입니다. 다음 단계로 팀은 전력을 덜 사용하는 센싱 기술을 개발할 계획입니다.