안면 마스크를 착용한 상태에서도 얼굴 표정을 추적하는 이어폰

연구원들은 뺨의 윤곽을 관찰하여 전체 얼굴 표정을 지속적으로 추적한 다음 표정을 이모티콘이나 조용한 음성 명령으로 번역할 수 있는 이어폰을 발명했습니다. 귀에 장착된 장치(C-Face라고 함)를 사용하여 사용자는 카메라를 얼굴 앞에 대지 않고도 온라인 공동 작업자에게 감정을 표현할 수 있습니다. 이는 전 세계의 많은 사람들이 원격 작업이나 학습에 참여할 때 특히 유용한 커뮤니케이션 도구입니다.

이 장치는 얼굴 표정을 추적하기 위해 기존의 귀에 장착하는 웨어러블 기술보다 간단하고 눈에 덜 띄며 기능이 뛰어납니다. 얼굴 표정 인식을 목표로 하는 이전 웨어러블 기술에서는 대부분의 솔루션이 얼굴에 센서를 부착하는 데 필요했습니다. 너무 많은 도구를 사용해도 그들은 제한된 얼굴 표정 세트만 인식할 수 있었습니다.

C-Face를 사용하면 가상 현실 환경의 아바타가 사용자의 실제 느낌을 표현할 수 있고 강사는 온라인 수업 중 학생 참여에 대한 귀중한 정보를 얻을 수 있습니다. 또한 얼굴 신호만 사용하여 음악 플레이어와 같은 컴퓨터 시스템을 지시하는 데 사용할 수도 있습니다. 근육의 움직임을 감지하여 작동하기 때문에 C-Face는 사용자가 마스크를 착용한 상태에서도 얼굴 표정을 캡처할 수 있습니다.

이 장치는 두 개의 소형 RGB 카메라(빨간색, 녹색 및 파란색 빛 밴드를 캡처하는 디지털 카메라)로 구성되어 있으며 헤드폰이나 이어폰으로 각 귀 아래에 위치합니다. 카메라는 얼굴 근육이 움직일 때 발생하는 얼굴 윤곽의 변화를 기록합니다. 표정을 할 때 안면 근육은 신축과 수축을 하여 피부를 밀고 당기며 주변 얼굴 근육의 긴장에 영향을 줍니다. 이 효과로 인해 볼의 윤곽(윤곽)이 귀의 관점에서 변경됩니다.

이미지가 캡처되면 컴퓨터 비전과 딥 러닝 모델을 사용하여 재구성됩니다. 원시 데이터가 2D이기 때문에 이미지 분류, 감지 및 검색에 뛰어난 인공 지능 모델의 일종인 컨볼루션 신경망은 윤곽을 표현으로 재구성하는 데 도움이 됩니다. 이 모델은 뺨의 이미지를 표정 변화의 영향을 가장 많이 받는 특징인 입, 눈, 눈썹의 모양과 위치를 나타내는 42개의 얼굴 특징점 또는 랜드마크로 변환합니다.

COVID-19 전염병으로 인한 제한 때문에 연구원들은 9명의 참가자에게만 장치를 테스트할 수 있었습니다. 그들은 성능을 전면 카메라로 캡처한 전체 얼굴 이미지에서 얼굴 랜드마크를 추출하는 최첨단 컴퓨터 비전 라이브러리와 비교했습니다. 재구성된 랜드마크의 평균 오차는 0.8mm 미만이었습니다.

42개의 특징점으로 표현된 이러한 재구성된 표정은 "자연" 및 "화난"을 포함한 8개의 이모티콘과 "재생", "다음 노래", " 볼륨을 높이세요.”

얼굴 표정을 사용하여 장치를 지시하는 기능은 예를 들어 사람들이 큰 소리로 말하여 다른 사람을 방해하고 싶지 않은 공유 작업 공간에서 작업하는 데 유용할 수 있습니다. 표정을 이모티콘으로 번역하면 가상 현실 협업에 참여하는 사람들이 더 원활하게 의사 소통하는 데 도움이 될 수 있습니다.

C-Face의 한 가지 제한 사항은 이어폰의 제한된 배터리 용량입니다. 다음 단계로 팀은 전력을 덜 사용하는 감지 기술을 개발할 계획입니다.