스마트폰이나 컴퓨터 카메라를 사용하여 건강을 측정하는 시스템

원격 의료는 COVID-19 동안 대면 접촉을 최소화하면서 의사가 여전히 의료 서비스를 제공하는 중요한 방법이 되었습니다. 그러나 전화나 온라인 예약에서는 의사가 환자의 맥박이나 호흡수와 같은 중요한 생체 신호를 실시간으로 파악하기가 더 어렵습니다.

사람의 스마트폰이나 컴퓨터의 카메라를 사용하여 얼굴의 실시간 비디오에서 맥박과 호흡 신호를 가져오는 방법입니다. 머신 러닝이 원격 건강 감지에 도움이 되려면 시스템이 맥박과 같은 생리학적 정보의 가장 강력한 소스를 보유하고 있는 비디오에서 관심 영역을 식별한 다음 시간이 지남에 따라 이를 측정해야 합니다. 모든 사람이 다르기 때문에 시스템은 각 사람의 고유한 생리학적 특징에 빠르게 적응하고 이를 외모 및 환경과 같은 다른 변이와 분리해야 합니다.

팀의 시스템은 개인 정보를 보호하며(클라우드 대신 장치에서 실행됨) 기계 학습을 사용하여 사람의 얼굴에서 빛이 반사되는 방식의 미묘한 변화를 포착합니다. 이는 혈류 변화와 상관 관계가 있습니다. 그런 다음 이러한 변화를 맥박과 호흡수로 변환합니다.

이 시스템의 첫 번째 버전은 사람의 얼굴 비디오와 현장의 표준 장비로 측정한 각 사람의 맥박과 호흡수와 같은 "진실" 정보가 모두 포함된 데이터 세트로 훈련되었습니다. 그런 다음 시스템은 비디오의 공간 및 시간 정보를 사용하여 두 활력 징후를 모두 계산했습니다. 피험자가 움직이고 말하는 비디오에서 유사한 머신 러닝 시스템보다 성능이 뛰어났습니다. 그러나 시스템이 일부 데이터 세트에서는 잘 작동했지만 다른 사람, 배경 및 조명을 포함하는 다른 데이터 세트에서는 여전히 어려움을 겪었습니다. 이는 "과적합"으로 알려진 일반적인 문제입니다.

연구원들은 각 개인에 대해 개인화된 기계 학습 모델을 생성하도록 하여 시스템을 개선했습니다. 특히, 다양한 피부색, 조명 조건 및 환경과 같은 다양한 상황에서 얼굴의 혈류 변화와 관련된 생리학적 특징을 포함할 가능성이 있는 비디오 프레임의 중요한 영역을 찾는 데 도움이 됩니다. 거기에서 해당 영역에 초점을 맞추고 맥박과 호흡수를 측정할 수 있습니다.

이 새로운 시스템은 특히 더 어두운 피부 톤을 가진 사람들을 위해 더 까다로운 데이터 세트가 주어졌을 때 이전 시스템보다 성능이 뛰어나지만 아직 해야 할 일이 더 있습니다. 피사체의 피부 유형이 어두울 때 성능이 저하되는 경향이 있습니다. 부분적으로는 빛이 어두운 피부에서 다르게 반사되어 카메라가 포착하는 신호가 약해지기 때문입니다.

맥박이나 호흡수를 원격으로 감지할 수 있는 모든 기능은 원격 환자 치료 및 원격 진료를 위한 새로운 기회를 제공합니다. 여기에는 자가 관리, 후속 관리 또는 분류가 포함될 수 있으며, 특히 누군가가 클리닉에 편리하게 접근할 수 없는 경우에 그렇습니다.