메릴랜드대, 로봇 비전 향상시키는 눈 영감 첨단 카메라 개발

메릴랜드 대학교, 컬리지파크, MD

새로운 AMI-EV 카메라 시스템을 보여주는 다이어그램. (이미지: UMIACS 컴퓨터 비전 연구소 제공)

메릴랜드 대학교 컴퓨터 과학자들이 이끄는 팀이 로봇이 주변 세상을 보고 반응하는 방식을 개선하는 카메라 메커니즘을 발명했습니다. 인간 눈의 작동 방식에서 영감을 받은 이들의 혁신적인 카메라 시스템은 눈이 시간이 지나도 선명하고 안정적인 비전을 유지하기 위해 사용하는 작고 비자발적인 움직임을 모방합니다. 인공 마이크로사케이드 강화 이벤트 카메라(AMI-EV)라고 불리는 이 카메라의 프로토타이핑과 테스트는 2024년 5월 Science Robotics 저널에 게재된 논문에서 자세히 다뤄졌습니다.

"이벤트 카메라는 움직이는 물체 추적에서 전통적인 카메라보다 뛰어나지만, 오늘날의 이벤트 카메라는 많은 움직임이 있을 때 선명하고 블러 없는 이미지를 포착하는 데 어려움을 겪습니다."라고 논문 제1저자인 메릴랜드 대학교 컴퓨터 과학 박사과정 Botao He는 말합니다. "이는 로봇과 자율주행차 같은 많은 기술이 변화하는 환경에 올바르게 반응하기 위해 정확하고 시의적절한 이미지에 의존하기 때문에 큰 문제입니다. 그래서 우리는 물었습니다: 인간과 동물이 움직이는 물체에 초점을 유지하는 방법은 무엇일까?"

He 팀의 답은 마이크로사케이드였습니다. 사람이 시야를 초점 맞추려 할 때 비자발적으로 발생하는 작고 빠른 눈 움직임입니다. 이 작지만 지속적인 움직임을 통해 인간 눈은 물체와 그 시각적 질감(색상, 깊이, 그림자 등)을 시간이 지나도 정확하게 유지할 수 있습니다.

"우리 눈이 초점을 유지하기 위해 그 작은 움직임이 필요하듯, 카메라도 비슷한 원리를 이용해 움직임으로 인한 블러 없이 선명하고 정확한 이미지를 포착할 수 있을 것이라 생각했습니다."라고 He는 말합니다.

팀은 AMI-EV 내부에 회전 프리즘을 삽입해 렌즈가 포착한 빛 빔을 재지향함으로써 마이크로사케이드를 성공적으로 복제했습니다. 프리즘의 지속적인 회전 운동은 인간 눈에서 자연적으로 발생하는 움직임을 시뮬레이션하여, 카메라가 인간의 경우처럼 기록된 물체의 질감을 안정화할 수 있게 했습니다. 팀은 AMI-EV 내 프리즘의 움직임을 보상하는 소프트웨어를 개발해 이동하는 빛으로부터 안정된 이미지를 통합했습니다.

공동 저자인 메릴랜드 대학교 컴퓨터 과학 교수 Yiannis Aloimonos는 팀의 발명을 로봇 비전 영역에서 큰 진전으로 봅니다.

"우리 눈은 우리 주변 세계의 사진을 찍고 그 사진들은 우리 뇌로 보내져 이미지가 분석됩니다. 지각은 그 과정을 통해 일어나고 그게 우리가 세상을 이해하는 방식입니다."라고 UMIACS(메릴랜드 대학교 고등 컴퓨터 연구소) 컴퓨터 비전 연구소장이기도 한 Aloimonos는 설명합니다. "로봇과 작업할 때 눈을 카메라로, 뇌를 컴퓨터로 대체합니다. 더 나은 카메라는 로봇에게 더 나은 지각과 반응을 의미합니다."

연구자들은 또한 이 혁신이 로봇과 국방 이외에도 중요한 함의를 가질 수 있다고 믿습니다. 정확한 이미지 캡처와 형상 검출에 의존하는 산업에서 일하는 과학자들은 끊임없이 카메라를 개선할 방법을 찾고 있으며, AMI-EV는 그들이 직면한 많은 문제의 핵심 솔루션이 될 수 있습니다.

"독특한 특징들로 이벤트 센서와 AMI-EV는 스마트 웨어러블 영역에서 중심 무대를 차지할 준비가 되어 있습니다."라고 논문 선임 저자인 연구원 Cornelia Fermüller는 말합니다. "기존 카메라보다 독보적인 이점이 있습니다: 극한 조명 조건에서의 우수한 성능, 낮은 지연시간, 낮은 전력 소모. 이 특징들은 예를 들어 가상현실 응용에 이상적입니다. 거기서 원활한 경험과 머리와 몸 움직임의 빠른 계산이 필요합니다."

초기 테스트에서 AMI-EV는 인간 맥박 감지와 빠르게 움직이는 형상 식별을 포함한 다양한 맥락에서 움직임을 정확하게 포착하고 표시할 수 있었습니다. 연구자들은 또한 AMI-EV가 초당 수만 프레임으로 움직임을 포착할 수 있음을 발견했는데, 이는 평균 30~1000프레임을 포착하는 일반적인 상용 카메라를 능가합니다. 이 더 부드럽고 현실적인 움직임 묘사는 더 몰입감 있는 증강현실 경험 생성과 더 나은 보안 모니터링부터 천문학자들의 우주 이미지 캡처 방식 개선에 이르기까지 모든 것에서 중추적일 수 있습니다.

"우리의 새로운 카메라 시스템은 자율주행차가 도로에서 무엇이 사람이고 무엇이 아닌지 파악하는 것을 돕는 등 많은 구체적 문제를 해결할 수 있습니다."라고 Aloimonos는 말합니다. "결과적으로 일반 대중이 이미 상호작용하는 많은 응용 분야, 자율주행 시스템이나 스마트폰 카메라 같은 곳에 응용될 수 있습니다. 우리의 새로운 카메라 시스템이 더 발전되고 능력 있는 시스템을 위한 길을 닦고 있다고 믿습니다."

자세한 정보는 Georgia Jiang(이메일 주소는 스팸봇으로부터 보호 중, 자바스크립트 활성화 필요)에게 문의하세요.