메릴랜드 대학교 엔지니어, 로봇 비전을 향상시키는 눈에서 영감을 얻은 고급 카메라 제작

메릴랜드 대학교, 칼리지 파크, MD

새로운 AMI-EV 카메라 시스템을 묘사하는 다이어그램. (이미지:UMIACS 컴퓨터 비전 연구소 제공)

메릴랜드 대학교 컴퓨터 과학자들이 이끄는 팀은 로봇이 주변 세계를 보고 반응하는 방식을 향상시키는 카메라 메커니즘을 발명했습니다. 인간의 눈이 작동하는 방식에서 영감을 받은 혁신적인 카메라 시스템은 눈이 사용하는 작은 불수의 운동을 모방하여 시간이 지나도 선명하고 안정적인 시야를 유지합니다. AMI-EV(Artificial Microsaccade-Enhanced Event Camera)라는 팀의 카메라 프로토타입 제작 및 테스트에 대한 내용은 Science Robotics 저널에 게재된 논문에 자세히 설명되어 있습니다. 2024년 5월.

"이벤트 카메라는 기존 카메라보다 움직이는 물체를 더 잘 추적하는 데 상대적으로 새로운 기술이지만, 오늘날의 이벤트 카메라는 많은 동작이 관련될 때 선명하고 흐릿한 이미지를 캡처하는 데 어려움을 겪습니다."라고 논문의 주 저자이자 컴퓨터 과학 박사인 Botao He가 말했습니다. 메릴랜드 대학교 학생. "로봇과 자율주행차 등 기타 여러 기술은 변화하는 환경에 올바르게 반응하기 위해 정확하고 시의적절한 이미지에 의존하기 때문에 이는 큰 문제입니다. 그래서 우리는 스스로에게 질문했습니다. 인간과 동물은 어떻게 자신의 시야가 움직이는 물체에 계속 집중되도록 할 수 있을까요?"

He 팀의 대답은 사람이 시야에 집중하려고 할 때 무의식적으로 발생하는 작고 빠른 눈 움직임인 미세 단속적 움직임이었습니다. 이러한 미세하면서도 연속적인 움직임을 통해 사람의 눈은 시간이 지나도 물체와 색상, 깊이, 그림자와 같은 시각적 질감에 정확하게 초점을 유지할 수 있습니다.

"우리는 눈이 초점을 유지하기 위해 작은 움직임이 필요한 것과 마찬가지로 카메라도 유사한 원리를 사용하여 동작으로 인한 흐림 현상 없이 선명하고 정확한 이미지를 캡처할 수 있다고 생각했습니다."라고 그는 말했습니다.

팀은 AMI-EV 내부에 회전 프리즘을 삽입하여 렌즈에 의해 포착된 광선의 방향을 바꾸는 방식으로 마이크로단속운동을 성공적으로 복제했습니다. 프리즘의 지속적인 회전 움직임은 인간의 눈 내에서 자연적으로 발생하는 움직임을 시뮬레이션하여 카메라가 인간처럼 기록된 물체의 질감을 안정화할 수 있게 해줍니다. 그런 다음 팀은 변화하는 빛으로부터 안정적인 이미지를 통합하기 위해 AMI-EV 내에서 프리즘의 움직임을 보상하는 소프트웨어를 개발했습니다.

연구 공동 저자이자 메릴랜드 대학교 컴퓨터 과학 교수인 Yiannis Aloimonos는 팀의 발명이 로봇 비전 영역에서 큰 진전이라고 봅니다.

"우리의 눈은 우리 주변 세계의 사진을 찍고 그 사진은 뇌로 보내져 이미지가 분석됩니다. 인식은 그 과정을 통해 이루어지며 이것이 우리가 세상을 이해하는 방식입니다."라고 메릴랜드 대학 고등 컴퓨터 연구소(UMIACS)의 컴퓨터 비전 연구소 소장이기도 한 Aloimonos는 설명합니다. "로봇과 작업할 때 눈을 카메라로 바꾸고 뇌를 컴퓨터로 바꾸세요. 카메라가 좋아지면 로봇의 인식과 반응도 좋아집니다."

연구원들은 또한 그들의 혁신이 로봇 공학과 국방을 넘어 중요한 의미를 가질 수 있다고 믿습니다. 정확한 이미지 캡처와 형태 감지에 의존하는 업계에서 일하는 과학자들은 카메라를 개선할 방법을 끊임없이 찾고 있으며, AMI-EV는 그들이 직면한 많은 문제에 대한 핵심 솔루션이 될 수 있습니다.

논문의 수석 저자이자 연구 과학자인 Cornelia Fermüller는 “독특한 기능을 갖춘 이벤트 센서와 AMI-EV는 스마트 웨어러블 영역에서 중심 무대를 차지할 준비가 되어 있습니다.”라고 말했습니다. "이 카메라는 극한의 조명 조건에서 뛰어난 성능, 낮은 대기 시간, 낮은 전력 소비 등 기존 카메라에 비해 뚜렷한 장점을 가지고 있습니다. 이러한 기능은 예를 들어 머리와 몸의 움직임에 대한 원활한 경험과 빠른 계산이 필요한 가상 현실 애플리케이션에 이상적입니다."

초기 테스트에서 AMI-EV는 사람의 맥박 감지, 빠르게 움직이는 모양 식별 등 다양한 상황에서 움직임을 정확하게 포착하고 표시할 수 있었습니다. 연구원들은 또한 AMI-EV가 초당 수만 프레임의 모션을 캡처할 수 있으며, 이는 초당 평균 30~1000 프레임을 캡처하는 가장 일반적으로 사용되는 상용 카메라보다 성능이 뛰어나다는 사실을 발견했습니다. 이렇게 더욱 부드럽고 사실적인 동작 묘사는 더욱 몰입도 높은 증강 현실 경험과 향상된 보안 모니터링을 만드는 것부터 천문학자가 우주에서 이미지를 캡처하는 방법을 개선하는 것까지 모든 분야에서 중추적인 역할을 할 수 있습니다.

Aloimonos는 "우리의 새로운 카메라 시스템은 자율주행차가 도로에서 무엇이 인간이고 무엇이 아닌지를 파악하도록 돕는 것과 같은 많은 특정 문제를 해결할 수 있습니다"라고 말했습니다. "결과적으로 자율 주행 시스템이나 스마트폰 카메라 등 일반 대중이 이미 상호 작용하는 많은 애플리케이션이 있습니다. 우리는 우리의 새로운 카메라 시스템이 더욱 진보되고 유능한 시스템을 위한 길을 닦고 있다고 믿습니다."

자세한 내용은 Georgia Jiang에 문의하세요. 이 이메일 주소는 스팸봇으로부터 보호됩니다. 보려면 JavaScript를 활성화해야 합니다.