카메라는 그들이 보고 있는 것을 배우고 이해합니다.

로봇 공학자와 인공 지능(AI) 연구원은 현재 시스템이 세상을 감지하고 처리하는 방식에 문제가 있음을 알고 있습니다. 현재 그들은 여전히 ​​이미지 기록용으로 설계된 디지털 카메라와 같은 센서를 비디오 게임용 그래픽을 가속화하도록 설계된 GPU(그래픽 처리 장치)와 같은 컴퓨팅 장치와 결합하고 있습니다.

이는 AI 시스템이 센서와 프로세서 사이에 시각 정보를 기록하고 전송한 후에야 세상을 인식한다는 것을 의미합니다. 하지만 자율주행차가 지나갈 때 길가에 난 나뭇잎의 디테일과 같이 눈에 보이는 많은 것들이 당면한 작업과 관련이 없는 경우가 많습니다. 현재 이 모든 정보는 센서에 의해 세세하게 캡처되어 전송되며 관련 없는 데이터로 시스템을 막아 전력을 소모하고 처리 시간이 걸립니다.

연구원들은 자연 시스템이 시각적 세계를 처리하는 방식에서 영감을 얻었습니다. 인간의 눈과 뇌는 세상을 이해하기 위해 함께 작동하며 어떤 경우에는 눈 자체가 처리를 수행하여 뇌가 관련 없는 것을 줄이는 데 도움이 됩니다. 연구원들은 시각적 이해를 가능하게 하는 AI 알고리즘의 한 형태인 CNN(Convolutional Neural Networks)을 이미지 평면에 직접 구현했습니다. CNN은 이러한 이미지를 기록하거나 처리 파이프라인으로 보낼 필요 없이 초당 수천 번 프레임을 분류할 수 있습니다. 연구원들은 손으로 쓴 숫자, 손짓, 심지어 플랑크톤까지 분류하는 시연을 고려했습니다.

이 연구는 지능형 전용 AI 카메라의 미래를 제안합니다. 즉, 카메라 앞에서 일어나는 물체의 유형이나 이벤트와 같은 높은 수준의 정보를 시스템의 나머지 부분에 간단히 보낼 수 있는 시각 시스템인 시각 시스템입니다. 이 접근 방식을 사용하면 이미지를 기록할 필요가 없기 때문에 시스템을 훨씬 더 효율적이고 안전하게 만들 수 있습니다.

이 작업에는 팀이 PPA(픽셀 프로세서 어레이)라고 설명하는 카메라 프로세서 칩인 SCAMP가 통합되어 있습니다. PPA에는 진정한 병렬 형태로 처리하기 위해 서로 통신할 수 있는 프로세서가 각 픽셀에 내장되어 있습니다. 이것은 CNN 및 비전 알고리즘에 이상적입니다.

픽셀 수준에서 감지, 처리 및 메모리의 통합은 고성능, 저지연 시스템을 가능하게 할 뿐만 아니라 저전력, 고효율 하드웨어를 약속합니다. SCAMP 장치는 현재 카메라 센서와 유사한 풋프린트로 구현할 수 있지만 이미지 캡처 지점에서 범용의 대규모 병렬 프로세서를 사용할 수 있습니다.