스마트 카메라, 시각 세계를 이해하다: 픽셀 레벨 AI 프로세싱으로 효율성 혁신

로봇공학자와 AI 연구자들은 현재 시스템이 세계를 감지하고 처리하는 방식에 문제가 있음을 알고 있습니다. 현재는 여전히 이미지 기록용으로 설계된 디지털 카메라 같은 센서를, 비디오 게임 그래픽 가속용으로 설계된 GPU 같은 컴퓨팅 장치와 결합해 사용합니다.

기존 방식의 비효율성

이는 AI 시스템이 센서와 프로세서 간 시각 정보 기록 및 전송 후에야 세계를 인식함을 의미합니다. 하지만 자율주행차가 지나갈 때 길가 나무 잎사귀 디테일처럼 볼 수 있는 많은 것들이 당면 과제엔 무관한 경우가 많습니다. 현재 이 모든 정보가 센서에 의해 세밀하게 포착돼 시스템을 막고, 전력을 소모하며 처리 시간을 잡아먹습니다.

자연 시각 시스템에서 영감

연구진은 자연 시스템이 시각 세계를 처리하는 방식에서 영감을 얻었습니다. 인간의 눈과 뇌는 함께 세계를 이해하며, 경우에 따라 눈 자체가 처리를 수행해 뇌가 무관한 것을 줄이도록 돕습니다. 연구진은 시각 이해를 위한 AI 알고리즘인 합성곱 신경망(CNN)을 이미지 평면에 직접 구현했습니다. CNN은 이 이미지들을 기록하거나 처리 파이프라인으로 보내지 않고도 초당 수천 프레임을 분류할 수 있습니다. 연구진은 손글씨 숫자, 손동작, 플랑크톤 분류 시연을 고려했습니다.

지능형 전용 AI 카메라의 미래

이 연구는 지능형 전용 AI 카메라(카메라 앞의 객체/이벤트 유형 등 고수준 정보만 시스템 나머지로 전송하는 시각 시스템) 미래를 제시합니다. 이 접근법은 이미지를 기록할 필요 없어 시스템을 훨씬 더 효율적이고 안전하게 만듭니다.

SCAMP: 픽셀 프로세서 어레이(PPA)

이 연구에는 팀이 '픽셀 프로세서 어레이(PPA)'라 설명하는 카메라-프로세서 칩 SCAMP가 포함됩니다. PPA는 각 픽셀에 임베디드된 프로세서가 서로 통신해 진정한 병렬 처리를 수행합니다. 이는 CNN과 비전 알고리즘에 이상적입니다.

감지, 처리, 메모리의 픽셀 레벨 통합은 고성능·저지연 시스템을 가능케 할 뿐만 아니라 저전력·고효율 하드웨어를 약속합니다. SCAMP 장치는 현재 카메라 센서와 비슷한 풋프린트로 구현 가능하지만, 이미지 포착 지점에 범용 대규모 병렬 프로세서를 가질 수 있습니다.