에지 AI 칩, 기존 MAC 어레이 제거로 55 TOPS/W 효율 달성

실리콘밸리 스타트업이 신경망 수학을 재구상해 기존의 곱셈-누적(MAC) 어레이를 우회하는 에지 AI 칩을 선보였다. 그 결과 7×7mm 크기의 에르고(Ergo) 칩이 탄생했으며, 20mW 소비 전력으로 4 TOPS 성능을 내 55 TOPS/W라는 인상적인 효율을 달성했다. 퍼시브(Perceive)에 따르면 이 칩은 20mW 미만으로 YOLOv3를 30fps로 실행하는 데이터센터급 추론 워크로드를 처리할 수 있다.

2년 전 산호세에서 설립된 퍼시브는 스텔스 모드에서 벗어나 모회사인 제이피(Xperi)의 전액 출자로 운영된다. 41명의 핵심 팀과 비슷한 규모의 제이피 엔지니어들이 에르고의 애플리케이션에 집중하고 있다. 퍼시브 창립자이자 CEO이자 제이피 CTO인 스티브 타이그(Steve Teig)는 칩 설계와 AI 분야에서 깊은 이력을 가지고 있으며, 이전에는 3D 프로그래머블 로직 스타트업 타불라(Tabula)를 이끌었고 케이던스(Cadence) CTO를 역임했다.

타이그는 "신경망이 실제로 어떤 연산을 수행하는가?"라는 단순한 질문에서 여정이 시작되었다고 설명한다. 정보 이론적 원리를 적용해 팀은 네트워크 연산의 더 효율적인 표현을 식별했고, 이는 에르고 아키텍처의 기반이 되었다. 이 새로운 접근법은 기존 MAC 어레이의 대부분을 제거해 경쟁 솔루션 대비 20~100배 더 전력 효율적인 칩을 탄생시켰다.

혁신적인 아키텍처

에르고 아키텍처는 각각 전용 메모리를 가진 4개의 컴퓨트 클러스터로 구성된다. 일반적인 가속기가 내적 계산을 위해 MAC 어레이에 의존하는 것과 달리, 에르고의 클러스터는 새로운 방식의 고병렬 연산을 수행한다. 이 설계는 CNN, RNN은 물론 외부 RAM 없이 여러 이종 모델의 동시 실행까지 다양한 네트워크 토폴로지를 지원한다.

실용적으로 퍼시브는 YOLOv3(6,000만~7,000만 파라미터) 또는 M2Det과 ResNet-28, 음성 처리용 LSTM의 동시 실행을 시연했다. 이 기능으로 단일 에지 기기에서 실시간 비전 및 오디오 추론이 가능하다.

전력 효율 극대화

신경망 워크로드의 결정론적 특성을 활용한 적극적인 파워 게이팅과 클록 게이팅 기술로 전력 효율이 더욱 향상된다. 추론 코드에 분기가 없어 타이밍이 예측 가능하므로, 모션 센서나 아날로그 마이크로폰에 의해 트리거될 때까지 칩은 사실상 꺼진 상태를 유지한다. 일단 활성화되면 에르고는 전체 데이터센터급 모델을 로드하고 약 50ms(복호화 포함) 만에 추론을 시작할 수 있다.

컴퓨팅을 넘어선 통합 기능

연산 외에도 에르고는 어안 렌즈 보정, 감마 보정, 화이트 밸런스, 크롭이 가능한 하드웨어 이미지 처리 파이프라인을 통합했다. 동등한 오디오 처리 블록은 다중 마이크로폰 빔포밍을 지원한다. DSP 코어를 가진 시놉시스 ARC 마이크로프로세서가 추가 전처리와 암호화 펌웨어 실행을 담당하며, 전용 보안 블록이 모든 데이터 경로와 네트워크 가중치를 암호화해 IoT 배포를 보호한다.

에르고는 외부 플래시 메모리와 연결되며 OTA(Over-the-Air) 업데이트를 지원해 필요에 따라 온디바이스 신경망 재학습이나 모델 교체가 가능하다. 칩과 레퍼런스 보드는 현재 샘플링 중이며, 양산은 2024년 2분기로 예정되어 있다.

스티브 타이그 (이미지: Perceive)

퍼시브는 에르고 칩의 효율이 최대 55 TOPS/W로, YOLOv3를 30fps로 단 20mW에 실행한다고 주장한다 (이미지: Perceive)

퍼시브의 기술은 정보 이론 기법을 사용해 신경망 수학을 재발명하는 데 기반한다 (이미지: Perceive)