Edge AI 칩은 55 TOPS/W에 도달하기 위해 곱셈-누적 배열을 생략합니다.

실리콘 밸리의 한 스타트업은 신경망의 수학을 재발명했으며 이미 샘플링된 보완 에지 AI 칩을 생산했다고 주장합니다. 이 칩은 55 TOPS/W의 인상적인 전력 소비로 4 TOPS에 해당하는 것을 실행할 수 있으며 회사에 따르면 20mW 미만(30fps에서 YOLOv3)에서 데이터 센터 클래스 추론을 달성합니다.

산호세에 기반을 둔 Perceive는 지금까지 슈퍼 스텔스 모드에 있었습니다. Xperi에서 파생된 이 회사는 2년 전에 공식적으로 설립된 이래로 모회사에서 전액 자금을 지원받았습니다. 팀은 41명이며 Xperi 내에서도 칩용 앱을 개발하고 있습니다. 창립 CEO인 Steve Teig는 Xperi의 CTO이기도 합니다. 그는 이전에 5년 전에 문을 닫은 3D 프로그래밍 가능 논리 스타트업인 Tabula의 설립자이자 CTO였으며 그 전에는 Cadence의 CTO였습니다.

Teig는 초기 아이디어가 Xperi의 이미지 및 오디오 처리에 대한 고전적인 지식을 기계 학습과 결합하는 것이라고 설명했습니다. Xperi는 DTS, IMAX Enhanced 및 HD Radio와 같은 브랜드를 소유하고 있습니다. Xperi의 기술 포트폴리오에는 디지털 카메라에서 널리 사용되는 적목 현상 및 이미지 안정화와 같은 기능을 위한 이미지 처리 소프트웨어와 Blu-Ray 디스크 플레이어용 오디오 처리 소프트웨어가 포함됩니다.

"우리는 깨끗한 종이로 시작하여 정보 이론을 사용하여 다음과 같이 질문했습니다. 신경망이 실제로 수행하는 계산은 무엇입니까? 그리고 [가장자리에서] 가능한 것을 변경할 수 있는 계산에 접근하는 다른 방법이 있습니까?” 테이그가 말했다. "몇 년 동안 이 작업을 수행한 후, 우리는 그것이 사실임을 발견했고, 그리고 나서... 우리는 이러한 아이디어를 구현하는 칩을 만들어야 한다고 결정했습니다."

Teig가 Xperi 보드에 제시한 아이디어는 전력 예산이 20mW인 에지 장치에서 의미 있는 추론을 할 수 있는 칩을 만들기 위해 회사를 분사하는 것이었습니다. 결과적으로 Ergo라는 이름의 7x7mm 칩은 외부 RAM 없이 4개의 TOPS를 실행할 수 있습니다(실제로 4개의 TOPS 등급을 받은 GPU가 달성할 수 있는 것과 동일하게 실행되고 있다고 Teig는 설명했습니다). Ergo는 CNN에 맞게 조정된 시중의 많은 솔루션과 달리 컨볼루션 네트워크(CNN) 및 순환 네트워크(RNN)를 포함한 다양한 스타일의 신경망을 지원합니다. Ergo는 여러 이기종 네트워크를 동시에 실행할 수도 있습니다.

"우리가 실행할 수 있는 네트워크 수를 제한하는 유일한 것은 조합에 필요한 총 메모리입니다."라고 Teig가 말했습니다. Perceive는 6천만 또는 7천만 개의 매개변수가 있는 YOLOv3 또는 M2Det와 수백만 개의 매개변수가 있는 ResNet 28을 동시에 실행하는 것을 시연했습니다. 매개변수와 음성 및 오디오 처리를 위한 LSTM 또는 RNN. 응용 프로그램에서 이는 동시에 이미징 및 오디오 추론에 해당할 수 있습니다.

Perceive는 또한 자사의 Ergo 칩이 55 TOPS/W를 달성하여 전력 효율성이 매우 뛰어나다고 주장합니다. 이 수치는 일부 경쟁업체가 주장하는 것보다 훨씬 높은 수치입니다. Perceive의 수치에 따르면 6,400만 개의 매개변수가 있는 대규모 네트워크인 YOLOv3를 초당 30프레임으로 실행하면서 20mW만 소비합니다.

Perceive는 Ergo 칩의 효율성이 최대 55TOPS/W이며 단 20mW로 YOLOv3를 30fps로 실행한다고 주장합니다(이미지:Perceive)

이 전력 효율성은 신경망 처리의 결정론적 특성을 이용하는 공격적인 전력 게이팅 및 클록 게이팅 기술에 달려 있습니다. 다른 유형의 코드와 달리 분기가 없으므로 컴파일 시간에 타이밍을 알 수 있습니다. 이를 통해 Perceive는 언제 무엇을 켜야 하는지 정확히 알 수 있습니다.

Teig는 "배터리 전원 설정에서 [칩]은 말 그대로 꺼져 있을 수 있으며(0 밀리와트) 마이크로와트 모션 센서 또는 아날로그 마이크를 사용하여 관심을 가질 만한 것을 감지할 수 있습니다."라고 말했습니다. “오프에서 깨어나 데이터 센터급의 거대한 신경망을 로드하고 암호 해독을 포함하여 약 50밀리초 안에 실행할 수 있습니다. 그래서 우리는 바닥에 두 프레임 정도의 비디오만 남깁니다.”

그러나 세심한 하드웨어 설계는 그림의 일부일 뿐입니다.

정보 이론

"우리는 기본 계산 자체와 이에 수반되는 산술을 표현하는 다른 방법을 생각해 냈습니다."라고 Teig가 말했습니다. "우리는 새로운 방식으로 네트워크 자체를 표현하고 있으며, 이것이 우리의 장점입니다."

Perceive는 신호와 잡음을 구별하는 수학적 방법을 포함하는 과학의 한 분야인 정보 이론으로 시작했으며 그 개념을 사용하여 잡음에서 신호를 끌어오는 데 얼마나 많은 계산이 필요한지 살펴보았습니다. Teig는 객체 감지 네트워크를 예로 사용합니다.

"네트워크에 수백만 픽셀을 넘겨주고 당신이 알고 싶은 것은 이 사진에 개가 있는지 없는지뿐입니다." 그는 말했다. “사진의 다른 모든 것은 개소리[신호]를 제외하고는 노이즈입니다. 정보 이론은 그것을 수량화할 수 있게 합니다. [그림에 개가 있는지 여부를 알기 위해] 얼마나 알아야 합니까? 실제로 수학적으로 정확하게 만들 수 있습니다.”

Teig가 설명했듯이 주류 신경망은 노이즈에서 신호의 일부를 발견했기 때문에 많은 개의 사진을 보고 일반화할 수 있지만 이것은 수학적으로 엄격한 접근 방식이 아닌 경험적 방식으로 수행되었습니다. 이는 잡음이 신호와 함께 전달되어 주류 신경망을 매우 크게 만들고 적대적 사례 및 기타 트릭에 취약하게 만든다는 것을 의미합니다.

Teig는 "어떤 부분을 유지해야 하고 어떤 부분이 소음인지 파악하는 데 수학을 더 많이 할 수 있을수록 일반화에서 더 나은 작업을 수행할 수 있고 다른 오버헤드를 더 적게 수행해야 합니다."라고 말했습니다. "현재의 신경망도 노이즈에서 신호를 추출하고 있다고 주장합니다. 하지만 엄격한 방식으로 처리하지 않을 뿐이므로 추가 무게를 짊어지고 있습니다."

이 정보 이론적인 관점은 신경망을 새로운 방식으로 표현하는 Perceive의 기계 학습 전략의 기초입니다.

"실제로 이것은 기계 학습을 수행하는 방법에 대한 정보 이론적인 관점과 이러한 아이디어를 구현하는 칩 간의 결합입니다."라고 Teig가 말했습니다.

칩 아키텍처

Teig가 Tabula의 CTO로 근무한 경험이 있으므로 프로그래밍 가능한 논리 기반 하드웨어를 기대할 수 있지만 여기서는 그렇지 않습니다.

“저는 10년 동안 프로그래머블 로직과 고성능의 병렬 계산을 가능하게 하는 풍부한 상호 연결 아키텍처를 구축하는 방법에 대해 많은 영향을 받았습니다. 계산과 메모리 사이의 상호 작용"이라고 Teig는 말했습니다. “그 작업은 Perceive에서의 내 작업에 확실히 영향을 주었지만 우리가 가지고 있는 것은 그 자체로 프로그래밍 가능한 논리가 아닙니다. . 그런 사고 방식의 영향을 받았지만 아키텍처 자체는 신경망을 중심으로 합니다.”

Perceive의 신경망 패브릭은 확장 가능하며 초기 칩 Ergo에는 각각 자체 메모리가 있는 4개의 컴퓨팅 클러스터가 있습니다. 정확한 세부 사항은 아직 알려지지 않았지만 Teig는 이러한 클러스터가 일반적으로 벡터 및 행렬의 내적을 계산하기 위해 MAC(multiply-accumulate unit) 배열을 사용하는 다른 AI 가속기에서 발견되는 것과 상당히 다르다고 말했습니다.

Perceive의 기술은 정보 이론(이미지:Perceive)의 기술을 사용하여 신경망 수학을 재발명하는 것을 기반으로 합니다.

"우리는 그렇게 하지 않습니다."라고 Teig가 말했습니다. “우리는 MAC 어레이가 없습니다. 결과적으로 ... 우리는 시장에 나와 있는 어떤 제품보다 전력 효율이 20~100배 높습니다. 그 이유는 다른 모든 사람들이 똑같은 일을 하고 있고 우리는 그렇지 않기 때문입니다. 네트워크에 대한 우리의 표현은 아주 새로운 것이고, 그것이 우리가 그토록 큰 효율성을 달성할 수 있게 해준 것입니다. 여기에 더해 이러한 네트워크 표현을 찾고 칩이 보고자 하는 것과 호환되도록 네트워크를 훈련할 수 있는 머신 러닝 기술이 추가되었습니다.”

이미지 및 오디오

Ergo는 두 대의 카메라를 지원할 수 있으며 어안 렌즈 사진 왜곡 보정, 감마 보정, 화이트 밸런싱 및 자르기와 같은 작업을 처리하는 전처리기 역할을 하는 이미지 처리 장치를 포함합니다.

Teig는 "멋진 것은 아니지만 하드웨어에서 수행하는 데 분명히 유용한 사전 처리를 하드웨어에서 수행합니다."라고 말했습니다. "그리고 그에 상응하는 오디오도 있습니다. 예를 들어 여러 개의 스테레오 마이크를 사용하여 빔 형성을 할 수 있습니다."

사전 처리에도 사용할 수 있는 DSP 블록과 Synopsis의 보안 블록이 있는 Synopsis ARC 마이크로프로세서도 있습니다.

“우리가 한 일 중 하나는 IoT 환경에서 보안 수준을 유지하기 위해 모든 것을 절대적으로 암호화하는 것입니다. 우리는 네트워크를 암호화하고, 마이크로프로세서에서 실행되는 코드를 암호화하고, 인터페이스를 암호화하고, 모든 것을 암호화합니다.”라고 Teig가 말했습니다.

이 칩은 이미지 및 오디오 외부의 센서에 적절한 I/O를 제공하며 무선 업데이트를 지원하는 외부 플래시 메모리 및/또는 마이크로프로세서를 지원합니다. 이것은 칩에 로드된 신경망을 업데이트하거나 필요에 따라 다른 네트워크를 로드하는 데 사용할 수 있습니다.

Ergo는 현재 함께 제공되는 참조 보드와 함께 샘플링 중입니다. 양산은 2020년 2분기로 예상됩니다.