AI를 위해 진화하는 마이크로컨트롤러 아키텍처

AI와 IoT를 교차하면 무엇을 얻을 수 있습니까? AIoT는 간단한 답이지만, 머신 러닝이 더 이상 슈퍼컴퓨터의 세계에 국한되지 않는다는 것을 의미하는 신경망 기술의 발전으로 인해 마이크로컨트롤러를 위한 거대한 새로운 응용 분야도 얻게 됩니다. 오늘날 스마트폰 애플리케이션 프로세서는 이미지 처리, 추천 엔진 및 기타 복잡한 기능에 대한 AI 추론을 수행할 수 있습니다.

수십억 개의 IoT 기기 생태계가 향후 몇 년 안에 머신 러닝 기능을 갖게 될 것입니다(이미지:NXP)

이런 종류의 기능을 겸손한 마이크로컨트롤러에 제공하는 것은 엄청난 기회입니다. AI를 사용하여 대화에서 배경 소음을 걸러낼 수 있는 보청기, 사용자의 얼굴을 인식하고 개인 설정으로 전환할 수 있는 스마트 가전 제품, 가장 작은 배터리로 수년 동안 작동할 수 있는 AI 지원 센서 노드를 상상해 보십시오. 엔드포인트에서 데이터를 처리하면 무시할 수 없는 대기 시간, 보안 및 개인 정보 보호 이점이 있습니다.

그러나 마이크로컨트롤러 수준 장치로 의미 있는 기계 학습을 달성하는 것은 쉬운 일이 아닙니다. 예를 들어, AI 계산의 핵심 기준인 메모리는 종종 심각하게 제한됩니다. 그러나 데이터 과학은 모델 크기를 줄이기 위해 빠르게 발전하고 있으며 장치 및 IP 공급업체는 도구를 개발하고 최신 기계 학습 요구 사항에 맞는 기능을 통합하여 이에 대응하고 있습니다.

TinyML의 도약

이 부문의 급속한 성장의 신호로 TinyML Summit(이달 초 실리콘 밸리에서 개최된 새로운 산업 행사)이 점점 더 강해지고 있습니다. 작년에 개최된 첫 번째 정상 회담에는 11개의 후원 회사가 있었던 반면 올해 행사에는 27개의 후원 회사가 있었고 주최측은 주최측에 따르면 훨씬 일찍 매진되었습니다. 주최측은 또한 디자이너를 위한 글로벌 월간 모임의 회원 수가 급격히 증가했다고 말했습니다.

Qualcomm의 Evgeni Gousev TinyML 위원회 공동 의장은 "우리는 TinyML 기술로 구현된 수조 개의 지능형 장치가 함께 감지, 분석 및 자율적으로 작동하여 모두를 위해 더 건강하고 지속 가능한 환경을 만드는 새로운 세상을 보고 있습니다."라고 말했습니다. 쇼 오프닝 연설.

Gousev는 이러한 성장을 보다 성숙한 소프트웨어 도구와 결합된 보다 에너지 효율적인 하드웨어 및 알고리즘의 개발로 돌렸습니다. 그는 스타트업과 M&A 활동과 마찬가지로 기업 및 VC 투자가 증가하고 있다고 말했습니다.

오늘날 TinyML 위원회는 이 기술이 검증되었으며 마이크로컨트롤러에서 기계 학습을 사용하는 초기 제품이 2-3년 내에 시장에 출시될 것이라고 믿습니다. '킬러 앱'은 3~5년 후에 나올 것으로 생각됩니다.

기술 검증의 큰 부분은 Google이 마이크로컨트롤러용 TensorFlow 프레임워크 버전을 처음으로 시연한 지난 봄에 이루어졌습니다. 마이크로컨트롤러용 TensorFlow Lite는 메모리가 킬로바이트에 불과한 기기에서 실행되도록 설계되었습니다(코어 런타임은 Arm Cortex M3에서 16KB에 적합하고 음성 키워드 감지 모델을 실행하기에 충분한 운영자가 있으면 총 22KB를 차지합니다). 추론만 지원합니다(훈련 아님).

빅 플레이어

대형 마이크로컨트롤러 제조업체는 물론 TinyML 커뮤니티의 발전을 관심을 가지고 지켜보고 있습니다. 연구를 통해 신경망 모델이 작아질수록 기회의 크기도 커집니다.

대부분은 기계 학습 응용 프로그램에 대한 일종의 지원이 있습니다. 예를 들어 STMicroelectronics에는 Arm Cortex-M 기반 마이크로컨트롤러의 STM32 제품군에서 신경망을 매핑하고 실행할 수 있는 확장 팩 STM32Cube.AI가 있습니다.

Renesas는 AI 추론을 마이크로컨트롤러에서 구현할 수 있는 e-AI 개발 환경을 보유하고 있습니다. 모델을 e ² 에서 사용할 수 있는 형식으로 효과적으로 변환합니다. 스튜디오, C/C++ 프로젝트와 호환됩니다.

NXP는 기계 학습 애플리케이션을 위해 저가형 키네티스 및 LPC MCU를 사용하는 고객이 있다고 말했다. 회사는 주로 더 큰 애플리케이션 프로세서와 크로스오버 프로세서(애플리케이션 프로세서와 마이크로컨트롤러 간)를 중심으로 하고 있지만 하드웨어 및 소프트웨어 솔루션으로 AI를 수용하고 있습니다.

강력한 무장

마이크로컨트롤러 분야에서 설립된 대부분의 회사에는 한 가지 공통점이 있습니다. 바로 Arm입니다. 임베디드 프로세서 코어 대기업은 Cortex-M 시리즈로 마이크로컨트롤러 시장을 장악하고 있습니다. 이 회사는 최근 특히 Ethos-U55 AI 가속기와 함께 사용할 때 기계 학습 애플리케이션을 위해 특별히 설계된 새로운 Cortex-M55 코어를 발표했습니다. 둘 다 리소스가 제한된 환경을 위해 설계되었습니다.

함께 사용되는 Arm의 Cortex-M55 및 Ethos-U55는 제스처 인식, 생체 인식 및 음성 인식과 같은 애플리케이션에 충분한 처리 성능을 제공합니다(이미지:Arm)

그러나 어떻게 신생 기업과 소규모 기업이 이 시장의 대기업과 경쟁할 수 있습니까?

“Arm 기반 SoC를 구축하는 것이 아닙니다! 그 일을 정말 잘하기 때문입니다.” XMOS의 CEO인 Mark Lippet이 웃으며 말했습니다. "그들과 경쟁할 수 있는 유일한 방법은 아키텍처 측면에서 우위를 점하는 것뿐입니다... [즉] 성능 측면에서 Xcore의 고유한 기능뿐 아니라 유연성도 갖추고 있습니다."

새로 출시된 음성 인터페이스용 크로스오버 프로세서인 XMOS의 Xcore.ai는 마이크로컨트롤러와 직접 경쟁하지 않지만 그 감정은 여전히 ​​유효합니다. ARM 기반 SoC를 만들어 대기업과 더 나은 경쟁을 펼칠 수 있는 회사는 비밀 소스에 아주 특별한 무언가가 있습니다.

전압 및 주파수 확장

스타트업 Eta Compute는 TinyML 쇼에서 대망의 초저전력 장치를 출시했습니다. 100µW의 전력 예산으로 항상 켜져 있는 이미지 처리 및 센서 융합 애플리케이션의 기계 학습에 사용할 수 있습니다. 이 칩은 Arm Cortex-M3 코어와 NXP DSP 코어를 사용합니다. 코어 중 하나 또는 둘 모두를 ML 워크로드에 사용할 수 있습니다. 이 회사의 비밀 소스에는 몇 가지 재료가 있지만 핵심은 두 코어에 대해 클럭 주파수와 전압을 지속적으로 확장하는 방식입니다. 이것은 특히 PLL(위상 고정 루프) 없이 달성되기 때문에 많은 전력을 절약합니다.

Eta Compute의 ECM3532는 Arm Cortex-M3 코어와 NXP CoolFlux DSP 코어를 사용합니다. 머신 러닝 워크로드는 둘 중 하나 또는 둘 모두에서 처리할 수 있습니다(이미지:Eta Compute)

RISC-V 재단에서 제공하는 최신 명령어 세트 아키텍처를 포함하여 현재 Arm의 실행 가능한 경쟁업체가 있지만 Eta Compute는 왜 초저전력 기계 학습 가속을 위해 Arm 코어를 사용하기로 선택했습니까?

Tewksbury는 EETimes에 이렇게 말했습니다. . “[Arm을 사용하면] 지금 RISC-V를 사용하는 것보다 프로덕션으로 이동하는 것이 훨씬 쉽습니다. 이러한 상황은 미래에 바뀔 수 있습니다. RISC-V에는 고유한 장점이 있습니다. 확실히 중국 시장에 좋긴 하지만 현재 [우리 기기]의 에코시스템으로 국내 및 유럽 시장을 주로 살펴보고 있습니다."

Tewksbury는 AIoT가 직면한 주요 과제는 애플리케이션의 폭과 다양성이라고 말했습니다. 시장은 비교적 단편화되어 있으며 상대적으로 많은 틈새 애플리케이션이 소량만을 요구합니다. 그러나 이 부문은 잠재적으로 수십억 개의 장치로 확장됩니다.

Tewksbury는 "개발자들이 직면한 과제는 각 사용 사례에 맞는 맞춤형 솔루션을 개발하는 데 시간과 돈을 투자할 여력이 없다는 것입니다."라고 말했습니다. “여기서 유연성과 사용 편의성이 절대적으로 중요합니다. 이것이 우리가 Arm을 선택한 또 다른 이유입니다. 생태계가 있고 도구가 있으며 고객이 제품을 신속하게 개발하고 많은 사용자 정의 없이 신속하게 시장에 출시할 수 있기 때문입니다.”

Arm은 수십 년 동안 ISA를 잠금 및 열쇠로 유지한 후 마침내 지난 10월 고객이 기계 학습과 같은 전문 워크로드를 처리하기 위한 맞춤형 지침을 구축할 수 있도록 한다고 발표했습니다. 이 기능은 또한 전력 소비를 더욱 줄일 수 있는 기회를 제공할 수도 있습니다.

에타 컴퓨트는 기존 Arm 코어에 소급 적용되지 않아 아직 이를 활용할 수 없어 에타가 사용 중인 M3 코어에는 적용되지 않는다. 그러나 Tewksbury는 전력 소비를 더욱 줄이기 위해 차세대 제품에서 Arm 맞춤형 지침을 사용하는 Eta Compute를 볼 수 있을까요?

"물론 그렇습니다."라고 그는 말했습니다.

대체 ISA

RISC-V는 올해 많은 주목을 받고 있다. 오픈 소스 ISA를 사용하면 라이선스 비용 없이 프로세서를 설계할 수 있으며 RISC-V ISA에 기반한 설계는 다른 유형의 IP와 마찬가지로 보호할 수 있습니다. 디자이너는 추가할 확장을 선택하고 선택할 수 있으며 자신만의 맞춤 확장을 추가할 수 있습니다.

프랑스 스타트업 GreenWaves는 RISC-V 코어를 사용하여 초저전력 기계 학습 공간을 목표로 하는 여러 회사 중 하나입니다. 해당 장치인 GAP8 및 GAP9는 각각 8코어 및 9코어 컴퓨팅 클러스터를 사용합니다.

GreenWaves의 GAP9 초저전력 AI 칩 아키텍처는 이제 10개의 RISC-V 코어를 사용합니다(이미지:GreenWaves)

GreenWaves의 비즈니스 개발 부사장인 Martin Croome은 EETimes에 설명했습니다. 회사가 RISC-V 코어를 사용하는 이유

"첫 번째 이유는 RISC-V가 우리가 많이 사용하는 명령어 세트 수준에서 코어를 사용자 정의할 수 있는 기능을 제공하기 때문입니다."라고 Croome은 설명하면서 사용자 정의 확장을 사용하여 기계 학습 및 신호 처리 워크로드의 성능을 모두 줄일 수 있다고 설명했습니다. . “회사가 설립되었을 때 다른 프로세서 아키텍처로 그렇게 하려면 불가능하거나 막대한 비용이 들 것입니다. 그리고 그 비용은 본질적으로 다른 회사로 가는 투자자의 돈이었고, 이는 정당화하기 매우 어렵습니다."

GreenWaves의 맞춤형 확장만으로도 코어는 수정되지 않은 RISC-V 코어에 비해 에너지 소비가 3.6배 향상됩니다. 그러나 Croome은 RISC-V가 단순히 새롭기 때문에 근본적인 기술적 이점이 있다고 말했습니다.

“매우 깨끗하고 현대적인 지침 세트입니다. 짐이 없습니다. 따라서 구현 관점에서 RISC-V 코어는 실제로 더 단순한 구조이며 단순하다는 것은 전력이 더 적다는 것을 의미합니다.”라고 그는 말했습니다.

Croome은 또한 통제를 중요한 요소로 언급했습니다. GAP8 장치에는 컴퓨팅 클러스터에 8개의 코어가 있으며 GreenWaves는 최대 전력 효율성을 허용하기 위해 코어 실행에 대한 매우 정밀하고 세부적인 제어가 필요합니다. 그는 RISC-V가 이를 가능하게 한다고 말했습니다.

"결국 Arm으로 이 모든 작업을 수행할 수 있었다면 Arm으로 이 모든 작업을 수행했을 것입니다. 훨씬 더 논리적인 선택이 되었을 것입니다. 아무도 Arm을 구매했다고 해고되지 않았기 때문입니다."라고 농담했습니다. . "소프트웨어 도구는 RISC-V보다 훨씬 더 높은 수준의 성숙도를 가지고 있습니다. 하지만 지금은 RISC-V에 너무 많은 초점을 맞추고 있어 이러한 도구의 성숙도가 매우 빠르게 증가하고 있습니다."

요약하면 일부에서는 RISC-V와의 경쟁 심화로 인해 마이크로프로세서 시장에 대한 Arm의 지배력이 약화되고 있다고 보는 반면, 회사는 처음부터 기계 학습을 위해 설계된 새로운 코어를 개발하고 일부 맞춤형 확장을 허용함으로써 대응하고 있습니다.

사실, 초저전력 기계 학습 애플리케이션을 위해 시장에 출시되는 Arm 및 비-Arm 장치가 있습니다. TinyML 커뮤니티가 신경망 모델 크기를 줄이고 전용 프레임워크 및 도구를 개발하기 위해 계속 노력함에 따라 이 부문은 다양한 기기 유형을 지원하는 건강한 애플리케이션 영역으로 꽃을 피우게 될 것입니다.