AI 모델을 마이크로컨트롤러로 압축

AI와 IoT를 결합하면 무엇을 얻을 수 있습니까? 사물의 인공 지능(AIoT)이 간단한 답이지만, 머신 러닝이 더 이상 슈퍼컴퓨터의 세계에 국한되지 않는다는 것을 의미하는 신경망 기술의 발전으로 인해 마이크로컨트롤러를 위한 거대한 새로운 응용 분야도 얻게 됩니다. 오늘날 스마트폰 애플리케이션 프로세서는 이미지 처리, 추천 엔진 및 기타 복잡한 기능에 대한 AI 추론을 수행할 수 있습니다.

이런 종류의 기능을 겸손한 마이크로컨트롤러에 제공하는 것은 엄청난 기회입니다. AI를 사용하여 대화에서 배경 소음을 걸러낼 수 있는 보청기, 사용자의 얼굴을 인식하고 개인 설정으로 전환할 수 있는 스마트 가전 제품, 가장 작은 배터리로 수년 동안 작동할 수 있는 AI 지원 센서 노드를 상상해 보십시오. 엔드포인트에서 데이터를 처리하면 무시할 수 없는 대기 시간, 보안 및 개인 정보 보호 이점이 있습니다.

Arm의 Cortex-M55 및 Ethos-U55는 나란히 사용되며 제스처 인식, 생체 인식 및 음성 인식( 이미지:팔)

그러나 마이크로컨트롤러 수준 장치로 의미 있는 기계 학습을 달성하는 것은 쉬운 일이 아닙니다. 예를 들어, AI 계산의 핵심 기준인 메모리는 종종 심각하게 제한됩니다. 그러나 데이터 과학은 모델 크기를 줄이기 위해 빠르게 발전하고 있으며 장치 및 IP 공급업체는 도구를 개발하고 최신 기계 학습 요구 사항에 맞는 기능을 통합하여 이에 대응하고 있습니다.

TinyML의 도약

이 분야의 급속한 성장의 신호로 실리콘 밸리에서 2월에 개최된 새로운 산업 행사인 TinyML Summit이 점점 더 강해지고 있습니다. 작년에 열린 첫 번째 정상 회담에는 11개의 후원 회사가 있었습니다. 주최측에 따르면 올해 이벤트는 27개였으며 슬롯은 훨씬 일찍 매진되었습니다. 디자이너를 위한 TinyML의 글로벌 월간 밋업 참석자 수가 극적으로 증가했다고 주최측이 말했습니다.

TinyML 위원회의 공동 의장인 Qualcomm 수석 이사 Evgeni Gousev는 "우리는 모두를 위해 더 건강하고 지속 가능한 환경을 만들기 위해 함께 감지, 분석 및 자율적으로 작동하는 TinyML 기술로 구현되는 수조 개의 지능형 장치가 있는 새로운 세상을 보고 있습니다"라고 말했습니다. , 최근 컨퍼런스의 개회사에서.

Gousev는 이러한 성장을 보다 성숙한 소프트웨어 도구와 결합된 보다 에너지 효율적인 하드웨어 및 알고리즘의 개발로 돌렸습니다. 그는 스타트업 및 M&A 활동과 함께 기업 및 벤처 캐피털 투자가 증가하고 있다고 말했습니다.

Eta Compute의 ECM3532는 Arm Cortex-M3 코어와 NXP CoolFlux DSP 코어를 사용합니다. 머신 러닝 워크로드는 둘 중 하나 또는 둘 모두에서 처리할 수 있습니다(이미지:Eta Compute)

오늘날 TinyML 위원회는 이 기술이 검증되었으며 마이크로컨트롤러에서 기계 학습을 사용하는 초기 제품이 2~3년 안에 시장에 출시될 것이라고 믿습니다. "킬러 앱"은 3~5년 후에 나올 것으로 생각됩니다.

기술 검증의 큰 부분은 Google이 마이크로컨트롤러용 TensorFlow 프레임워크 버전을 처음으로 시연한 지난 봄에 이루어졌습니다. TensorFlow Lite for Microcontrollers는 메모리가 킬로바이트에 불과한 기기에서 실행되도록 설계되었습니다(코어 런타임은 Arm Cortex-M3에서 16KB에 적합합니다. ). 추론은 지원하지만 훈련은 지원하지 않습니다.

빅 플레이어

물론 대형 마이크로컨트롤러 제조업체들은 관심을 갖고 TinyML 커뮤니티의 발전을 지켜보고 있습니다. 연구를 통해 신경망 모델이 작아질수록 기회는 더 커집니다. 대부분은 기계 학습 응용 프로그램에 대한 일종의 지원이 있습니다. 예를 들어 STMicroelectronics에는 Arm Cortex-M 기반 마이크로컨트롤러의 STM32 제품군에서 신경망을 매핑하고 실행할 수 있는 확장 팩 STM32Cube.AI가 있습니다.

Renesas Electronics의 e-AI 개발 환경을 통해 마이크로컨트롤러에서 AI 추론을 구현할 수 있습니다. 모델을 회사의 e2 스튜디오에서 사용할 수 있는 형식으로 효과적으로 변환하고 C/C++ 프로젝트와 호환됩니다.

NXP 반도체는 머신 러닝 애플리케이션을 위해 저가형 키네티스 및 LPC MCU를 사용하는 고객이 있다고 말했다. 회사는 주로 더 큰 애플리케이션 프로세서와 크로스오버 프로세서(애플리케이션 프로세서와 마이크로컨트롤러 간)를 중심으로 하고 있지만 하드웨어 및 소프트웨어 솔루션으로 AI를 수용하고 있습니다.

강력한 무장

마이크로컨트롤러 분야에서 설립된 대부분의 회사에는 한 가지 공통점이 있습니다. 바로 Arm입니다. 임베디드 프로세서 코어 대기업은 Cortex-M 시리즈로 마이크로컨트롤러 시장을 장악하고 있습니다. 이 회사는 최근 특히 Arm의 Ethos-U55 AI 가속기와 함께 사용할 때 기계 학습 애플리케이션을 위해 특별히 설계된 새로운 Cortex-M55 코어를 발표했습니다. 둘 다 리소스가 제한된 환경을 위해 설계되었습니다. 그러나 신생 기업과 소규모 기업이 어떻게 이 시장의 대기업과 경쟁할 수 있습니까?

XMOS의 CEO인 Mark Lippett는 "Arm 기반 SoC를 구축하는 것이 아니라 [지배적인 업체]가 잘 하기 때문입니다."라고 말했습니다. "그들과 경쟁할 수 있는 유일한 방법은 아키텍처 측면에서 우위를 점하는 것뿐입니다. [즉] 성능 측면에서 Xcore의 고유한 기능뿐 아니라 유연성도 갖추고 있습니다."

새로 출시된 음성 인터페이스용 크로스오버 프로세서인 XMOS의 Xcore.ai는 마이크로컨트롤러와 직접 경쟁하지 않지만 그 감정은 여전히 ​​유효합니다. Arm 기반 SoC를 만들어 대기업과 더 잘 경쟁할 수 있도록 하는 모든 회사는 비밀 소스에 아주 특별한 무언가를 가지고 있습니다.

>> 이 2페이지 계속 읽기 원래 자매 사이트인 EE Times Europe에 게시된 기사입니다.