마이크로컨트롤러, 차세대 에지 AI 물결 주도

최근까지 머신러닝, 심지어 딥러닝도 강력한 서버의 전유물로 여겨졌으며, 훈련과 추론은 게이트웨이, 에지 서버, 데이터센터가 담당했습니다. 클라우드와 에지 간 연산 분배로의 전환이 아직 초기 단계였기 때문입니다. 오늘날 업계와 학계의 혁신으로 그 패러다임이 바뀌었습니다.

결과적으로 초당 수조 연산(TOPS)을 제공하는 고성능 프로세서가 더 이상 ML 워크로드의 필수 조건이 아닙니다. 많은 최신 마이크로컨트롤러가 전용 ML 가속기를 탑재해 에지 디바이스에 지능형 추론을 직접 가져오고 있습니다.

이 컨트롤러들은 최소한의 비용과 전력으로 ML 태스크를 효율적으로 실행하며, 필요할 때만 클라우드에 연결합니다. 본질적으로 내장 ML 가속기를 가진 마이크로컨트롤러는 마이크, 카메라, 환경 모니터 같은 센서에 온디바이스 인텔리전스를 부여하는, IoT 가치 사슬의 초석인 다음 도약을 의미합니다.

에지는 얼마나 깊은가?

에지는 IoT 네트워크에서 클라우드로부터 가장 먼 지점으로, 흔히 고급 게이트웨이나 에지 서버로 표현됩니다. 실제로는 에지가 최종 사용자 가까이 위치한 센서 자체에서 끝납니다. 따라서 가능한 한 많은 분석을 그 센서 내부에 직접 임베딩하는 것이 논리적이며, 이 역할에 마이크로컨트롤러가 완벽하게 적합합니다.

MobileNet V1 모델의 다양한 폭 배수 예시가 파라미터 수, 연산량, 정확도에 미치는 급격한 영향. 그러나 폭 배수를 1.0에서 0.75로만 변경해도 TOP-1 정확도에는 최소 영향이지만 파라미터 수와 연산량에는 큰 영향 (이미지: NXP)

싱글보드 컴퓨터도 에지 처리를 수행해 인상적인 성능을 내며, 클러스터링 시 소규모 슈퍼컴퓨터에 접근합니다. 그러나 대규모 배포가 요구하는 수천 대 단위에는 여전히 너무 크고 비쌉니다. 게다가 외부 DC 전원이 필요해 제약된 환경에서 종종 사용할 수 없는 반면, MCU는 밀리와트만 소모하며 코인셀 배터리나 몇 개의 솔라셀로 동작할 수 있습니다.

결과적으로 마이크로컨트롤러 기반 에지 ML 분야, 즉 TinyML이 폭발적으로 인기를 얻고 있습니다. TinyML은 더 큰 플랫폼이나 클라우드에 의존하지 않고 작고 저전력, 리소스 제약 디바이스, 특히 마이크로컨트롤러에서 추론과 궁극적으로 훈련을 가능하게 하는 것을 목표로 합니다. 이는 제한된 처리, 스토리지, 대역폭 예산 내에서 성능을 유지하면서 콤팩트한 신경망 모델을 필요로 합니다.

리소스 최적화 모델은 디바이스가 태스크에 적절한 센서 데이터를 포착하면서 정확도를 미세 조정하고 리소스 요구를 줄이게 합니다. 결과적으로 예비 분석이 디바이스에서 이미 실행되었기 때문에, 일부 데이터가 여전히 전송되더라도(클라우드로 직접 또는 에지 게이트웨이 경유) 볼륨이 현저히 낮아집니다.

일반적인 TinyML 유스케이스는 고해상도 이미지를 캡처하지만 제한된 스토리지에 직면해 해상도 축소가 필요한 카메라 기반 객체 감지 시스템입니다. 온디바이스 분석으로 카메라는 관심 객체만 캡처해 선택된 프레임의 고해상도를 보존합니다. 한때 강력한 하드웨어에 국한되었던 이 수준의 기능이 이제 TinyML 덕분에 마이크로컨트롤러에서 달성 가능합니다.

작지만 강력하다

TinyML은 태동기 분야지만 이미 겸손한 마이크로컨트롤러에서 무시할 만한 정확도 손실로 인상적인 추론(점점 더 훈련도) 성능을 제공합니다. 최근 성공 사례로는 음성 및 안면 인식, 음성 명령 자연어 처리, 여러 정교한 비전 알고리즘의 동시 실행 등이 있습니다.

실제로 2달러 미만 가격의 마이크로컨트롤러가 500MHz Arm Cortex-M7 코어와 28KB~128KB 메모리를 갖춰 센서를 진정으로 지능적으로 만드는 데 필요한 성능을 제공할 수 있습니다.

이 가격대에서도 이러한 마이크로컨트롤러는 견고한 보안 기능(AES-128), 다중 외부 메모리 타입 지원, 이더넷, USB, SPI, 블루투스, Wi-Fi, SPDIF, I²C 오디오 등 다양한 센서 인터페이스를 포함합니다. 적당한 가격 상승으로 1GHz Cortex-M7, 400MHz Cortex-M4, 2MB RAM, 그래픽 가속을 얻으면서 3.3V 공급에서 몇 밀리암페어만 소모합니다.

머신러닝 유스케이스 (이미지: NXP)

TOPS에 대한 몇 마디

제조사들은 신경망 가속기를 단일 지표인 초당 조 연산(TOPS)으로 벤치마킹하는 경우가 많습니다. 매력적이지만 이 수치는 오해의 소지가 있습니다. 이는 통제된 실험실 환경에서의 원시 연산 용량을 반영하며 메모리 대역폭, CPU 오버헤드, 데이터 사전/사후 처리 같은 실제 제약은 무시합니다. 실제 배포에서 달성 가능한 처리량은 광고된 TOPS 값의 50~60%일 수 있습니다.

게다가 일반적으로 1~3 TOPS만 제공하는 마이크로컨트롤러의 경우 이 지표는 훨씬 덜 유의미합니다. 이 작은 디바이스들의 진정한 힘은 타이트하게 통합된 Arm Cortex 프로세서, 정수 및 부동소수점 연산 지원, 최소한의 풋프린트로 TensorFlow Lite 같은 추론 엔진 실행 능력에 있습니다.

결론

정지 또는 비디오 카메라 같은 센서 위나 바로 옆에서 추론을 직접 실행하려는 움직임은 IoT 생태계가 에지 중심 처리로 이동함에 따라 가속화되고 있습니다. 마이크로컨트롤러 레벨 신경망 가속기의 급속한 발전은 AI 기능을 애플리케이션 프로세서와 통합하면서 전력 소모나 크기의 극적인 증가 없이 이뤄지고 있습니다. 강력한 CPU나 GPU에서 훈련된 모델은 TensorFlow Lite로 슬림화돼 마이크로컨트롤러에 배포되며, 증가하는 ML 수요를 충족하기 위해 손쉽게 확장됩니다. 곧 이 디바이스들에서도 훈련이 가능해져, 마이크로컨트롤러가 더 크고 비싼 시스템의 강력한 경쟁자로 자리잡을 것입니다.

>> 이 기사는 자매 사이트 EE Times에 원문 게재되었습니다.