마이크로컨트롤러에 AIoT 배포하기: 실용 가이드

최근 게시글에서 인공지능이 IoT 디바이스에 점점 더 통합되어 데이터로부터 학습하고 자율적 결정을 내리는 지능형 AIoT 솔루션이 등장하는 과정을 탐구했습니다. 이러한 시스템은 주변 환경과 인간 같은 상호작용을 보여주며 제품 기능과 사용자 경험을 향상시킵니다.

AI와 IoT가 결합되면서 마이크로컨트롤러(MCU) 시장에 새로운 시장이 열렸습니다. 단순한 MCU에 AI 가속을 결합하면 기본 센서에만 의존하던 디바이스에 지능을 내장할 수 있습니다. 최신 AI 지원 MCU는 계산을 위한 디지털 신호 처리(DSP)와 추론을 위한 머신러닝(ML)을 결합하여 키워드 스팟팅, 센서 퓨전, 진동 분석, 음성 인식 같은 애플리케이션을 가능하게 합니다. 고성능 MCU는 이제 비전 및 이미징 작업(얼굴 인식, 지문 분석, 자율 로봇)을 지원하여 이전에는 MPU와 GPU의 전유물이었던 기능을 에지로 가져옵니다.

에지 디바이스의 AI 기술

머신러닝(ML): ML 알고리즘은 대표 데이터로부터 모델을 구축하여 디바이스가 패턴을 자동으로 탐지하도록 합니다. 공급업체는 임베디드 시스템이 추론을 위해 사전 훈련된 모델을 실행할 수 있게 하는 알고리즘, API, 훈련 도구를 제공합니다. 일반적인 사용 사례에는 센서 허브, 키워드 스팟팅, 예측 유지보수, 분류가 포함됩니다.

딥러닝: 복잡한 입력에서 고수준 특징을 추출하기 위해 다층 신경망을 훈련시키는 ML의 하위 집합입니다. 딥러닝은 크고 다양한 데이터셋에서 탁월하며 반복할 때마다 지속적으로 개선됩니다. 애플리케이션은 이미지 처리, 챗봇, 얼굴 인식에 이릅니다.

자연어 처리(NLP): NLP는 시스템이 인간 언어(텍스트 또는 음성)를 이해하고 응답하며, 해당 입력을 기반으로 결정을 내릴 수 있게 합니다. 음성 인식, 기계 번역, 예측 입력을 구동합니다.

컴퓨터 비전: 이 분야는 기계가 이미지 데이터를 캡처, 해석, 행동하도록 훈련시킵니다. 딥러닝을 활용하여 시스템은 실시간으로 객체를 식별하고 분류할 수 있습니다. 사용 사례에는 제조 결함 탐지, 의료 진단, 소매 얼굴 인식, 자율 주행차 테스트가 포함됩니다.

MCU에서의 AIoT

역사적으로 AI는 대용량 메모리와 강력한 코어가 무거운 워크로드를 처리할 수 있는 MPU와 GPU에 상주했습니다. 지능을 에지로 이동하는 변화는 이제 AI를 MCU에 배치하며, 이는 더 낮은 지연 시간, 줄어든 대역폭, 더 엄격한 전력 예산의 필요성에 의해 주도됩니다. 최근 MCU는 제약된 디바이스에 맞춤화된 경량 신경망(NN) 프레임워크를 호스팅할 수 있는 충분한 연산 능력과 메모리를 갖추어 에지에서 실시간 추론을 가능하게 합니다.

신경망은 가중된 입력을 처리하여 출력을 생성하는 노드 계층으로 구성됩니다. 훈련(일반적으로 클라우드에서 수행) 중 데이터는 네트워크를 통해 흐르고, 역전파는 예측 오류를 최소화하도록 가중치를 조정합니다. 훈련이 완료되면 고정된 가중치는 플래시 메모리에 저장되어 MCU가 최소한의 RAM으로 추론을 수행할 수 있게 합니다.

추론은 훈련보다 훨씬 적은 연산을 필요로 하므로 MCU는 사전 훈련된 모델의 이상적인 호스트입니다. 가중치는 정적 상태를 유지하며, MCU는 새로운 센서 데이터를 기반으로 즉각적인 결정을 내릴 수 있습니다.

MCU에 AI 구현하기

일반적인 워크플로는 네 단계로 구성됩니다:

1. 데이터 수집: 대상 디바이스 또는 애플리케이션에서 광범위한 데이터셋을 수집합니다.
2. 모델 훈련: AI 공급업체의 클라우드 기반 도구(TensorFlow Lite, Caffe 등)를 사용하여 애플리케이션 요건을 충족하는 신경망을 훈련합니다.
3. 모델 변환: 공급업체의 컨버터를 사용하여 훈련된 모델을 플랫 버퍼 형식으로 변환하고, 선택적으로 양자화를 적용하여 크기를 줄입니다. 플랫 버퍼는 C 코드로 변환되어 MCU 펌웨어에 번들로 포함됩니다.
4. 배포 및 업데이트: 펌웨어를 MCU에 플래시합니다. 새로운 데이터 클래스가 나타나면 모델을 클라우드에서 재훈련하고 무선(OTA) 펌웨어 업그레이드를 통해 디바이스에서 업데이트할 수 있습니다.

Arm Cortex-M 코어를 가정할 때 MCU 기반 AI 솔루션에는 두 가지 일반적인 아키텍처 경로가 있습니다:

1. 소프트웨어 전용 실행: 플랫 버퍼 모델이 Cortex-M CPU에서 실행되며 CMSIS-NN 라이브러리로 가속화됩니다. 이 경량 설정은 키워드 스팟팅 및 진동 분석 같은 작업에 적합합니다.
2. 하드웨어 가속 실행: 마이크로 신경 처리 장치(u-NPU) 또는 NN 가속기를 통합합니다. u-NPU는 일반적인 오디오, 음성, 이미지 분류, 객체 탐지 워크로드의 대부분을 처리하고, 지원되지 않는 연산은 CPU로 폴백합니다. 이 접근 방식은 더 높은 처리량과 낮은 전력 소비를 제공합니다.

MCU가 MPU의 성능 영역으로 진화함에 따라 온디바이스 학습(가벼운 훈련 알고리즘이 MCU에서 직접 실행)의 등장을 예상합니다. 이는 새로운 시장을 열고 MCU 제조업체의 상당한 투자를 촉진할 것입니다.

에지 AI가 미래다

리소스 제약 MCU에서의 에지 AI는 기하급수적으로 성장하여 MCU와 MPU 사이의 성능 경계가 모호해짐에 따라 새로운 애플리케이션을 열 것입니다. 임베디드 컨텍스트에 맞춤화된 얇은 NN 모델의 확산이 산업 전반의 채택을 주도할 것입니다.