엣지 AI 모멘텀 확보: AWS와 Microsoft, 통합 추론·관리 솔루션 제시

AI를 엣지 디바이스에 직접 배포하면 즉각적인 응답과 대용량 데이터 스트림을 클라우드로 전송하는 비용을 절감할 수 있습니다. 전용 ML 가속기, 강력한 마이크로컨트롤러, 정제된 모델 같은 최근 하드웨어 발전으로 타이트한 전력 예산 내에서 더 풍부한 추론이 가능해졌습니다. 하지만 완전히 로컬 파이프라인이라도 클라우드 기반 디바이스 관리, 지속적 모델 훈련, 안전한 업데이트 메커니즘의 이점을 얻습니다.

AWS IoT

Embedded World Digital 2021에서 AWS와 Microsoft는 자사 생태계가 어떻게 엣지 AI를 지원하는지 강조했습니다. AWS 수석 전문 솔루션 아키텍트 라지브 무랄리다르(Rajeev Muralidhar)는 디바이스에서 TensorFlow Lite나 다른 ML 모델을 실행하는 것이 하나의 역량이지만, 진정한 이점은 전체 디바이스 라이프사이클을 대규모로 안전하게 관리하는 데 있다고 설명했습니다. 그는 펌웨어와 모델 업그레이드를 롤아웃하여 플릿을 최신 상태로 유지하고 안전하게 지키는 것의 중요성을 강조했습니다.

AWS는 세 가지 핵심 구성요소로 구성된 AWS IoT 플랫폼을 통해 이 역량을 제공합니다: 디바이스 측 소프트웨어(FreeRTOS 또는 AWS Greengrass), 제어 및 연결 서비스(AWS IoT Core), 분석 및 이벤트 주도 서비스.

AWS는 IoT 플랫폼을 통해 엣지 AI 디바이스에 포괄적인 지원을 제공합니다 (이미지: AWS)

FreeRTOS는 마이크로컨트롤러용으로 설계된 오픈소스 OS로, 2년간의 장기 지원(LTS) 프로그램의 지원을 받아 보안 패치, 기능 업그레이드, 버그 수정을 보장합니다. OTA 업데이트 프레임워크를 통해 운영자들은 수천 개의 디바이스에 펌웨어 변경을 안전하고 대규모로 푸시할 수 있습니다. FreeRTOS 커널은 AWS Greengrass를 실행하는 게이트웨이와 직접 통신하여 로컬 추론과 클라우드 서비스 간의 매끄러운 다리를 만듭니다.

AWS IoT Core는 클라우드로 유입되는 데이터의 진입점 역할을 합니다. 들어오는 데이터에 규칙을 적용할 수 있는 메시지 브로커를 제공합니다—저장, 데이터베이스로 라우팅, 또는 SageMaker 같은 분석 도구로 머신러닝을 위해 전송. 플랫폼은 플릿 관리 도구, 디바이스 관리 기능, 대규모 IoT 엔드포인트 네트워크 전반에서 이상을 감지하고 대응을 트리거하는 이벤트 주도 자동화도 제공합니다.

무랄리다르는 대규모 운영 시 안전하고 엔드투엔드 디바이스 라이프사이클 관리가 필수적이라고 강조했습니다. 플릿 무결성을 해치지 않으면서 보안 자격 증명을 순환시키고 운영체제 업데이트를 적용하는 것이 신뢰할 수 있는 생태계 유지의 핵심입니다.

그는 데이터가 클라우드로 전송되어 모델 개선에 사용된 후, 더 새롭고 정확한 모델이 디바이스로 풀백되는 지속적인 루프를 구상합니다. "그렇게 하면 귀사의 차량이나 공장 현장에서 실행되는 디바이스들이 더 유능해지고 더 빠르고 정확하게 반응할 수 있습니다."라고 그는 말했습니다.

Azure Percept

Microsoft의 Azure Percept는 깊은 전문성 없이도 개발자들이 엣지 AI에 접근할 수 있게 설계된 하드웨어-소프트웨어 플랫폼입니다. 이 시스템은 Azure의 클라우드 서비스를 디바이스 관리, 모델 개발, 분석에 활용하면서, 최첨단 AI 가속기를 통합한 사전 구축된 하드웨어 모듈을 제공합니다.

Microsoft의 Azure Percept 플랫폼은 Trusted Platform Module, 오디오 모듈, 비전 모듈을 포함한 하드웨어 모듈과 Azure의 클라우드 지원 서비스를 결합합니다 (이미지: Microsoft)

현재 하드웨어 개발 키트에는 컴퓨터 비전 워크로드용 Intel의 Movidius Myriad X 가속기를 사용하는 Azure Percept Vision 모듈과 세부 사항이 예정된 Azure Percept Audio 모듈이 포함됩니다. 비전 모듈은 AI 모델의 훈련, 배포, 관리를 엣지에서 직접 간소화하도록 설계되었습니다.

Microsoft는 또한 이 플랫폼을 Azure IoT Hub에 연결하여 디바이스와 클라우드 간의 안전하고 양방향 통신을 보장합니다. 향후 계획에는 서드파티 Percept 인증 디바이스 범위 확장이 포함되어, 개발자들이 개발 키트에서 프로덕션 준비 하드웨어로 솔루션을 이식할 수 있게 합니다.

>> 이 기사는 원래 자매 사이트인 EE Times Europe에 게시되었습니다.