AI 추론이 엣지로 이동함에 따라 클라우드 제공업체의 역할 언급

임베디드 에지 장치에서 AI 추론을 수행하는 것은 짧은 대기 시간이 필요하거나 에지에서 수집된 데이터 볼륨이 클라우드로 보내기에 너무 많은 비용이 드는 상황에서 매력적입니다. 전용 머신 러닝 가속기, 최첨단 마이크로컨트롤러, AI 모델 및 소프트웨어의 발전은 그 어느 때보다 에지 전력 예산에서 더 많은 AI 추론을 수행할 수 있음을 의미합니다. 그러나 모든 추론이 에지에서 수행되더라도 클라우드는 여전히 현장에서 기기를 관리하는 데 유용한 도구라고 클라우드 제공업체는 말합니다.

AWS IoT

Embedded World Digital 2021에서 클라우드 제공업체인 AWS와 Microsoft는 엣지 AI 장치를 위한 에코시스템 솔루션을 선보였습니다.

AWS의 수석 전문 솔루션 아키텍트인 Rajeev Muralidhar는 "기기 자체에서 TensorFlow Light 또는 기계 학습 모델을 실행하는 것이 하나의 기능입니다."라고 말했습니다. "그러나 장치 수명 주기에 대한 전체 파이프라인을 안전한 방식으로 구축하고 대규모로 관리하는 기능, 장치에서 실행되는 버전을 관리할 수 있도록 장치에 대한 정식 업그레이드를 롤아웃하는 기능, 더 안전하고 더 많은 기능, 그리고 거기에서 실행되는 ML 모델을 업데이트하는 기능도 있습니다. 이것은 또 다른 중요한 기능입니다.”

AWS는 AWS IoT 플랫폼을 통해 이를 위한 인프라를 제공합니다. Muralidhar는 이 플랫폼이 장치 측 소프트웨어(FreeRTOS 또는 AWS Greengrass), 제어 및 연결 구성 요소(AWS IoT Core), 분석 서비스의 세 가지 핵심 부분으로 구성되어 있다고 말했습니다.

AWS는 IoT 플랫폼을 통해 에지 AI 장치를 지원합니다(이미지:AWS)

FreeRTOS는 마이크로컨트롤러 수준 장치에 널리 사용되는 오픈 소스 운영 체제입니다. 2년 동안 보안 업데이트, 기능 업그레이드 및 버그 수정을 보장하는 장기 지원(RTS)이 함께 제공됩니다. 또한 무선 업데이트를 안전하게 수행하고 현장에 배포된 대규모 장치에 펌웨어를 롤아웃할 수 있는 기능이 함께 제공됩니다. FreeRTOS 커널은 AWS Greengrass를 실행할 수 있는 디바이스 게이트웨이와 직접 통신할 수 있습니다.

AWS IoT Core는 데이터가 클라우드로 들어가는 진입점입니다. 여기에는 저장 여부와 상관없이 데이터에 대한 규칙을 제정할 수 있는 메시지 브로커가 포함되어 있으며, 머신 러닝 분석을 위한 SageMaker와 같은 분석을 위해 데이터를 데이터베이스나 대시보드로 이동할 수 있습니다.

AWS IoT 플랫폼에는 대규모 차량 관리, 장치 관리 및 IoT 분석을 위한 구성 요소와 IoT 장치에서 발생하는 이벤트 감지 및 대응을 자동화할 수 있는 이벤트 관리 기능도 있습니다.

Muralidhar는 "엔드 투 엔드 장치 수명 주기 관리는 대규모 장치에 대해 생각할 때 매우 중요하며 이러한 장치의 기본 운영 체제를 업데이트하는 기능도 중요합니다."라고 말했습니다. "안전하게 수행하기를 원하고 보안 자격 증명을 교체하여 여러 장치의 보안을 손상시키지 않기를 원합니다."

Muralidhar는 이상적인 상황은 수신 데이터를 클라우드로 전송하여 지속적인 평가와 교육이 가능하도록 하는 것이라고 말했습니다.

"[그런 다음] 더 정확한 최신 모델이 업데이트되면 해당 모델을 장치로 가져와서 산업 현장의 전체 장치 또는 연결된 차량에 롤아웃할 수 있습니다."라고 그는 말했습니다. "이렇게 하면 차량에서 실행되는 장치의 기능이 향상되고 더 빠르고 정확하게 반응할 수 있습니다."

Azure Percept

이 쇼에서 Microsoft는 새로운 Azure Percept 개념에 대한 프레젠테이션도 했습니다. Azure Percept는 장치 관리, AI 모델 개발 및 분석을 포함하여 Azure의 일부 클라우드 제품을 활용하는 에지 AI용 하드웨어 및 소프트웨어 플랫폼입니다. Azure 클라우드 도구는 장치를 관리하고 오픈 소스 AI 모델에 액세스하거나 새 모델을 만드는 데 사용됩니다.

Microsoft의 Azure Percept 플랫폼은 하드웨어이자 소프트웨어입니다. 하드웨어에는 Trusted Platform Module(중앙), Azure Percept Audio 모듈(왼쪽) 및 Azure Percept Vision 모듈(오른쪽)이 포함됩니다(이미지:Microsoft)

이 회사는 또한 두 개의 모듈이 포함된 하드웨어 개발 키트를 출시했습니다. 에지에서 컴퓨터 비전을 위한 Azure Percept Vision 모듈은 Intel의 Movidius Myriad X AI 가속기를 기반으로 합니다. Azure Percept Audio 모듈도 있지만 해당 모듈에 대한 세부 정보가 없습니다.

이 새로운 제품을 통해 Microsoft는 비전문가의 진입 장벽을 낮추는 종단 간 솔루션을 제공하고자 합니다. 아이디어는 엣지 AI의 개발, 교육 및 배포를 단순화하는 것입니다.

Azure Percept는 또한 IoT 장치와 Azure 클라우드 간의 보안 통신을 용이하게 하도록 설계된 Azure IoT Hub에 연결합니다.

앞으로 Microsoft는 타사에서 사용할 수 있는 Azure Percept 장치의 수를 확장할 계획입니다. 현재 하드웨어 개발 키트를 사용하는 개발자는 시장에서 사용 가능한 Percept 인증 장치에 솔루션을 배포할 수 있습니다.

>> 이 기사는 원래 다음 날짜에 게시되었습니다. 자매 사이트인 EE Times Europe.