Arm, Cortex-M55와 Ethos-U55 발표: 저전력 엔드포인트에서 TinyML 구현하는 새로운 IP 코어

Arm이 오늘 리소스가 제한된 엔드포인트, 즉 IoT와 저전력 기기에 첨단 머신러닝 역량을 제공하는 두 개의 최첨단 IP 코어를 출시했습니다. Cortex-M55 마이크로컨트롤러는 Arm의 Helium 벡터 처리 엔진을 통합한 최초의 제품이며, Ethos-U55는 Arm의 주력 Ethos NPU의 컴팩트 버전입니다. 두 코어는 공동 배포를 위해 설계되었지만 각각 독립적으로도 동작할 수 있습니다.

5G 네트워크가 엣지에서 지능을 촉진함에 따라, 마이크로컨트롤러에 AI를 배포하는 것(일반적으로 TinyML이라 불림)이 점점 더 중요해지고 있습니다. 전문가들은 TinyML 시장이 수십억 개의 소비자 및 산업 시스템을 포괄하여 클라우드 의존 없이 실시간 통찰력을 제공할 것으로 예측합니다.

"5년 뒤 돌이켜보면, 우리 모두 이 시점이 컴퓨팅의 진정한 패러다임 변화였음에 동의할지도 모릅니다."라고 Arm의 IoT 및 임베디드 부문 수석 디렉터 Thomas Ensergueix는 말했습니다. "우리는 몇 년 만에 AI가 클라우드에서 데이터 분석을 실행하는 방식을 혁신하는 것을 보았습니다. 우리 대부분은 AI가 강화된 스마트폰을 주머니에 넣고 다니고, 이제 다음 단계인 '어디서나 AI'를 준비하고 있습니다."

스마트 스피커 같은 스마트 홈 기기들이 점점 더 스스로 머신러닝 추론을 수행할 수 있게 될 것 (이미지: Sebastian Scholz/Unsplash)

음성 인식, 컴퓨터 비전, 기타 ML 워크로드가 클라우드에서 마이크로컨트롤러 자체로 이동하고 있습니다. Arm의 새로운 코어는 온디바이스 추론을 우선시하는 마이크로컨트롤러 솔루션의 성장하는 생태계를 겨냥합니다.

"우리는 엔드포인트 레벨의 이 모든 데이터가 클라우드로 돌아갈 수 없다는 것을 압니다."라고 Ensergueix는 말했습니다. "가정이나 스마트 시티의 비디오 카메라는 하루에 기가바이트 단위의 데이터를 생성하고, 인프라는 이 업스트림 데이터 흐름을 감당할 수 없습니다. 우리는 수십억 또는 수조 개의 IoT 엔드포인트로 확장하기 위해 IoT 엔드포인트 자체에 직접 AI 추론 역량이 필요하다고 확신합니다. 그리고 그것은 안전해야 합니다."

Cortex-M55

Cortex-M55는 신뢰받는 Cortex-M 제품군을 기반으로 하며, 역대 최고 수준의 AI 성능을 제공합니다. Armv8.1-M 아키텍처를 활용하여 개발자가 특정 워크로드에 맞게 코어를 조정할 수 있는 커스텀 인스트럭션을 지원하여 최대 효율을 끌어냅니다.

Helium 벡터 처리 기술은 이전 Cortex-M 세대 대비 5배 빠른 DSP와 15배 빠른 ML 성능을 제공합니다.

닷 프로덕트를 포함한 INT8 연산을 위한 커스텀 인스트럭션이 신경망 추론을 가속화합니다.

"성공적인 AIoT 애플리케이션은 우수한 컴퓨트 성능뿐만 아니라, 적절한 데이터, 적절한 계수, 적절한 머신러닝 가중치를 적절한 시기에 얻을 수 있는지에 달려 있습니다. 그래서 프로세서의 메모리 인터페이스가 모든 데이터의 입출력을 처리할 수 있도록 최적화되었습니다. 이 측면에서 다른 어떤 Cortex-M 코어보다 훨씬 더 강력합니다."라고 Ensergueix는 말했습니다.

Cortex-M55와 Ethos-U55의 조합은 제스처 인식, 생체 인식, 음성 인식 같은 애플리케이션에 충분한 처리 능력 제공 (이미지: Arm)

Ethos-U55

Ethos-U55는 Arm의 첫 '마이크로 NPU'로, 1GHz에서 최대 0.5 TOPS의 가속을 제공합니다. 32~256 MAC까지 구성 가능하며, 실시간 가중치 압축 해제를 위한 온칩 가중치 디코더와 DMA를 탑재하여 메모리 풋프린트를 줄입니다.

더 큰 형제들인 Ethos-N77(4 TOPS), N57(2 TOPS), N37(1 TOPS)과 비교했을 때, U55는 여러 코어를 스택하여 확장할 수 있는 밀도 높고 저전력 솔루션을 제공합니다.

Cortex-M55와 Ethos-U55는 함께 사용하도록 설계되었지만 별도로도 사용 가능 (이미지: Arm)

M55와 U55 두 개의 새로운 코어는 함께 작동하도록 설계되어, 이전 Cortex-M 단독 대비 최대 480배의 속도 향상을 제공합니다. 일반적인 음성 어시스턴트 워크로드에서 Arm은 Cortex-M7 대비 50배 가속과 25배 전력 효율 개선을 보고합니다.

"Cortex-M이 애플리케이션 시스템 코드를 실행하다가 신경망 워크로드가 필요하면, 명령 스트림을 SRAM에 놓고 U55에 인터럽트를 발행하면 U55가 인계받습니다. U55가 완료될 때까지 실행하고 결과를 SRAM에 반환한 후 Cortex-M이 제어를 재개합니다. 스트리밍 시나리오에서는 U55가 연속 오디오나 비디오 데이터를 처리할 수 있습니다."라고 Arm의 머신러닝 그룹 부사장 Steve Roddy가 설명했습니다.

이 새로운 코어 기반 실리콘은 2021년 초 시장에 출시될 예정입니다.