TinyML 기기용으로 설계된 암 코어

Arm은 엔드포인트 장치, IoT 장치 및 기타 저전력, 비용에 민감한 애플리케이션에서 머신 러닝을 지원하도록 설계된 2개의 새로운 IP 코어를 공개했습니다. Cortex-M55 마이크로컨트롤러 코어는 Arm의 헬륨 벡터 처리 기술을 처음으로 사용하는 반면 Ethos-U55 기계 학습 가속기는 회사의 기존 Ethos NPU(신경 처리 장치) 제품군의 마이크로 버전입니다. 두 개의 코어는 함께 사용하도록 설계되었지만 별도로 사용할 수도 있습니다.

마이크로컨트롤러 및 기타 비용에 민감한 저전력 리소스 제약 장치에서 AI 및 머신 러닝 애플리케이션을 활성화하는 것을 tinyML 섹터라고 합니다. 5G의 부상으로 엔드포인트 장치에서 더 많은 지능화 추세가 시작되면서 tinyML은 수십억 개의 소비자 및 산업 시스템을 포괄하는 시장으로 기하급수적으로 성장할 것으로 예상됩니다.

Arm의 IoT 및 임베디드 수석 이사인 Thomas Ensergueix는 "5년 후를 돌이켜보면 이 때가 컴퓨팅의 진정한 패러다임 변화라는 데 모두 동의할 것입니다."라고 말했습니다. "우리는 AI가 클라우드에서 데이터 분석이 실행되는 방식에 혁명을 일으킨 방법을 몇 년 안에 보았습니다. 우리 대부분은 주머니에 AI 증강 스마트폰을 가지고 있습니다. 이제 여기에서 다음 단계가 있습니다. 어디에서나 AI를 준비하는 것입니다."

스마트 스피커와 같은 스마트 홈 기기는 점점 더 스스로 기계 학습 추론을 수행할 수 있게 될 것입니다(이미지:Sebastian Scholz/Unsplash)

음성 인식 및 컴퓨터 비전 애플리케이션을 포함한 기계 학습은 점점 더 마이크로컨트롤러에서 발생합니다. Arm 코어 및 기타 코어를 기반으로 다양한 마이크로컨트롤러 대안이 등장하고 있으며 Arm은 이 두 가지 새로운 코어를 목표로 하고 있습니다.

Ensergueix는 "엔드포인트 수준에서 이 모든 데이터를 클라우드로 되돌릴 수 없다는 것을 알고 있습니다. “가정이나 스마트 시티의 비디오 카메라는 말 그대로 하루에 기가바이트의 데이터를 생성하며 이러한 업스트림 데이터 흐름을 위한 인프라가 구축되지 않았습니다. 수십억 또는 수조 개의 IoT 엔드포인트로 확장하려면 IoT 엔드포인트에서 직접 AI 추론 기능이 필요하다고 확신합니다. 그리고 보안이 필요합니다.”

피질-M55

Arm의 마이크로컨트롤러용으로 잘 알려진 Cortex-M 시리즈에 최신 추가된 Cortex M-55는 Arm의 가장 AI를 지원하는 Cortex-M 코어로 설계되었습니다.

M55는 이전 Cortex-M 세대에 비해 5배 빠른 DSP 성능과 15배 빠른 ML 성능을 약속하는 Arm의 새로운 헬륨 벡터 처리 기술을 처음으로 사용합니다. Armv8.1-M 아키텍처를 기반으로 하는 맞춤형 명령어를 생성하여 특정 워크로드에 맞게 프로세서를 최적화할 수 있습니다. 아마도 마지막 한 방울의 전원도 빼낼 수 있을 것입니다.

M55와 U55를 결합하면 신호 전처리에 사용할 수 있는 M55의 향상된 DSP 마력을 활용할 수 있습니다. 그러나 M55는 신경망 워크로드 자체를 실행할 수 있습니다. 기계 학습 응용 프로그램에서 일반적으로 사용되는 내적을 포함하여 INT8 숫자에 대한 전용 지침을 제공합니다.

성공적인 AIoT 애플리케이션은 "좋은 컴퓨팅 성능뿐만 아니라 적절한 데이터, 적절한 계수 및 적절한 머신 러닝 가중치를 적시에 얻을 수 있는지 여부에 달려 있으므로 프로세서의 메모리 인터페이스는 다음을 수행할 수 있도록 최적화되었습니다. 모든 데이터를 안팎으로 처리합니다. 이 측면에서 다른 Cortex-M 코어보다 훨씬 뛰어난 성능을 보입니다.”라고 Ensergueix가 말했습니다.

Cortex-M55와 Ethos-U55의 조합은 제스처 인식, 생체 인식 및 음성 인식(이미지:Arm)과 같은 애플리케이션에 충분한 처리 성능을 제공합니다.

에토스-U55

Ethos-U55는 Arm의 첫 번째 '마이크로 NPU'로 청구되며 최대 0.5TOPS의 가속을 제공합니다(1GHz에서 실행되는 16nm 또는 7nm와 같은 더 작은 형상 기반). Arm은 아직 전력 효율 수치(TOPS/W)를 발표하지 않았습니다. 32 ~ 256개의 MAC(multiply-accumulate unit)을 사용할 수 있으며 즉석 가중치 압축 해제를 위한 가중치 디코더 및 직접 메모리 액세스를 포함합니다.

Ethos-U55는 Ethos N77, N57 및 N37에 합류하여 각각 4, 2 및 1 TOPS를 제공합니다. 여러 Ethos 코어를 사용하여 성능을 확장할 수 있습니다.

Cortex-M55와 Ethos-U55는 함께 사용하도록 설계되었지만 별도로 사용할 수도 있습니다(이미지:Arm)

두 개의 새로운 코어인 M55와 U55는 함께 사용하도록 설계되어 이전 세대의 Cortex-M 장치 단독보다 480배 더 빠르게 ML 작업을 처리할 수 있습니다. Arm은 ML을 사용하는 종단 간 음성 비서 애플리케이션의 일반적인 수치는 Cortex-M7만 사용할 때보다 속도가 50배, 전력 효율성이 25배 증가한다고 말합니다.

"Cortex-M은 애플리케이션 시스템 코드를 실행한 다음 신경망 워크로드를 처리해야 할 때 해당 명령 스트림이 SRAM에 배치되고 인터럽트가 U55에 주어지며 여기에서 작업을 시작합니다. 명령 스트림"이라고 Arm의 기계 학습 그룹 부사장인 Steve Roddy는 설명했습니다. “그것은 단일 모델에 대한 단일 추론일 수 있습니다. U55가 완료될 때까지 실행되고 결과를 SRAM에 다시 넣은 다음 Cortex-M이 인계하도록 합니다. 또는 스트리밍 데이터(예:오디오 또는 비디오)를 처리하는 동안 계속 실행되는 상황 유형일 수 있습니다."

이러한 새로운 코어를 기반으로 하는 실리콘은 2021년 초에 시장에 출시될 것입니다.