엔지니어링 그룹은 1mW AI를 최전선까지 밀어붙이려 합니다

TinyML 그룹이 최근 창립 회의를 소집했을 때 회원들은 TinyML이란 무엇입니까?

로 시작하는 몇 가지 근본적인 질문을 해결해야 했습니다.

TinyML은 초저전력 시스템에서 기계 학습(ML)을 구현하는 최선의 방법에 중점을 둔 엔지니어 커뮤니티입니다. 그들의 첫 번째 월간 회의는 문제를 정의하는 데 전념했습니다. 마이크로컨트롤러와 같은 저전력 장치에서 기계 학습을 달성할 수 있습니까? 그리고 전문 초저전력 머신 러닝 프로세서가 필요합니까?

Qualcomm AI Research의 Evgeni Gousev는 TinyML을 1mW 이하를 소비하는 기계 학습(ML) 접근 방식으로 정의했습니다. Gousev는 1mW가 스마트폰의 상시 작동 애플리케이션에 대한 "마법의 숫자"라고 말했습니다.

그는 "클라우드 ML에 대해 많은 이야기가 있지만 스마트폰 수준의 ML은 점점 더 정교해지고 있다"고 말했다. “하지만 데이터를 보면 데이터의 90%가 현실 세계에 있습니다. 이 모든 카메라, IMU 및 기타 센서를 어떻게 연결하고 해당 수준에서 ML을 수행합니까?”

Gousev는 "작은 ML은 커질 것이며 애플리케이션, 소프트웨어, 도구, 알고리즘, 하드웨어, ASIC, 장치, 팹 및 기타 모든 것을 포함하여 작은 ML의 전체 에코시스템을 주도해야 할 실제적이고 시급한 필요가 있습니다"라고 말했습니다. .

<중앙>

첫 번째 TinyML 모임에서 발표하는 Google 엔지니어 Nat Jefferies(이미지:TinyML)

TensorFlow Lite

Google 엔지니어 Daniel Situnayake는 마이크로컨트롤러를 포함한 에지 기기용으로 설계된 Google TensorFlow 프레임워크 버전인 TensorFlow Lite에 대한 개요를 발표했습니다.

"TensorFlow Lite는 휴대전화를 대상으로 하고 있지만 더 작은 기기에서 실행하게 되어 매우 기쁩니다."라고 그는 말했습니다.

TensorFlow에서 모델을 구축한 후 엔지니어는 Tensor Flow Lite 변환기를 통해 실행할 수 있습니다. 이 변환기는 "크기를 줄이고 양자화와 같은 작업을 수행하여 모델의 크기와 정밀도를 편안하게 맞도록 축소할 수 있습니다. 당신이 타겟팅하는 기기에서"라고 말했습니다.

Situnayake는 모델을 함께 연결하는 것과 관련하여 전력 효율성을 높이는 데 사용할 수 있는 한 가지 기술을 설명했습니다.

"소리가 나는지 감지하기 위해 거의 전력을 사용하지 않는 매우 낮은 전력 모델을 가진 분류기의 계단식 모델을 상상해 보십시오. 그런 다음 실행하는 데 더 많은 에너지가 필요한 또 다른 모델이 있어 사람의 말인지 아닌지를 파악합니다." 그가 설명했다. "그런 다음 이러한 조건이 충족될 때만 깨어나는 더 깊은 네트워크가 더 많은 전력과 리소스를 사용합니다. 이들을 함께 연결하면 필요할 때만 [에너지 집약적인] 것을 깨우므로 에너지 효율성을 크게 절약할 수 있습니다.”

<중앙>

계단식 기계 학습 모델은 전력 절약에 도움이 됩니다(이미지:Google)

Google의 'TensorFlow Lite for microcontrollers' 팀의 엔지니어인 Nat Jefferies는 정교한 기능과 정교한 센서 시스템에도 불구하고 최신 소비자 기기의 엄격한 에너지 소비 요구 사항에 대한 추세를 설명했습니다. 이러한 장치는 몇 달 또는 몇 년 동안 지속되거나 에너지 수확을 사용해야 하는 배터리로 실행될 수 있습니다.

"우리는 이에 대한 최선의 솔루션이 마이크로컨트롤러에 대한 딥 러닝인 Tiny ML이라고 생각합니다."라고 그는 말했습니다. "이를 통해 모든 정보를 칩 외부로 보내는 것과 달리 [많은 전력을 사용하지 않는] CPU 주기 및 센서 읽기를 수행할 수 있습니다. TinyML을 사용하여 센서 데이터를 단 몇 바이트로 압축할 수 있습니다. 그러면 전력의 일부만 보낼 수 있습니다.”라고 그는 말했습니다.

참가자가 사람 감지를 수행하기 위해 250kbyte 모델을 개발한 최근 Google 과제는 많은 인상적인 제출을 받았으며 "우리가 하고 있는 일이 의미가 있음을 확인합니다"라고 Jefferies는 말했습니다.

"현재 우리는 TensorFlow 모델을 마이크로컨트롤러에 맞출 수 있을 정도로 축소할 수 있으며, 이것이 바로 지금이 이 분야에 참여하기에 좋은 시기입니다."라고 그는 말했습니다. "이 프로세스를 시작하게 되어 매우 기쁩니다."

마이크로컨트롤러에 대한 TensorFlow Lite에 대한 Google 로드맵에는 Google 데모의 일부 공개, 칩 공급업체와 협력하여 커널 최적화, TensorFlow Lite의 메모리 사용을 최적화하여 동일한 장치에서 보다 정교한 모델 실행, 더 많은 개발 플랫폼 활성화(SparkFun Edge가 유일한 지금까지는 보드가 지원되었지만 Arduino 및 Mbed 보드도 곧 지원될 예정입니다.

전문 기기
ML용 전문 저전력 애플리케이션 프로세서 사례를 발표한 사람은 GreenWaves Technologies의 사업 개발 부사장인 Martin Croome입니다. Croome은 초저전력 머신 러닝을 진행하는 방법에 대한 업계 논의가 기한이 지났다는 데 동의했습니다.

"우리는 알고리즘 관점과 [하드웨어] 세계 모두에서 이 영역에 더 집중해야 합니다."라고 그는 말했습니다.

GreenWaves는 밀리와트의 전력을 소비하고 초저 대기 전류를 제공하는 에지 장치의 추론에 중점을 둔 RISC-V 애플리케이션 프로세서인 GAP8을 개발했습니다. 이 회사는 배터리로 작동되는 장치와 에너지 수확을 사용하는 장치를 목표로 하고 있습니다(이전 기사에서 GreenWaves의 칩이 작동하는 방식에 대해 자세히 알아보기).

<중앙>

GreenWaves의 초저전력 기계 학습 가속기에는 9개의 RISC-V 코어가 있습니다(이미지:GreenWaves Technologies)

전력 소비를 줄이기 위해 다양한 기술이 사용됩니다. 여기에는 병렬화가 포함되지만 속도를 높이는 것은 아닙니다. 8개의 코어를 사용하여 더 느린 클럭 속도를 허용하여 코어 전압을 떨어뜨려 에너지를 절약합니다(실제로 클럭 주파수는 워크로드에 따라 동적으로 조정됨).

이 칩은 단일 클록 주기(다시 쓰기를 포함하지 않음)에서 16비트 데이터에 대해 5x5 컨볼루션을 수행하는 하드웨어 가속기가 있는 CNN(컨볼루션 신경망)에 맞춰져 있습니다. 명시적 메모리 관리는 이미지 처리에 널리 사용되는 CNN의 특성에 의존합니다. 이미지 센서는 고정된 크기이고 추론에는 동일한 수의 가중치가 필요하며 결과는 항상 동일한 크기입니다. 따라서 도구는 컴파일 시간에 모든 데이터 이동에 대한 코드를 생성할 수 있습니다.

Croome은 기술 발전에 대응할 수 있는 충분한 유연성을 유지하면서 ML 워크로드를 효과적으로 처리할 수 있을 만큼 전문화하는 것이 까다로운 균형임을 인정했습니다.

“AI의 범위는 믿을 수 없을 정도로 빠른 속도로 발전하고 있습니다. 일을 하는 방법에 대한 오늘의 훌륭한 아이디어는 아마도 내일의 훌륭한 아이디어가 될 것이 아닐 것입니다.”라고 Croome이 말했습니다. “만약 우리가 너무 많이 전문화하면 작년에 모든 사람들이 하던 일을 가속화하는 데 매우 탁월할 것입니다. 이는 회사에 좋지 않습니다. 그래서 우리는 유연성, 프로그래밍 가능성, 가속화 간의 균형을 맞추려고 노력하고 있습니다.”

GreenWaves의 칩은 1년 동안 샘플링되었으며 이번 달에 생산이 시작될 예정이며 3분기 말까지 대량으로 고객에게 배송될 것이라고 Croome은 말했습니다.

TinyML 모임은 매달 마지막 목요일에 Bay Area에서 열리며 업계와 학계의 참석자 모두에게 열려 있습니다.