타이니ML 커뮤니티, 에지 기기용 1mW AI 목표로 생태계 구축 박차

첫 모임에서 던진 근본 질문: 타이니ML이란 무엇인가?

타이니ML 그룹 출범 회의 첫 안건은 단순한 질문: 타이니ML이 정확히 무엇인가?

타이니ML은 머신러닝(ML)을 초저전력 기기에서 구동하게 하려는 엔지니어 커뮤니티. 초기 모임은 ML이 마이크로컨트롤러에서 구현 가능한지, 특화 저전력 ML 프로세서 필요한지 논의 중심.

1mW: "마법의 숫자"

퀄컴 AI 리서치 예브게니 구세프(Evgeni Gousev)가 타이니ML을 1mW 이하 소비하는 ML 기법으로 정의. 1mW를 스마트폰 상시 애플리케이션 위한 "마법의 숫자"로 지칭.

"클라우드 ML이 대화 지배하지만 디바이스 ML 점점 정교해진다"며 "데이터 90%가 현실 세계서 발생. 카메라, IMU, 기타 센서 모두 융합해 로컬에서 ML 어떻게 돌릴까?"라고 구세프 발언.

"타이니ML은 커질 것이고, 애플리케이션, 소프트웨어, 도구, 알고리즘, 하드웨어, ASIC, 기기, 팹 등 전체 생태계 시급히 구축해야 한다"고 강조.

텐서플로 라이트(TensorFlow Lite): 에지용 경량 프레임워크

구글 엔지니어 다니엘 시투나야케(Daniel Situnayake)가 텐서플로 라이트 소개: 마이크로컨트롤러 포함 에지 기기용으로 맞춤화된 텐서플로 경량 버전.

"텐서플로 라이트가 수년간 모바일 폰 서비스했고, 이제 더 작은 기기들에 가져오게 돼 기쁘다"며 텐서플로에서 학습한 모델을 텐서플로 라이트로 변환하면 모델 축소, 양자화 적용, 타겟 하드웨어에 편안히 맞도록 최적화.

캐스케이드 모델로 전력 절감

그가 설명한 전력 절감 전략: 모델 체이닝. "소리 존재 여부 감지하는 작고 저전력 모델 → 사람 음성 여부 판별하는 약간 큰 모델 → 조건 충족 시에만 깊은 네트워크 활성화"하는 분류기 캐스케이드 예시. 에너지 집약적 모델만 필요할 때 깨워 상당한 에너지 절약.

구글 "텐서플로 라이트 포 마이크로컨트롤러" 팀 냇 제퍼리스(Nat Jefferies)는 정교한 센서 탑재하면서도 오래가는 배터리나 에너지 하베스팅 의존하는 소비자 기기들의 엄격한 에너지 예산 수요 증가 강조.

"타이니ML - 마이크로컨트롤러 위 딥러닝 - 이 열쇠다. 최소 CPU 사이클과 센서 읽기로 센서 데이터 로컬 처리, 오프칩 전송 에너지 비용 회피. 타이니ML이 원시 센서 데이터 몇 바이트로 증류, 압축된 페이로드만 전송."

구글 최근 챌린지에서 250KB 모델로 사람 검출 가능한 인상적 제출작들 확인, 이 접근법 생존 가능성 입증.

"이제 텐서플로 모델을 마이크로컨트롤러에 맞게 축소 가능해져 이 분야 뛰어들 적기"라며 제퍼리스 마무리.

구글 텐서플로 라이트 마이크로컨트롤러 로드맵: 데모 프로젝트 오픈소싱, 칩 벤더와 커널 최적화 협업, 메모리 사용량 줄여 더 복잡한 모델 실행, 플랫폼 지원 확대 - 스파크펀 에지(SparkFun Edge) 첫 보드, 아두이노와 Mbed 지원 예정.

특화 디바이스: 그린웨이브스(GreenWaves) GAP8

그린웨이브스 테크놀로지스 VP 비즈니스 개발 마틴 크룸(Martin Croome)이 특화 저전력 ML 프로세서 필요성 주장.

"알고리즘과 하드웨어 양쪽에서 초저전력 ML에 더 명확한 초점 필요"라며 GAP8이 배터리 구동 기기와 에너지 하베스팅 기기 대상, 밀리와트 전력 소비와 초저 대기 전류로 에지 추론 타겟하는 RISC-V 애플리케이션 프로세서라고 소개.

소비 낮추려 병렬처리를 속도 아닌 낮은 클럭 주파수와 전압 가능케 하는 데 활용. GAP8 하드웨어 가속기가 16비트 데이터 5x5 컨볼루션 단일 사이클 수행. CNN이 고정 크기 입력과 가중치 사용하므로 메모리 관리가 컴파일 타임에 결정돼 런타임 오버헤드 추가 감소.

특화와 유연성 균형이 과제. "AI 급속 진화. 오늘 최첨단이 내일 구식될 수 있다"며 과도한 특화 피해야 민첩성 유지, 미래 혁신 적응 가능하다고 크룸 경고.

GAP8 1년간 샘플링, 양산 이번 달 시작, 볼륨 출하 3분기 말 예정.

타이니ML 밋업 매월 마지막 목요일 베이 에리어 개최, 업계·학계 모두 환영.