DSP 활용한 에지 실시간 오디오 AI 구현 전략

DSP 활용한 에지 실시간 오디오 AI 구현 전략

에지 처리가 중요한 이유

머신러닝이 사실상 무제한 자원을 가진 클라우드 서버에서 에지 기기로 이동하고 있습니다. 낮은 지연시간, 비용 절감, 에너지 효율, 프라이버시 강화가 이 변화를 견인합니다. 예를 들어 자율주행차는 보행자 인식을 위해 클라우드로 데이터를 보낼 여유가 없고, 대역폭 비용으로 클라우드 기반 음성 인식은 비현실적일 수 있습니다.

데이터 전송과 로컬 추론 간의 에너지 트레이드오프가 핵심입니다. 복잡한 ML 워크로드가 효율적으로 실행되지 않으면 기기 배터리를 급속 소모합니다. 에지 추론은 음성 받아쓰기 이메일 같은 민감 데이터를 기기 내에 유지해 사용자 프라이버시를 보호합니다.

초저전력 상시 음성 깨우기

키워드 스포팅(예: "헤이 시리", "오케이 구글")은 초기 에지 ML 활용 사례 중 하나. 범용 애플리케이션 프로세서에서 실행 시 100mW 이상 소비해 스마트폰 배터리 급속 소모. 초기 스마트폰은 알고리즘을 5mW 미만으로 구동하는 소형 DSP로 이전했고, 최신 스마트 마이크는 특화 오디오 ML DSP에서 0.5mW 미만으로 동일 작업 수행.

음성 넘어: 에지 기능 확장

기기가 상시 오디오 ML을 지원하면 맥락 단서 인식 가능: 붐비는 식당, 번잡한 거리, 주변 음악, 초음파 실내 시그니처, 근처 고함과 웃음소리 등. 이러한 기능은 기기와 사용자 모두에게 혜택을 주는 정교한 활용 사례를 가능케 합니다.

에지 AI DSP 구축: 핵심 기술

에지 추론의 최고 성능과 에너지 효율에는 맞춤형 하드웨어 필요. 가장 영향력 있는 기술들을 표로 정리했습니다.

신경망 추론은 행렬-벡터 곱셈(MVM)에 크게 의존. 융합 곱셈-누산(MAC) 연산이 효율적 MVM 실행의 핵심. 추론에는 주로 8비트 저정밀도 연산으로 충분해 연산 복잡도 대폭 감소. 인텔과 TI는 전용 저정밀도 MAC 유닛 탑재 프로세서 제공: TI TMS320C6745는 사이클당 8비트 피연산자 8개 MAC 실행, 놀즈(Knowles) 오디오 DSP는 사이클당 16개 MAC 수행.

학습과 추론 모두 상당한 메모리 대역폭 필요. 넓은 데이터 경로가 압박 완화: 인텔 AVX-512는 사이클당 512비트 전송을 64개 멀티플라이어 어레이로, TI 6745는 64비트 버스, 놀즈 프로세서는 칩 면적과 대역폭 균형 맞춘 128비트 버스 채택. 순환 아키텍처(RNN, LSTM)는 피드백 루프 필요로 헤비 파이프라인 설계에 추가 제약.

오디오 ML 파이프라인은 일반적으로 스펙트럴 분석과 특징 추출로 시작. FFT, 필터, 삼각함수/로그 함수 등 고전 DSP 연산 가속이 에너지 효율에 필수. 비선형 벡터 연산(시그모이드, ReLU 등)도 단일 사이클 명령어로 이점, 사이클 수와 전력 추가 절감.

요약하면, 머신러닝과 오디오 신호 가속을 융합한 프로세서는 저비용으로 실시간 상시 추론을 가능케 하며 프라이버시 보존. 다중 연산 명령어 세트, 넓은 버스, 특화 저정밀도 유닛 같은 아키텍처 선택이 고성능을 고전력 없이 유지. 특화 에지 컴퓨팅이 진화함에 따라 실행 가능한 ML 활용 사례 스펙트럼도 확대될 것입니다.

짐 스틸(Jim Steele), 놀즈(Knowles Corp.) 기술 전략 부사장

© 이 기사는 EE Times의 "Machine Learning on DSPs: Enabling Audio AI at the Edge"에서 발췌되었습니다.