저전력 실리콘 와우각, 초효율 음성 활성화 센싱 구현

음성 활성화 비서가 보편화되면서 에너지 효율적인 상시 감지 오디오 센싱에 대한 수요가 급증했습니다. 최첨단 뉴로모픽 공학이 매력적인 해답을 제시합니다: 인간의 귀 생체역학을 모방하여 낮은 지연시간과 저전력 음성 감지를 제공하는 실리콘 와우각입니다.

실리콘 와우각: 생체 영감 오디오 프론트엔드

신경정보학 연구소(INI)의 Shih-Chii Liu 교수팀은 동적 오디오 센서(DAS)로 2020년 Misha Mahowald 뉴로모픽 공학상을 수상했습니다. DAS의 핵심은 귀의 유모세포를 모방한 실리콘 와우각입니다: 들어오는 소리는 먼저 아날로그 대역통과 필터 뱅크로 필터링된 후, 반파 정류를 통해 와우각 유모세포의 기계적 변환을 복제합니다.

기존 오디오 시스템은 소리를 먼저 디지털화한 후 FFT와 BPF로 특징을 추출해 DSP에 공급합니다. 반면 INI-취리히 DAS는 아날로그 오디오 대역을 비동기 스파이크 트레인으로 전송하여 하류 신경망이 직접 처리합니다.

초기 필터링 후 시스템은 정류된 신호를 전기적 스파이크로 변환합니다. 고전적인 적분-발화 메커니즘이나 비동기 델타 변조기(ADM)를 통해 이루어집니다. ADM은 신호를 두 임계값과 비교하여 변화가 있을 때만 이벤트를 발생시킵니다. 이 이벤트 기반 인코딩은 정적 정보를 억제하여 데이터 트래픽과 전력 소비를 획기적으로 줄입니다.

에너지 관점에서 실리콘 와우각은 소리가 없을 때 거의 유휴 상태이나, 활동에 따라 전력 소비가 변합니다. 긴 침묵 뒤에 짧은 음성 버스트가 일반적인 음성 활성화 시나리오에서 이 동적 전력 프로파일은 독보적 이점입니다. 또한 연속시간 스파이크 표현은 스파이크가 임의로 멀리 떨어지거나 빽빽이 몰릴 수 있어 매우 넓은 다이내믹 레인지를 지원합니다.

스파이크에서 음성 인식으로

DAS의 이벤트 스트림은 2D 와우각그램 프레임(5ms 간격으로 주파수별 스파이크 히스토그램)으로 변환될 수 있습니다. 이 와우각그램은 경량 심층 신경망에 입력되어 음성 단어를 디코딩합니다. Liu는 "센서상의 심층 네트워크는 IEEE ISSCC 커뮤니티의 큰 관심사이며, 오디오 에지 컴퓨팅 붐을 고려할 때 시의적절하다"고 언급합니다. 많은 키워드 스팟팅용 저전력 ASIC이 기존 스펙트로그램 특징에 의존하지만, Liu의 하이브리드 아날로그-디지털 접근법은 더 낮은 전력 소비와 빠른 지연시간을 약속합니다.

작년 INI는 시스템이 말하는 숫자를 인식하는 시연 영상을 공개했습니다. 아직 초기 단계지만 프로토타입은 실리콘 와우각이 실제 키워드 스팟팅에 갖는 잠재력을 보여줍니다. Liu 팀은 오디오와 시각 단서를 결합해 분류 정확도를 높이는 센서 융합도 탐구했으며, 엔지니어가 아날로그 센싱이 가장 유리한 시점을 판단하는 데 도움이 되는 설계 가이드라인을 발표했습니다.

주소-이벤트 표현의 발명가이자 뉴로모픽 공학상 이름을 딴 Misha Mahowald.

현재 연구는 전력 소비를 더 낮추고 성능을 개선하는 데 집중합니다. 혁신에는 소스-팔로워 대역통과 필터 최적화와 아날로그 특징 추출기 개선이 포함됩니다. 아날로그 회로 고유의 변동성을 완화하기 위해 팀은 테스트를 가속화하고 소프트웨어에서 바이너리 신경망을 훈련시켜 실제 칩 성능을 정확히 예측하는 하드웨어 에뮬레이터를 구축했습니다. 또한 제어된 노이즈 주입으로 설계를 더 견고하게 만드는 실험도 진행 중입니다.

인정과 영향

Carver Mead의 Caltech 연구실에서 훈련받은 뉴로모픽 공학 개척자 Liu 교수는 Mahowald 상의 의미를 강조했습니다: "이 영예는 Dick Lyon부터 Carver Mead까지 수십 년간의 기초 연구를 강조합니다." 그녀는 Moore's Law가 느려짐에 따라 DAS 같은 하이브리드 아날로그-디지털 시스템이 점점 더 중요해질 것이며, 에너지 효율성에서 디지털 연산을 몇 배 이상 능가할 잠재력이 있다고 강조합니다.

참고문헌

[1] D. Neil and S. C. Liu, "Effective sensor fusion with event‑based sensors and deep network architectures," in Proceedings – IEEE International Symposium on Circuits and Systems, Jul. 2016, vol. 2016-July, pp. 2282–2285, doi: 10.1109/ISCAS.2016.7539039.

[2] S. C. Liu, B. Rueckauer, E. Ceolini, A. Huber, and T. Delbruck, "Event-Driven Sensing for Efficient Perception: Vision and audition algorithms," IEEE Signal Process. Mag., vol. 36, no. 6, pp. 29–37, Nov. 2019, doi: 10.1109/MSP.2019.2928127.

[3] M. Yang, S.-C. Liu, M. Seok, and C. Enz, "Ultra‑Low‑Power Intelligent Acoustic Sensing using Cochlea‑Inspired Feature Extraction and DNN Classification."

[4] M. Yang, C. H. Chien, T. Delbruck, and S. C. Liu, "A 0.5 V 55 µW 64 × 2 Channel Binaural Silicon Cochlea for Event-Driven Stereo-Audio Sensing," IEEE J. Solid‑State Circuits, vol. 51, no. 11, pp. 2554–2569, Nov. 2016, doi: 10.1109/JSSC.2016.2604285.

> > 이 기사는 원래 자매 사이트인 EE Times에 게재되었습니다.