Renesas Electronics Corporation과 Syntiant Corp.가 임베디드 비전 AI IoT 및 엣지 애플리케이션을 위한 비접촉 이미지 처리를 제공하는 저전력 음성 제어 멀티모달 AI 플랫폼을 공동 개발했습니다.
Renesas의 RZ/V 시리즈 비전 AI 마이크로프로세서 유닛(MPU)과 Syntiant의 초저전력 NDP120 뉴럴 디시전 프로세서의 통합으로 셀프 체크아웃 키오스크, 보안 카메라, 화상 회의 시스템, 로봇 청소기 같은 스마트 가전까지 다양한 사용 사례에 첨단 음성 및 이미지 처리를 제공합니다.
공동 솔루션은 상시 온 모드를 특징으로 해 대기 모드에서 음성 트리거 빠른 웨이크업을 가능하게 하며, 보안 카메라 같은 시스템에 필수적인 물체 및 안면 인식 등 비전 기반 작업을 수행합니다. 사용자 정의 음성 큐가 활성화와 작동을 개시하며, 비전 AI는 운영자 행동을 추적하고 의심스러운 활동 감지 시 운영자에게 알림을 보냅니다.
음성 인식을 전용 전력 효율 칩으로 분리함으로써 아키텍처는 대기 전력 소비를 줄이고 개발을 가속화합니다. 개발자는 음성과 비전 컴포넌트를 독립적으로 프로그래밍해 통합을 단순화할 수 있습니다.
Renesas RZ/V 시리즈 MPU는 DRP-AI(동적 재구성 프로세서-AI) 가속기를 탑재해 높은 정밀도 추론과 전력 효율을 결합합니다. Renesas는 이것이 업계 최고 수준이라고 주장합니다. 이 성능은 히트싱크나 냉각 팬 필요성을 없애 BOM 비용을 낮추고 다양한 임베디드 애플리케이션에 비전 AI 통합을 가능하게 합니다. DRP-AI는 AI-MAC과 DRP 코어로 구성돼 내부 스위치로 데이터 흐름을 최적화해 컨볼루션과 완전 연결 레이어를 효율적으로 처리합니다. DRP는 이미지 전처리와 AI 모델 풀링 레이어 같은 복잡한 작업을 빠르게 처리하기 위해 동적으로 재구성될 수 있습니다. DRP-AI 트랜슬레이터가 AI 모델 연산을 적절한 하드웨어에 자동 매핑해 개발자가 상세한 하드웨어 지식 없이 DRP-AI를 사용할 수 있게 합니다. 여러 실행 파일이 외부 메모리에 상주해 런타임 시 AI 모델 간 동적 전환이 가능하며, 트랜슬레이터는 하드웨어 변경 없이 새 모델 지원을 위해 업데이트될 수 있습니다.
Syntiant NDP120 칩은 화자 인식, 키워드 감지, 다중 웨이크 워드, 로컬 명령 인식 등 고정밀 핸즈프리 음성 기능을 지원하는 정교한 AI 역량을 포함합니다. Syntiant Core 2 뉴럴 네트워크 추론 엔진과 결합된 NDP120은 최소 1mW 배터리 전력으로 여러 애플리케이션을 동시에 실행할 수 있습니다.
Renasas를 대표해 IoT 및 인프라 유닛 SoC 비즈니스 수석부사장 겸 책임자 Hiroto Nitta는 "이미지와 음성 모두 여러 입력 정보 스트림을 사용하는 멀티모달 시스템 수요가 사용 편의성과 안전성 개선 수단으로 앞으로 증가할 것으로 예상합니다."라고 말했습니다. 그는 "저전력 이미지 AI 기술 리더 Renesas와 음성 AI 기술 리더 Syntiant의 협력을 통해 임베디드 시스템에서 저전력 초소형 스마트 음성 AI 기술 채택을 가속화하고 전 세계 고객에게 새로운 결합 솔루션을 제공할 것입니다."라고 덧붙였습니다.
Syntiant CEO Kurt Busch는 "음성 기반 사용자 인터페이스는 고객이 컨셉에서 현실로 차세대 혁신 아이디어를 가져올 새로운 사용자 경험을 제공할 수 있게 합니다. 우리는 이미 전 세계적으로 1,500만 개 이상의 딥러닝 NDP를 출하해 다양한 소비자 및 산업 IoT 애플리케이션에서 상시 온 음성을 가능하게 했습니다. Renesas와의 협업으로 다양한 디바이스와 사용 사례에서 글로벌 고객 기반의 견인력을 가속화할 강력한 저전력 음성 및 이미지 솔루션을 제공합니다."라고 말했습니다.
새 음성 제어 멀티모달 AI 솔루션은 Renesas의 광범위한 포트폴리오에서 여러 호환 디바이스를 활용해 고객에게 더 빠른 시장 출시와 위험 감소를 위한 향상된 프로토타이핑 플랫폼을 제공합니다. Renesas의 "위닝 콤비네이션" 일부로, 매력적인 아날로그, 전력, 임베디드 프로세싱 제품을 짝지어 고객이 설계를 가속화하고 신제품을 더 빠르게 출시하도록 돕습니다.
멀티모달 AI 솔루션 레퍼런스 디자인(회로도, BOM 리스트 포함)이 이제 이용 가능합니다.
