Ambarella, 멀티 센서 비디오 스트림용 AI 기반 SoC 발표

선도적인 이미지 프로세싱 기업 Ambarella가 고해상도 비디오 캡처와 첨단 인공지능(AI) 프로세싱을 결합한 두 가지 새로운 시스템온칩(SoC) 솔루션을 발표했습니다. 보안 카메라와 스마트시티 배포를 위해 설계된 CV5S와 CV52S는 4K 비디오 인코딩과 얼굴 및 번호판 인식 같은 정교한 AI 작업을 제공합니다.

CV5S: 멀티 센서 카메라 시스템용

CV5S는 멀티 센서 카메라 시스템을 타겟으로 하며, 최대 4개의 8메가픽셀(8MP) 피드(각각 4K 해상도 상당)를 30fps로 처리합니다. 14개의 개별 비디오 스트림을 동시에 처리하며 모든 4K 프레임에서 실시간 AI를 수행합니다. Ambarella 이전 세대 대비 CV5S는 인코딩 해상도와 메모리 대역폭을 모두 2배로 늘리면서 전력 소비를 30% 절감했습니다. 5W 미만으로 동작하며 12 eTOPS(Ambarella의 GPU 동등 성능 지표)를 제공합니다.

CV52S: 단일 센서 카메라용

CV52S는 단일 센서 카메라에 최적화되어 4K 해상도 60fps를 지원합니다. 이전 모델 대비 4배의 AI 성능, 2배의 CPU 처리량, 50% 더 많은 메모리 대역폭을 제공합니다. 3W 미만으로 동작하며 6 eTOPS의 연산 능력을 제공합니다.

공통 플랫폼: 5nm 공정과 CVflow AI 가속기

두 SoC 모두 Ambarella의 5nm 공정으로 제작되었으며 확장된 CVflow AI 가속기를 탑재하여 효율적인 컨볼루션과 기타 딥러닝 연산을 가능하게 합니다. "AI 가속기만 있는 것만으로는 충분하지 않습니다. 전체 이미징 파이프라인이 조화롭게 작동해야 합니다."라고 Ambarella의 마케팅 수석 디렉터 Jerome Gigot은 말했습니다. "우리의 통합 ISP, 메모리 컨트롤러, 소프트웨어 스택은 데이터를 제자리에 유지하여 비용이 많이 드는 복사를 제거하고 저전력, 고품질 비디오 프로세싱을 달성합니다."

이미지 신호 프로세서(ISP)와 AI 가속기

CVflow 엔진 외에도 각 SoC에는 Ambarella의 오랜 이미지 신호 프로세서(ISP)가 포함되어 색보정, 자동 노출, 자동 화이트 밸런스, 노이즈 필터링을 처리합니다. Gigot은 ISP의 16년 개발 역사를 강조하며, 신규 진입자가 일반적으로 부족한 통합의 깊이를 강조했습니다.

AI 가속기는 컨볼루션 신경망(CNN)과 고전적인 컴퓨터 비전 알고리즘을 가속화할 수 있는 벡터 프로세서입니다. 근제로 계수를 가지치기하는 희소화(sparsification)를 지원하여 계산 부하를 최대 80%까지 줄입니다. 짧은 재학습 단계 후 모델은 원본의 1% 이내로 정확도를 회복하면서 모델 크기를 5배 축소할 수 있습니다.

멀티 스트림 동시 처리

최대 14개의 독립적인 비디오 스트림을 처리할 수 있는 CV5S는 여러 신경망을 동시에 실행할 수 있습니다. Gigot은 CVflow 엔진이 타임 멀티플렉싱과 병렬 경로를 사용하여 GPU에서 일반적인 배치 처리 없이 다른 네트워크 간에 효율적인 동작을 가능하게 한다고 설명했습니다.

CV5S와 CV52S 모두 2021년 10월부터 샘플링에 들어갈 예정입니다.

CV52S는 교통 모니터링 등 스마트시티 애플리케이션용 단일 센서 설계를 타겟으로 함 (출처: Ambarella)

CV5S SoC는 멀티 센서 카메라 시스템용으로 최신 세대 Ambarella CVflow AI 및 컴퓨터 비전 가속기 포함 (출처: Ambarella)

Jerome Gigot (출처: Ambarella)

자세한 내용은 EE Times의 원본 게재물을 참조하세요.

관련 콘텐츠:

• AI 비전 프로세서, 2W 미만에서 8K 30fps 구현
• Ambarella, 새로운 카메라 SoC로 지능형 에지 센싱 공략
• FPGA, Subaru Eyesight 비전 기반 ADAS에서 ASIC 대체
• Arm, 자율주행 및 비전 안전을 위한 CPU, GPU, ISP 추가
• 저전력 AI 비전 보드, 단일 배터리로 '수년' 지속

더 많은 Embedded 콘텐츠를 위해 Embedded 주간 이메일 뉴스레터를 구독하세요.