AI 비전 프로세서는 2W 미만에서 30fps로 8K 동영상을 구현합니다.

Ambarella는 CES 2021을 출시 플랫폼으로 사용하여 전력 효율성에 대한 새로운 표준을 제시하는 5세대 인공 지능(AI) 비전 프로세서 시스템 온 칩(SoC)을 발표했습니다. 고급 삼성 5nm 공정으로 제작된 CV5 AI 비전 CVflow 프로세서를 사용하면 2와트 미만에서 초당 30프레임으로 전체 8K 비디오를 인코딩할 수 있으며 이는 자동차, 소비자(드론 포함) 및 로봇 카메라의 지능형 카메라 시스템에 중요한 역할을 합니다.

새로운 CV5는 Ambarella의 CVflow AI 엔진과 듀얼 Arm A76 CPU를 결합하여 광범위한 AI 기반 알고리즘에 필요한 성능을 제공합니다. 최대 14개의 카메라에서 입력을 가능하게 하는 이미지 신호 프로세서(ISP)는 사람의 보기와 기계 처리 모두를 위해 이미지를 동시에 처리할 수 있습니다. Embedded.com과의 브리핑에서 Ambarella의 마케팅 및 비즈니스 개발 부사장인 Chris Day는 “이 제품은 비디오와 AI를 위한 별도의 처리 기능을 갖춘 5세대 이미지 프로세서입니다. 많은 애플리케이션, 특히 스포츠 카메라에서 중요한 저전력 소비를 가능하게 하는 최초의 5nm 칩입니다."

그는 “우리는 삼성 팹과 긴밀히 협력하고 있으며 업계 최고의 VLSI 설계 팀 중 하나를 보유하고 있습니다. 이는 우리가 삼성과 긴밀한 협력 관계를 맺은 결과 프로세스 라이브러리에 조기에 액세스할 수 있음을 의미합니다.”

자동차 비디오 텔레매틱스 애플리케이션에서 CV5는 전방 첨단 운전자 지원 시스템(ADAS), 운전자 모니터링, 실내 모니터링 및 사이드 뷰 카메라의 여러 비디오 스트림을 인코딩하는 데 필요한 성능을 제공합니다. CVflow AI 엔진은 차선 이탈 및 전방 충돌 경고와 같은 ADAS 알고리즘과 졸음 운전자 감지와 같은 운전자 모니터링 알고리즘을 동시에 실행할 수 있습니다. 고해상도 비디오 캡처와 고급 AI 처리가 결합되어 ADAS 카메라가 장거리에서 높은 정확도로 이미지를 인식할 수 있습니다.

Day는 이 부문이 Ambarella 사업의 약 20%를 차지하기 때문에 초기 관심은 자동차 시장이라고 말했습니다.

CV5 SoC의 낮은 전력 소비는 차세대 고해상도 및 높은 프레임 속도 액션, 360° 및 가상 현실(VR) 카메라에 적합하도록 하여 초소형 폼 팩터 설계에서 8K 녹화 및 재생을 제공합니다. 특히 VR 카메라에 적합한 온칩 손떨림 보정, 스티칭 등의 기능도 갖췄다.

로봇 및 드론 애플리케이션에서 CV5의 CVflow AI 엔진은 SLAM(동시 위치 파악 및 매핑), 경로 계획, 장애물 감지, 탐색 및 자율 작동을 위한 회피 알고리즘을 가속화할 수 있습니다. 드론 기반 항공 비디오 촬영 및 영화 촬영의 경우 CV5는 비행 제어 및 탐색 기능을 동시에 수행하는 동시에 초당 60프레임의 속도로 최대 8K 해상도의 비디오를 녹화할 수 있습니다.

Day는 드론 시장에서 CV5가 특히 좋은 두 가지 영역이 있다고 말했습니다. 하나는 비디오 촬영을 개선하는 것이고 다른 하나는 물체 감지와 같은 것을 위해 컴퓨터 비전과 AI를 추가하는 것입니다.

Day는 다양한 애플리케이션에서 CV5의 주요 이점은 모든 시장에서 8K 레코딩을 추가할 수 있다는 점이라고 말했습니다. 그는 또한 회사가 칩에 PCIe 인터페이스를 포함하여 연결 옵션을 제공한 것은 이번이 처음이라고 말했습니다. 초기에는 자동차, 스포츠 카메라, 드론 및 VR 카메라에 중점을 두었지만 올해 후반에 보안 및 감시용 CV5 버전을 출시할 예정입니다.

새로운 SoC는 Ambarella의 다른 CVflow SoC 제품군과 공통 SDK 및 컴퓨터 비전(CV) 도구를 공유하여 다양한 가격 및 성능 옵션으로 카메라 개발을 단순화합니다. 완전한 CV 도구 세트는 컴파일러, 디버거, PyTorch, ONNX, Caffe 및 TensorFlow와 같은 업계 표준 머신 러닝 프레임워크 지원과 컨볼루션 신경망에 대한 광범위한 지침을 포함하여 고객이 자체 신경망을 CV5로 이식하는 데 도움이 됩니다. 네트워크(CNN) 성능 최적화.

CV5 SoC의 주요 기능은 다음과 같습니다.

<울>

DNN을 지원하는 CVflow 아키텍처

NEON DSP 확장 및 FPU가 포함된 최대 1.6GHz의 듀얼 코어 Arm Cortex-A76

고속 SLVS-EC, MIPI-CSI(C/D PHY) 인터페이스, 최대 14대의 카메라 연결

최대 8KP60 처리량의 다중 채널 ISP

RGGB, RCCB, RCCC, RGB-IR 및 흑백 센서 형식에 대한 기본 지원

다중 노출 HDR(High Dynamic Range) 처리

실시간 하드웨어 가속 어안 왜곡 보정 및 렌즈 왜곡 보정(LDC)

최대 8KP60 처리량 및 다중 스트림 지원을 통한 AVC 및 HEVC 인코딩

4레인 PCIe, CAN FD, 기가비트 이더넷, USB 3.1 호스트 및 장치, 3개의 SD 카드 컨트롤러, MIPI DSI/CSI-2 및 HDMI 비디오 출력을 포함하는 다양한 인터페이스 세트

LPDDR4x / LPDDR5 / LPDDR5x 지원, 64비트 데이터 버스 및 최대 32GB 용량