이중 카메라 시스템은 단일 AI SoC로 운전자와 도로를 모니터링합니다.

Ambarella의 CV22 시스템을 기반으로 하는 KeepTruckin의 새로운 대시캠 칩에 AI를 사용하여 트럭 및 기타 상업용 차량의 운전자를 모니터링합니다.

운전자 모니터링 시스템은 자동차 안전 대화의 필수 부분이 되었습니다. 운전자 모니터링 논의의 대부분은 승용차의 개인을 위한 사용에 관한 것이지만 상용차 부문에는 트럭의 운전자를 모니터링하여 안전을 보장하고 사고를 예방하고 차량 관리자를 가능하게 하는 거대한 시장이 있습니다. 위험을 평가하고 보험 비용을 절감합니다.

이 시장에 서비스를 제공하는 차량 관리 기술 회사 KeepTruckin은 이번 주에 엣지 인공 지능(AI) 비전 시스템 온 칩(SoC) 회사인 Ambarella와 협력하여 대형 상용차를 위한 새로운 애프터마켓 대시캠을 개발했다고 밝혔습니다. 새로운 대시캠은 단일 Ambarella CV22 SoC를 사용하여 이중 카메라 시스템에 AI 및 이미지 처리를 동시에 제공합니다. 이 시스템은 사고 기록 기능이 있는 전면 ADAS(Advanced Driver Assistance System)용 카메라 한 대와 사고 기록을 위한 두 번째 RGB-IR 카메라를 통합합니다. 운전자 기록이 있는 운전자 모니터링 시스템(DMS).

CV22의 와트당 성능 사양을 통해 소형 AI 대시캠은 KeepTruckin의 독점 AI 알고리즘을 실행하여 실시간 고위험 행동 감지 및 활성 경고를 최소한의 방열로 기기에서 직접 실행할 수 있습니다.

EE Times는 제품 개발에 대해 자세히 알아보기 위해 KeepTruckin과 Ambarella의 경영진과 이야기를 나눴습니다. KeepTruckin의 제품 담당 SVP인 Jai Ranganathan은 “운전자 안전이 그 어느 때보다 중요해졌습니다. 특히 상업 운영자에 대한 소송이 늘어남에 따라 더욱 그렇습니다. 따라서 대시캠의 개념은 매우 대중화되었습니다. 우리는 Ambarella와 협력하여 차세대 대시캠을 개발했습니다. 칩을 볼 때 우리의 핵심 메트릭은 와트당 추론입니다. 비용 대비 성능도 중요했습니다. 어려울 수 있는 단일 렌즈로 깊이 감지와 같은 작업을 수행해야 했습니다."

그는 처음부터 대시캠이 오늘 출시되기까지의 전체 프로세스가 약 18개월이 걸렸다고 말했습니다. “[빠른 출시 시간을 가능하게 한] 우리에게 가장 큰 요인은 전체 개발 프로세스를 도울 수 있는 파트너가 있다는 것이었습니다. 그렇지 않았다면 시장에 빨리 출시할 수 없었을 것입니다.”

KeepTruckin의 제품 이사인 Abhishek Gupta는 "개발자 지원이 매우 유익했습니다. 특히 많은 사람들이 원격으로 작업하는 전염병 기간 동안 이 기능을 구축했기 때문에 더욱 그렇습니다."라고 말했습니다.

Ranganathan은 KeepTruckin의 AI 대시캠이 Ambarella의 엣지 AI 및 비전 처리 성능을 활용하여 높은 정확도와 효율성으로 고위험 행동을 감지하는 고급 AI 기반 기능을 제공한다고 말했습니다. "우리의 지속적인 차량 관리 혁신은 Ambarella의 확장 가능한 CVflow AI 비전 SoC에 의해 가능하며, 모두 강력하고 공통된 SDK에서 지원되어 제품 개발에 대한 플랫폼 접근 방식을 가능하게 합니다."

분석가의 관점에서 자동차 부문 부사장이자 Strategy Analytics 이사인 Ian Riches는 다음과 같이 말했습니다. Ambarella의 에코시스템은 차량 고객에게 도움이 될 맞춤형 AI 솔루션을 개발하는 데 필요한 도구를 제공합니다.”

CV22에 의해 활성화된 전방 ADAS 기능에는 근접 추종, 차선 이탈, 전방 충돌, 과속 및 교통 위반에 대한 경고가 포함됩니다. 동일한 SoC를 사용하여 여러 개의 동시 신경망 모델을 실행하는 실내 카메라의 DMS 기능에는 전방 카메라의 데이터와 결합하여 상황에 맞는 휴대폰 사용 또는 안전 벨트 모니터링과 같은 운전자 피로, 주의 산만 및 정책 위반에 대한 모니터링이 포함됩니다.

AI Dashcam은 KeepTruckin 차량 게이트웨이에 연결되어 사전 분석된 데이터, 비디오 및 정지 이미지를 KeepTruckin의 클라우드 기반 차량 관리 소프트웨어에 실시간으로 업로드합니다. CV22 SoC는 Ambarella의 이미지 신호 프로세서를 통합하여 모든 조명 조건에서 고품질 1440p 해상도 HDR 비디오를 제공하는 동시에 온칩 H.264/H.265 인코딩을 활용하여 전송 대역폭과 저장 비용을 줄입니다.

KeepTruckin은 무선 소프트웨어 업데이트를 통해 시간이 지남에 따라 CV22에 추가 기능을 업로드하여 플랫폼에 투자하는 고객에게 증분 가치를 제공할 수 있습니다. 또한 KeepTruckin의 모델 교육은 실시간으로 품질을 평가하는 사내 안전 팀으로 인해 점점 더 정확해지고 있습니다. 추가 위험 컨텍스트를 추가하고 모델 교육 및 개발 주기를 단축하는 입력을 제공합니다.

Ambarella의 마케팅 이사인 Udit Budhia는 “애프터마켓의 경우 이것은 아마도 가장 정교한 자동차용 AI 비전 제품일 것입니다. 차선 이탈 경고와 같은 ADAS 경고 시스템의 급속한 성장을 목격했습니다.” 그는 이 애플리케이션에서 CV22 SoC의 이점에 대해 "주요 구성 요소는 이미지 신호 프로세서(ISP)입니다. RGGB, RGB-IR, 흑백, RCCB, RCCC 등 다양한 센서 유형을 지원하며 HDR 처리를 지원합니다. 우리는 장면에서 물체를 감지할 수 있고 또한 낮은 조명 필터링을 사용하여 노이즈를 줄여 비디오를 보다 효율적으로 처리할 수 있습니다. 우리는 더 적은 대역폭과 훨씬 더 적은 DRAM을 사용합니다.”

도구에 대해 Budhia는 "우리 도구를 사용하면 전면 카메라와 운전자 모니터링 카메라를 동시에 개발할 수 있습니다."라고 말했습니다. Ambarella의 CVflow AI 아키텍처의 프로그래밍 가능성과 효율성은 매우 낮은 전력 소비로 상당한 컴퓨터 비전 성능을 가능하게 하여 안정성과 효율성을 높여 더 많은 모델을 병렬로 실행하여 더 나은 감지 및 가시성을 제공합니다. 완전한 CV 도구 세트는 KeepTruckin과 같은 고객이 자체 신경망을 이식하는 데 도움이 되며 PyTorch, ONNX, Caffe 및 TensorFlow와 같은 업계 표준 기계 학습 프레임워크에 대한 지원을 포함합니다.

>> 이 기사는 원래 자매 사이트인 EE에 게시되었습니다. 시간.

관련 콘텐츠:

• 비전 기반 운전자 모니터링 시스템이 주목받고 있음
• 운전자 모니터링 시스템에 대한 오해 해소
• 차량 자동화 번호 시스템이 유용합니까?
• 이미지 센서는 더 선명한 기내 이미지를 제공합니다.
• 우리를 무인 모빌리티에 더 가깝게 만드는 핵심 기술

더 많은 Embedded를 보려면 Embedded의 주간 이메일 뉴스레터를 구독하세요.