NVIDIA는 AI를 사용하여 카메라가 선명하게 볼 수 있도록 지원합니다.

• 연구원들은 카메라가 명확하게 볼 수 있는 능력을 평가하는 심층 신경망을 개발합니다.
• 자율 주행 차량은 이 네트워크를 사용하여 더 나은 결정을 내릴 수 있습니다.

수십 개의 회사가 자율 차량 기술에 대해 연구하고 있으며 모두 다른 방식으로 엔지니어링 문제에 접근합니다. 인간의 볼 수 있는 능력을 모방하기 위해 기술은 주로 레이더, 카메라 및 라이더의 세 가지 기본 요소에 의존합니다.

그러나 비, 눈 및 기타 장애물과 같은 여러 요인으로 인해 카메라 시야가 저하될 수 있습니다. 이는 주변 환경을 이해하고 센서에서 들어오는 데이터를 검증하는 강력한 인식 시스템 기능을 방해합니다.

다운스트림 모듈에 도달하기 전에 처리 파이프라인에서 가능한 한 빨리 센서 데이터의 무효성을 효과적으로 감지하기 위해 NVIDIA의 연구원은 카메라가 명확하게 볼 수 있는 능력을 평가하는 AI 모델을 개발했습니다.

이 모델은 ClearSightNet이라는 심층 신경망을 사용하여 차단, 폐색 및 가시성 감소의 근본 원인을 찾습니다.

작동 방식

네트워크는 카메라 사진을 두 부분으로 나눕니다. 그 중 하나는 폐색과 관련되고 다른 하나는 가시성 감소에 해당합니다.

출처:NVIDIA | 유튜브

오클루전은 불투명한 물체(눈, 진흙 또는 먼지와 같은)에 의해 차단되거나 데이터가 포함되지 않은 카메라 시야의 특정 부분(예:햇빛으로 인한 포화 픽셀)을 나타냅니다. 이 부분에서는 지각이 완전히 손상됩니다.

가시성 감소는 안개, 눈부심 또는 폭우로 인해 부분적으로 차단된 부분을 나타냅니다. 이러한 경우 알고리즘에 의해 취해진 결정은 '낮은 신뢰도'로 표시되어야 합니다.

왼쪽은 입력 이미지를 나타내고 오른쪽은 신경망 출력 마스크로 오버레이된 이미지입니다. 이미지 픽셀의 거의 84%가 부분 및 전체 폐색의 영향을 받습니다.

이러한 부분을 표시하기 위해 ClearSightNet은 실시간으로 입력 비디오/이미지에 마스크를 배치합니다. 가시성이 떨어지는 영역은 녹색으로 표시되고 완전히 가려진 영역은 빨간색으로 표시됩니다. 네트워크는 또한 감소된 가시성 또는 폐색으로 인해 입력 비디오의 영역이 얼마나 영향을 받는지 표시합니다.

이 데이터는 여러 가지 방법으로 사용될 수 있습니다. 예를 들어, 자율주행 자동차는 가시성이 낮을 때 자동 기능을 적용하지 않도록 선택하고 운전자에게 앞유리나 카메라 렌즈를 청소하도록 경고할 수 있습니다. 차량은 이 네트워크를 사용하여 카메라 인식을 알 수 있습니다.

팀은 카메라 가시성에 대한 종단 간 계산 및 보다 자세한 정보를 제공하여 자율 차량의 구현 프로세스를 더 잘 제어할 수 있도록 ClearSightNet을 더욱 개선할 계획입니다.

읽기:Nvidia AI는 30fps 비디오를 240fps로 변환할 수 있습니다.

[현재 ClearSightNet의] 성능을 고려하면 네트워크는 Xavier에서 프레임당 약 1.3밀리초(통합 GPU) 및 0.7밀리초(개별 GPU)로 실행됩니다. NVIDIA DRIVE 9.0에서 이미 사용할 수 있습니다.