자동차의 인공 지능 — 두뇌 내부

자율 주행 차량(AV) 또는 첨단 운전자 지원 시스템(ADAS)이 장착된 차량은 여러 대의 카메라, 라이더, 레이더, 때로는 소나 등 많은 센서의 데이터에 의존합니다. 이 센서 어레이에서 오는 데이터 스트림을 처리하는 것은 거대하면서도 동시에 중요한 작업입니다. 모든 데이터는 실시간으로 정보로 전환되어야만 완벽한 인간 운전자가 제어하는 ​​것처럼 안전하게 자동차를 운전할 수 있습니다. “도로에서 인간 운전자는 현재 주변 환경을 경계하고 다른 운전자와 상호 작용하며 결정을 내려야 합니다. 인간 운전자와 마찬가지로 AV도 인지하고 상호 작용하고 결정을 내려야 합니다. 또한 AV는 승객과 좋은 관계를 구축해야 합니다." ¹

이러한 기능은 인공 지능(AI)에 의존하여 다양한 센서의 데이터를 동화하고 이를 결합하여 차량과 동적 환경에 대한 즉각적인 사진을 제공합니다. 이를 센서 융합이라고 합니다. 자동차용으로 최적인 AI는 심층 신경망(DNN)을 사용합니다. 정보가 인간의 두뇌에 의해 처리되는 방식을 모델로 한 DNN은 프로그래머가 지시하는 것이 아니라 경험을 통해 실제 운전 세계를 횡단하는 방법을 배웁니다. DNN은 여러 입력을 받아들이고 서로 다른 가중치를 할당하고 추론을 그리는 방식으로 작동합니다. 이 모든 작업을 "실시간"으로 수행하려면 매우 고성능이면서 에너지 효율적인 컴퓨팅 플랫폼이 필요합니다. 처리 가속기를 사용하여 속도를 높일 수 있습니다.

AI 실행

자동차 AI를 위한 고성능 플랫폼에 무엇이 들어가는지 알아보기 위해 CEVA, Inc.의 Gil Abraham과 이를 구현하는 도구에 대해 인터뷰했습니다.

CEVA의 비전 및 AI 사업부에는 Abraham이 세 가지 기둥이라고 부른 것이 있습니다. AI 프로세서인 NeuPro-M; 고성능 센서 허브 DSP(디지털 신호 프로세서)인 SensPro; 및 CDNN-초대 소프트웨어. CDNN-Invite를 통해 제조업체는 자체 독점 DNN 가속기를 입력하여 CEVA의 NeuPro-M AI 프로세서 및 SensPro DSP와 공동 작업하고 동일한 메모리 및 흐름 소프트웨어 개발 키트( SDK).

SensPro DSP는 여러 라이더, 레이더 및 카메라를 포함한 다양한 센서의 입력에 대한 신호 처리를 수행하고 이를 컨볼루션할 수 있습니다. 이 프로세스를 센서 융합이라고 하며 여러 센서의 입력을 함께 수집합니다. 각 센서에는 고유한 한계가 있기 때문에 이는 자동차 사용에 매우 중요합니다.

예:

• 카메라는 해상도가 매우 높아 미세한 부분까지 감지할 수 있습니다. 그러나 일반적으로 차량 사각 지대, 후방 보기, 서라운드 보기 및 초점 거리가 다른 여러 대의 전면 카메라를 커버하려면 둘 이상이 필요합니다. 각 카메라는 별도의 데이터 스트림을 제공합니다. 또한 카메라는 밤에 잘 작동하거나 태양을 향하고 있는 경우에 신뢰할 수 없습니다.

• 레이더는 야간에 잘 작동하며 거리 측정을 제공할 수 있습니다. 그러나 물체의 정확한 위치를 인지하거나 서로 가까이 있는 여러 물체를 구분할 만큼 해상도가 높지 않습니다. 정지하거나 느리게 움직이는 물체를 감지하지 못할 수 있으며 장면의 "의미론", 즉 물체의 색상과 모양을 감지할 수 없으므로 카메라가 필요합니다.

• Lidar는 자체 광원 역할을 하므로 어둠과 낮 모두에서 잘 작동합니다. 또한 장면 내에서 여러 개체를 추적하면서 정확한 실시간 자유 공간 감지를 위해 충분한 고해상도로 빠르고 정확한 측정 데이터를 제공합니다. 그러나 충분한 라이다 데이터 포인트를 갖기 위해서는 차량에 장착된 이러한 고가의 장치 5~6개가 필요합니다.

SensPro DSP는 ToF(Time of Flight) 센서, IMU(관성 측정 장치), SLAM(동시 현지화 및 매핑)을 위한 알고리즘을 효율적으로 처리하고 이 모두를 사용하여 "상황 인식"을 생성할 수 있을 뿐만 아니라 이들로부터 입력을 받을 수 있습니다. 자동차와 그 환경의 상황에 대한 전체 그림. 필요한 경우 다른 특정 처리의 추가 가속을 얻기 위해 하드웨어에 전용 명령어 세트를 추가할 수도 있습니다.

시스템 통합

NeuPro-M은 고속 및 저지연 확장 가능한 작동, 낮은 작동 전력, 높은 보안, 안전 관련 전기/전자 시스템에 대한 ISO 26262 표준의 기능 요구 사항을 충족하는 기능을 포함하여 자율 주행 차량 기능의 여러 주요 문제를 해결합니다. 생산 도로 차량에서. 또한 확장 가능하므로 단일 센서, 구역의 센서 클러스터에 사용하거나 자동차의 엔진 제어 장치(ECU)의 일부로 내장할 수도 있습니다.

고성능 자동차 AI 플랫폼의 아키텍처

CEVA NeuPro-M AI 프로세서의 기능은 높은 수준의 운전 결정을 내리는 것입니다. 이러한 결정은 다음과 같은 상황 정보를 제공하는 DNN 입력을 기반으로 합니다. 자동차가 차선에 머물고 있습니까? 절대 위치(SLAM)는 무엇입니까?

NeuPro-M AI 프로세서는 수신한 정보를 고려할 때 취해야 할 조치에 대한 의사 결정자입니다. AI는 결정을 내리기 위해 엄청난 수의 계산을 필요로 하며 이러한 작업은 거의 실시간으로 이루어져야 합니다. 따라서 강력한 프로세서가 필요합니다. 자동차 애플리케이션의 경우에도 전력 소비를 최소화해야 합니다. 계산 횟수가 증가하고 계산을 수행하는 시간이 줄어들수록 소비 전력이 증가합니다. 프로세서의 성능 측정은 와트당 초당 테라 작업 수(TOPS/와트) - 숫자가 높을수록 성능이 좋습니다. NeuPro-M의 전력 효율은 24 TOPS/watt로 대부분의 다른 자동차 AI 프로세서보다 훨씬 높습니다.

보안은 가장 중요합니다. 사실 보안과 안전은 자동차 애플리케이션의 가장 중요한 요구 사항이라고 말할 수 있습니다. 자율주행차의 AI 프로세서는 운전자다. AI 처리를 수행하는 신경망은 각 입력에 가중치를 할당하며 이러한 가중치는 악의적인 변조에 취약합니다. 따라서 보안 시스템은 이러한 공격을 방어하기 위한 프로세서의 필수적인 부분입니다.

성능 최적화

성능을 최적화하려면 프로세서의 속도에 관계없이 프로세서로의 정보 이동에 대한 대역폭 제한, 주로 메모리 측면에서 시스템 인터페이스 제한으로 인해 시스템에서 병목 현상이 발생할 수 있다는 점을 인식하는 것이 중요합니다. 연산 장치는 메모리에 알리기 위해 엄청난 양의 데이터를 저장하고 가져오는 데 걸리는 시간보다 훨씬 빠르게 작동합니다. 이 문제를 해결할 수 있는 한 가지 방법은 특정 계산을 수행하기에 충분한 정보를 기다리지 않고 프로세서에 데이터의 지속적인 흐름을 보내는 것입니다.

성능을 최적화할 수 있는 또 다른 방법은 모듈식 적응형 토폴로지를 사용하는 적응형입니다. 프로세서 토폴로지는 다양한 유형의 센서를 처리하고 다양한 유형의 작업을 수행하도록 최적화될 수 있습니다. 예를 들어 한 가지 기능은 많은 수학이 필요한 파워트레인 효율성을 최적화하는 것일 수도 있고, 다른 한편으로는 단일 센서만 처리하는 것일 수도 있습니다.

매우 정확하게 계산해야 하는 경우 벡터 프로세서 내에서 고정 소수점 대신 부동 소수점 산술을 사용할 수 있습니다. 대역폭 감소를 해결하는 또 다른 방법은 데이터를 압축하여 시스템에서 모든 데이터를 이동할 필요가 없도록 하는 것입니다. 이는 소프트웨어 수정 사항이지만 각 영역의 모든 병목 현상을 해결하기 위해 심층 분석을 통해 DSP와 AI 프로세서를 최적화하는 방법도 모색해야 합니다.

병렬 처리

NeuPro-M(NPM) 프로세서는 세 부분으로 구성됩니다(그림 2 참조). 마스터 컨트롤러; NPM 공통 하위 시스템; 그리고 NPM 엔진. 프로세서에는 특정 애플리케이션의 요구 사항을 충족하도록 선택할 수 있는 1개에서 8개까지의 엔진이 포함될 수 있습니다. 프로세서 작업은 엔진 수를 선택하여 확장할 수 있습니다. "그렇게 하면 점점 더 많은 마력을 얻을 수 있습니다."라고 Abraham이 말했습니다.

NPM 공통 하위 시스템은 NPM 엔진과 지속적으로 통신합니다. 해당 채널은 병목 현상이 발생하지 않도록 모니터링하여 데이터가 시스템으로 계속 유입되도록 합니다. 추론 AI는 두 가지 데이터 세트로 실행됩니다. 데이터 자체, 아마도 이미지일 수 있습니다. 추론을 수행하기 위해 데이터에 적용되는 가중치. 공통 하위 시스템은 데이터와 가중치 모두에 압축을 적용하여 채널을 열린 상태로 유지합니다.

병렬 처리는 여러 엔진을 사용하고 엔진 내의 보조 프로세서를 사용하여 구현할 수 있습니다. 각 엔진에는 5개의 보조 프로세서와 공유 내부 메모리가 포함되어 있습니다.

예 — 4엔진 NPM으로 차량 제어

그림 3은 병렬 처리의 간단한 자동차 애플리케이션을 보여줍니다. 그림의 왼쪽은 전면 카메라에 의해 캡처된 도로의 이미지를 보여줍니다. 차량 내의 프로세서는 반대편 차선을 차단하여 차량을 도로 측면 중앙에 유지하고 이미지를 메모리에 저장하는 데 필요한 계산을 단순화합니다. 저장된 이미지는 차량의 메모리에서 NPM 공통 하위 시스템으로 입력되며, 이 예에서는 4개의 엔진에 서비스를 제공합니다. 그런 다음 소프트웨어는 원하는 기능에 대해 최소 전력(높은 활용도)으로 최대 성능을 달성하기 위해 사용 사례(필요한 것)와 이미지를 분할하는 방법을 결정합니다. 이 경우 NPM은 이미지를 네 부분으로 나누고 일부는 겹치게 하고 각 부분은 다른 엔진으로 보냅니다. 그런 다음 AI 추론이 도로의 4개 구간 각각에서 실행됩니다. 그런 다음 4개의 세그먼트가 하위 시스템 메모리로 다시 연결되어 원하는 작업을 수행하기 위해 SoC의 다른 곳에서 인식 계층으로 출력됩니다.

이 예는 두 가지 병렬 처리 수준을 보여줍니다. 하나는 4개의 엔진을 사용하여 이미지의 서로 다른 부분에서 작업하고 각 엔진 내에서는 5개의 내부 보조 프로세서 간에 계산을 공유하여 병렬 처리하는 것입니다.

소프트웨어를 통한 최적화

AI는 주로 컨볼루션을 통해 작동합니다. 이는 두 함수에 대한 수학 연산으로, 한 함수의 모양이 다른 함수에 의해 어떻게 수정되는지 표현하는 세 번째 함수를 생성합니다. 수학자 Shmuel Winograd는 일반적인 단계 수의 절반으로 합성곱을 수행하는 새로운 방법을 혁신했습니다. CEVA는 프로세서에서 이 이론적인 아이디어를 구현하여 일반 컨볼루션으로 달성할 수 있었던 것과 동일한 정밀도를 달성했지만 거의 2배 가속으로 전력 감소와 함께 성능 향상을 달성했습니다. 이것은 엔진 내의 5개의 보조 프로세서 각각에서 수행할 수 있습니다.

또 다른 트릭은 특정 애플리케이션에 가장 적합한 데이터 유형에 따라 서로 다른 데이터 유형에서 다르게 작동하는 것입니다. 예를 들어, SLAM(동시 현지화 및 매핑)은 매우 높은 정확도를 요구하므로 부동 소수점 산술을 사용해야 합니다. 다른 응용 프로그램의 경우 고정된 수의 비트가 완벽할 것입니다. 이러한 방식으로 자동차 제조업체는 차량 내 각 기능에 가장 적합한 계산 방법을 선택할 수 있습니다.

소프트웨어 조작과 하드웨어 최적화를 모두 사용하면 상당한 가속을 얻을 수 있습니다. Abraham에 따르면 NeuPro-M을 사용하면 최대 16배까지 가속할 수 있습니다.

요약

이것은 레이더, 라이더, 소나, 카메라와 같은 다양한 센서의 데이터를 처리하고 결정을 내리는 특정 AI 프로세서의 내부 기능에 대한 개요입니다. NPM은 이기종 프로세서입니다. 서로 다른 데이터 유형에서 작동할 수 있으며 두 가지 수준의 병렬 처리와 소프트웨어의 대상 설계를 사용하여 TOPS/watt로 측정된 대로 작동을 최적화할 수 있습니다.

1. Fang Chen, PhD, SAE Edge 연구 보고서 — 차량 자율성, 인공 지능 및 인간-기계 상호 작용의 해결되지 않은 문제.

이 기사는 Sensor Technology의 편집자인 Ed Brown이 작성했습니다. 자세한 내용은 Ed에게 문의하십시오. 이 이메일 주소는 스팸봇으로부터 보호됩니다. 그것을 보려면 JavaScript가 활성화되어 있어야 합니다. 또는 여기를 방문하십시오. .