자율주행차를 위한 경고 시스템은 실패에서 배운다

자율 주행 자동차를 위한 새로운 모델은 과거의 실패를 미리, 때로는 최대 7초까지 발견하여 학습합니다.

자율 주행 차량의 경우 혼잡한 교차로와 같이 알 수 없거나 복잡한 주행 상황이 발생하면 자동 안전 조치나 사람의 개입을 통해 자율 주행 시스템이 해제될 수 있습니다.

뮌헨 공과 대학(TUM)의 인공 지능 모델은 수천 개의 실제 교통 상황, 특히 테스트 드라이브에서 기록된 해제 시퀀스를 교육 데이터로 사용하여 미래의 장애를 예측합니다.

가능한 한 빨리 실패를 예측하기 위해 머신 러닝 접근 방식은 센서 데이터 시퀀스를 실패 또는 성공으로 분류합니다.

예를 들어, 제어 시스템이 이전에 처리할 수 없었던 새로운 주행 상황을 시스템이 감지하면 운전자에게 발생할 수 있는 위험한 상황에 대해 미리 경고합니다.

TUM이 개발한 안전 기술은 센서와 카메라를 사용하여 핸들 각도, 도로 상태, 날씨, 가시성 및 속도와 같은 주변 조건을 캡처합니다. AI 순환 신경망(RNN)과 수천 개의 실제 교통 상황을 기반으로 하는 시스템은 데이터로 패턴을 인식하는 방법을 학습합니다.

자동차 자체를 블랙박스로 취급하며 데이터 입력과 출력에만 집중한다. 뮌헨 팀에 따르면 시스템은 이전의 실수로부터 내성적으로 학습합니다.

수석 연구원 Eckehard Steinbach , MSRM(Munich School of Robotics and Machine Intelligence) 이사회 이사이기도 합니다. 텀에서. “이렇게 해서 A.I. 모델이 인식할 수 없거나 아직 발견하지 못한 잠재적으로 중요한 상황을 발견합니다."

이 시스템은 차량에 약점이 있는 시기와 위치를 알려주는 안전 기능을 제공한다고 Steinbach는 말합니다.

Steinbach와 그의 팀의 방법은 두 종류의 센서를 결합합니다. 이미지 기반 모델은 번화한 도시 거리와 같이 일반적으로 어려운 상황을 감지하는 방법을 학습합니다. 추가 데이터 기반 모델은 급제동 또는 방향 전환과 같은 장애 직전의 빠른 변화를 감지합니다. 개별 모델의 결과는 개별 실패 확률을 평균화하여 융합됩니다.

BMW 그룹은 운전자가 개입해야 하는 약 2,500개의 상황을 분석하여 공공 도로에서 14시간 동안 자율 주행을 통해 '내성적 고장 예측 접근 방식'을 평가했습니다.

2020년 12월에 발표된 연구에 따르면 , 후기 융합 접근 방식을 사용하면 오류가 발생하기 최대 7초 전에 85% 이상의 정확도로 오류를 예측할 수 있으며 가양성 비율은 20%입니다.

기술 요약 과의 짧은 인터뷰 아래에서 Steinbach는 블랙박스 접근 방식의 장점과 오늘날의 차량 안전 조치의 한계에 대해 설명합니다.

기술 요약 :저는 이것이 흥미로운 아이디어라고 생각합니다. “우리는 자동차가 생각하는 것을 완전히 무시합니다. 대신 우리는 실제로 일어나는 일에 기반한 데이터로 제한하고 패턴을 찾습니다.” 모델이 인식하지 못할 수 있는 패턴의 예는 무엇입니까?

교수. 에케하르트 슈타인바흐 :우리의 작업에서 우리는 제동 및 조향과 같은 차량의 상태와 차량이 이탈로 이어지는 패턴을 감지하기 위해 획득한 카메라 이미지를 봅니다. 이를 통해 우리 모델은 사람이 인계받아야 하는 많은 상황을 감지할 수 있지만 운전 장면에 대한 모든 정보가 이 데이터에 캡처되는 것은 아닙니다.

간단한 예를 들어, 반복되는 제동 패턴은 더운 날씨에 정기적으로 운전하는 것일 수 있지만 도로가 얼어붙고 미끄러운 경우 임박한 이탈을 나타낼 수 있습니다. 카메라 이미지가 환경에 대한 이러한 정보를 포착하지 못하면 해당 패턴을 사용하여 일반 운전과 방해 운전을 구분할 수 없습니다. 카메라 정보는 일반적으로 도로 상태를 평가하기에 충분하지만 이러한 패턴은 여전히 ​​인식하기 어려울 수 있습니다.

자율주행 자동차에 대한 추가 정보

Tech Briefs TV에서 시청:미시간은 커넥티드 및 자율주행 차량을 위한 최초의 통로를 개발하고 있습니다.

블로그에서:전문가를 대상으로 한 설문 조사에서 자율 시스템이 자연에 어떤 영향을 미칠까요?

기술 개요 :'자동차가 생각하는 것을 무시'하는 것이 왜 장점인가요?

교수. 에케하르트 슈타인바흐 :차가 상황을 완전히 정확하게 판단하면 운전자가 개입할 필요가 없습니다. 그러나 과신은 자율 주행에 사용되는 많은 모델의 중요한 문제입니다. 이러한 상황을 기록하고 학습함으로써 차가 과신하는 경우에도 새로운 상황에 문제가 있는지 감지하는 방법을 배울 수 있습니다.

또한 자동차의 상태와 주변 환경에 대한 패턴 시퀀스를 관찰하면 우리 모델이 미래를 효과적으로 외삽하여 최대 7초 전에 이탈을 예측할 수 있습니다. 이 초기에 장면에 대한 자동차의 평가는 여전히 완전히 정확할 수 있습니다. 즉, 어려운 시나리오를 예측하는 데 사용할 수 없습니다. 반면에 수집된 원시 데이터에는 이전에 실패로 이어진 패턴이 이미 포함되어 있을 수 있으므로 사전에 이탈을 예측할 수 있습니다.

기술 개요 :시스템은 7초 전에 "중요한" 시나리오를 어떻게 결정할 수 있습니까? 또한 해당 감지가 발생하면 다음에 어떻게 됩니까? 운전자는 차 안에서 무엇을 보고 무엇을 합니까?

교수. 에케하르트 슈타인바흐 :핵심은 데이터의 시퀀스를 관찰하고 시간적 패턴을 찾는 것입니다. 지난 3초 동안 기록된 데이터를 고려하여 우리 모델은 결국 인간 운전자가 제어권을 넘겨받아야 하는 시나리오로 진화하는 패턴을 감지할 수 있습니다. 무엇을 찾아야 하는지 안다면 몇 초 전에 어려운 상황의 첫 징후를 발견할 수 있습니다.

우리의 방법은 7초 전에 시간의 약 85%를 달성합니다. 나머지 15%의 상황은 보행자가 주차된 자동차 사이에서 갑자기 나타나 도로에 접근하는 것과 같이 매우 짧은 시간에 일부 어려운 시나리오가 발생한다는 사실로 설명할 수 있습니다. 감지가 발생하면 운전자에게 경고해야 합니다.

기술 요약 :운전자는 어떻게 알림을 받나요?

교수. 에케하르트 슈타인바흐 :이 경고의 구현은 인간-기계 인터페이스의 특정 선택에 따라 다르지만 운전자는 앞으로 7초 이내에 자동차를 제어해야 한다는 사실을 알아야 합니다. 이 시간은 또한 인간 운전자가 프롬프트에 반응하지 않을 경우 자동차가 안전한 정지 기동을 계획할 수 있도록 합니다.

기술 개요 :당신의 시승은 어땠나요? 당신이 본 가장 인상적인 탐지는 무엇이었습니까?

교수. 에케하르트 슈타인바흐 :시승은 BMW 그룹에서 진행했기 때문에 차 안에서는 참여하지 않았습니다. 우리 그룹은 나중에 드라이브 녹음 작업을 했습니다. 탐지 시스템의 가장 인상적인 요소는 예측이 자주 발생하는 방법입니다. 감지 시점에서 운전 시나리오는 여전히 규칙적으로 보일 수 있습니다. 예를 들어 다음 교차로의 교통량이 복잡하고 혼잡한 환경으로 바뀌고 몇 초 후에 사람이 안전을 보장하기 위해 인계받는 경우에만 해당됩니다.

기술 요약 :자율주행차가 감지하기 어려운 점은 무엇입니까?

교수. 에케하르트 슈타인바흐 :자율주행의 중요한 과제 중 하나는 신규 데이터 또는 배포되지 않은 데이터입니다. 차가 훈련되지 않은 상황에 진입하거나 모르는 물체를 보게 되면 문제가 발생할 수 있습니다. 이러한 새로운 장면은 사람의 개입을 유발하여 이러한 장면이 우리의 접근 방식을 위한 훈련 데이터로 사용됩니다. 우리의 방법은 다음에 마주쳤을 때 그러한 새롭고 도전적인 환경을 감지하는 데 도움이 될 수 있지만 처음 마주했을 때 완전히 새로운 장면을 감지하고 올바르게 관리하는 것은 여전히 ​​어려운 작업입니다.

어떻게 생각하세요? 아래에서 질문과 의견을 공유하세요.