TUM AI 시스템, 자율주행차 실패 7초 전 예측

자율주행차의 새로운 모델이 과거 실패로부터 학습하여 때로는 최대 7초 앞서 실패를 파악합니다.

자율주행차에서 알려지지 않거나 복잡한 운전 상황(예: 혼잡한 교차로)은 자동 안전 조치나 인간 개입을 통해 자율주행 시스템의 해제를 유발할 수 있습니다.

뮌헨 공과대학(TUM)의 인공지능 모델은 수천 개의 실제 교통 상황, 구체적으로 테스트 주행에서 기록된 해제 시퀀스를 훈련 데이터로 사용하여 미래 실패를 예측합니다.

가능한 한 일찍 실패를 예측하기 위해 머신러닝 접근법은 센서 데이터 시퀀스를 실패 또는 성공으로 분류합니다.

시스템이 제어 시스템이 이전에 처리하지 못했던 새로운 운전 상황을 포착하면(예:), 운전자에게 임박한 잠재적 위기 상황에 대해 사전에 경고합니다.

TUM 개발 안전 기술은 센서와 카메라를 사용하여 조향각, 도로 상태, 날씨, 가시성, 속도 등 주변 조건을 포착합니다. RNN(순환 신경망) 기반 AI 시스템과 수천 개의 실제 교통 상황을 통해 데이터에서 패턴을 인식하도록 학습합니다.

자동차 자체를 블랙박스로 취급하여 데이터 입력과 출력에만 집중합니다. 시스템은 자체 이전 실수로부터 내성적으로 학습한다고 뮌헨 팀은 설명합니다.

"우리 기술의 큰 장점: 자동차가 무엇을 생각하는지 완전히 무시합니다. 대신 실제로 일어나는 일을 기반으로 한 데이터에 국한하여 패턴을 찾습니다."라고 주 연구자 에케하르트 슈타인바흐(Prof. Eckehard Steinbach) 교수는 말합니다. 그는 뮌헨 공과대학의 뮌헨 로봇공학 및 머신 인텔리전스 스쿨(MSRM) 이사회 멤버이기도 합니다. "이렇게 하면 모델이 인식하지 못하거나 아직 발견하지 못한 잠재적으로 중요한 상황을 AI가 발견할 수 있습니다."

이 시스템은 자동차가 언제 어디서 약점을 가지는지 아는 안전 기능을 제공한다고 슈타인바흐는 말합니다.

슈타인바흐와 팀의 방법은 두 종류의 센서를 결합합니다. 이미지 기반 모델은 혼잡한 도심 거리 같은 일반적으로 어려운 상황을 감지하는 법을 학습합니다. 추가 데이터 기반 모델은 갑작스러운 제동이나 급조향 같은 실패 직전의 급격한 변화를 즉시 감지합니다. 개별 모델의 결과는 개별 실패 확률을 평균화하여 융합됩니다.

BMW 그룹은 공공 도로에서 14시간 자율주행을 통해 '내성적 실패 예측 접근법'을 평가했으며, 운전자가 개입해야 했던 약 2,500개 상황을 분석했습니다.

2020년 12월 발표된 연구에 따르면, 후기 융합 접근법으로 85% 이상의 정확도로 실패를 예측할 수 있습니다. 최대 7초 전이며, 거짓 양성률은 20%입니다.

아래 짧은 인터뷰에서 슈타인바흐는 블랙박스 접근법의 강점과 현재 차량 안전 조치의 한계에 대해 이야기합니다.

인터뷰: 블랙박스 접근법의 장점과 한계

Tech Briefs: "자동차가 무엇을 생각하는지 완전히 무시한다. 대신 실제로 일어나는 일을 기반으로 한 데이터에 국한하여 패턴을 찾는다."는 흥미로운 아이디어입니다. 모델이 인식하지 못할 패턴의 예는 무엇인가요?

에케하르트 슈타인바흐 교수: 우리 연구에서는 제동 및 조향 같은 자동차 상태와 자동차가 얻는 카메라 이미지를 살펴 해제로 이어지는 패턴을 감지합니다. 이는 인간이 개입해야 하는 상황의 큰 비율을 감지할 수 있게 하지만, 운전 장면의 모든 정보가 이 데이터에 포착되는 것은 아닙니다.

단순한 예로, 반복적인 제동 패턴은 따뜻한 날씨의 정상 주행일 수 있지만, 도로가 얼어 미끄러우면 임박한 해제를 나타낼 수 있습니다. 카메라 이미지가 환경에 대한 이 정보를 포착하지 못하면 그 패턴을 정상 주행과 방해 주행 구분에 사용할 수 없습니다. 카메라 정보가 보통 도로 조건을 평가하기에 충분하지만, 그런 패턴은 여전히 인식하기 어려울 수 있습니다.

자동차 판단을 무시하는 것의 이점

Tech Briefs: "자동차가 무엇을 생각하는지 무시하는 것"이 왜 이점인가요?

에케하르트 슈타인바흐 교수: 자동차가 상황을 완전히 올바르게 평가하면 운전자 개입이 필요 없습니다. 그러나 과신(overconfidence)은 자율주행에 사용되는 많은 모델의 중요한 과제입니다. 그런 상황들을 기록하고 학습함으로써, 자동차가 과신하고 있더라도 새로운 상황이 문제가 되는지 감지하는 법을 배울 수 있습니다.

또한 자동차 상태와 주변 환경에 대한 패턴 시퀀스를 관찰함으로써 우리 모델은 미래로 효과적으로 외삽하여 해제를 최대 7초 앞서 예측할 수 있습니다. 이 정도로 일찍은 자동차의 장면 평가가 여전히 완전히 올바를 수 있어, 어려운 시나리오를 예측하는 데 사용될 수 없습니다. 반면 수집된 원시 데이터는 이전에 실패로 이어진 패턴을 이미 포함하고 있을 수 있어 해제를 사전에 예측할 수 있게 합니다.

7초 전 '위기' 시나리오 판단 및 이후 조치

Tech Briefs: 시스템이 어떻게 7초 전에 '위기' 시나리오를 판단하나요? 감지 시 운전자는 무엇을 보고 자동차는 무엇을 하나요?

에케하르트 슈타인바흐 교수: 핵심은 데이터 시퀀스를 관찰하고 시간적 패턴을 찾는 것입니다. 과거 3초 기록 데이터를 고려함으로써 우리 모델은 결국 인간 운전자가 제어를 넘겨받아야 하는 시나리오로 진화하는 패턴을 감지할 수 있습니다. 무엇을 찾아야 할지 알면 어려운 상황의 첫 징후를 몇 초 앞서 포착할 수 있습니다.

우리 방법은 7초 앞서 약 85%의 경우에 이를 달성합니다. 나머지 15%는 주차된 차 사이에서 보행자가 갑자기 튀어나와 도로로 접근하는 등 매우 짧은 시간에 어려운 시나리오가 발생하는 경우로 설명될 수 있습니다. 감지 발생 시 운전자에게 경보해야 합니다.

Tech Briefs: 운전자에게 어떻게 경보하나요?

에케하르트 슈타인바흐 교수: 이 경보 구현은 특정 인간-기계 인터페이스 선택에 달려 있지만, 운전자는 향후 7초 내에 자동차 제어가 필요하다는 것을 알아야 합니다. 이 시간은 인간 운전자가 프롬프트에 반응하지 않을 경우 자동차가 안전한 정지 기동을 계획할 시간도 허용합니다.

테스트 주행 결과 및 인상적인 감지 사례

Tech Briefs: 테스트 주행은 어땠나요? 본 가장 인상적인 감지는 뭐였나요?

에케하르트 슈타인바흐 교수: 테스트 주행은 BMW 그룹이 수행했으므로 저는 차 안에 타지 않았습니다. 우리 그룹은 나중에 주행 기록물로 작업했습니다. 감지 시스템에서 가장 인상적인 요소는 예측이 얼마나 일찍 발생하는가입니다. 감지 시점에는 주행 시나리오가 여전히 정상으로 보일 수 있습니다. 예를 들어 다음 교차로의 교통이 몇 초 후 인간이 안전을 위해 제어권을 넘겨받는 복잡하고 혼잡한 환경으로 변하는 경우입니다.

자율주행차가 여전히 감지하기 어려운 것들

Tech Briefs: 자율주행차가 감지하기 여전히 어려운 것은 무엇인가요?

에케하르트 슈타인바흐 교수: 자율주행의 중요한 과제 중 하나는 새롭거나 분포 외 데이터입니다. 자동차가 훈련되지 않은 상황에 들어가거나 모르는 물체를 보면 문제가 발생할 수 있습니다. 그런 새로운 장면은 인간 개입을 유발하고, 그 장면들이 우리 접근법의 훈련 데이터로 사용됩니다. 우리 방법이라면 다음에 그런 새로운 어려운 환경을 마주칠 때 감지하는 데 도움이 될 수 있지만, 완전히 새로운 장면을 처음 마주쳤을 때 올바르게 감지하고 관리하는 것은 여전히 어려운 과제입니다.

여러분 생각은 어떠신가요? 아래에 질문과 의견을 공유해주세요.