자율 주행 차량의 안전을 개선하기 위한 AI의 "사각지대" 발견

• 새로운 기계 학습 기반 모델은 무인 차량을 더 안전하게 만듭니다.
• AI가 실제 세계에서 위험한 오류를 초래할 수 있는 사례에서 학습할 수 있는 경우를 감지합니다.

최근 인공 지능 분야의 발전으로 자율 주행 차량과 자율 로봇이 더 똑똑해졌습니다. 아직 초기 단계이지만 무인 자동차가 점점 보편화되고 있으며 향후 몇 년 동안 우리의 운송 시스템을 근본적으로 변화시킬 수 있습니다.

최근 MIT와 Microsoft의 연구원들은 사람의 도움을 받아 자율 시스템의 '사각지대'를 발견할 수 있는 모델을 개발했습니다. 이는 이러한 자율 시스템이 실제 환경에서 실수할 수 있는 경우 학습 예제 또는 시뮬레이션을 통해 학습하는 인스턴스를 식별합니다.

예를 들어, 자율주행 자동차를 구동하는 AI는 도로에서 가능한 거의 모든 시나리오에 대해 차량을 준비하기 위해 시뮬레이션에서 광범위하게 훈련됩니다. 그러나 시스템은 때때로 실제 세계에서 오류를 범하기도 합니다. 특정 시나리오에서는 동작을 변경하지 않아야 합니다.

예를 들어, 운전자가 없는 자동차(광범위하게 훈련되지 않음)가 고속도로를 달리고 있고 구급차가 사이렌을 울리면 자동차는 구급차를 큰 흰색 자동차로만 인식할 수 있으며 구급차 또는 기타 긴급 상황에 차를 세우거나 양보하지 않을 수 있습니다. 차량.

연구원들은 인간의 입력을 통합하고 자율 시스템이 모르는 것을 더 잘 알 수 있도록 하여 시뮬레이션과 현실 세계 사이의 격차를 해소하고자 합니다.

모델이 인간의 피드백을 받는 방법

자율 시스템은 처음에 각 상황을 최상의 조치로 매핑하는 가상 시뮬레이션에서 학습됩니다. 그런 다음 시스템이 잘못된 행동을 할 때마다 인간이 시스템을 방해하는 현실 세계에 배치됩니다.

인간은 수정이나 시연을 통해 데이터를 공급할 수 있습니다. 수정을 제공하기 위해 차량이 계획된 경로를 따라 스스로 운전하는 동안 사람이 운전석에 앉을 수 있습니다. 시스템이 부적절한 조치를 취하면 인간이 주도권을 잡을 수 있으며 이는 AI에 잘못된 조치를 취하고 있으며 특정 상황에서 무엇을 해야 하는지에 대한 신호를 보냅니다.

참조:arXiv:1805.08966 | MIT

또는 인간이 실제 세계에서 차량을 시연/운전하여 시스템을 훈련할 수 있습니다. 시스템은 모든 인간의 행동을 분석하고 그 조건에서 수행했을 작업과 비교합니다. 각 불일치(있는 경우)는 시스템의 허용되지 않는 작업을 나타냅니다.

사각지대 처리

수동 교육이 끝나면 시스템에는 기본적으로 허용 가능한 작업과 허용되지 않는 작업 목록이 있습니다. 목표는 AI가 구별하기 어려운 모호한 상황(또는 사각 지대)을 감지하는 것입니다.

연구원 제공 | MIT

예를 들어, 자율 시스템은 차를 세우지 않고 여러 번 큰 차량을 따라 순항했을 수 있습니다. 그러나 구급차와 동일한 작업을 수행하는 경우(AI에 정확히 동일하게 표시됨) 허용할 수 없는 동작을 나타내는 피드백 신호를 수신합니다.

이러한 유형의 상황을 처리하기 위해 팀은 Dawid-Skene 알고리즘으로 알려진 기계 학습 방법을 사용했습니다. '허용' 및 '허용 불가'로 표시된 모든 사각지대를 가져와 집계하고 확률 계산을 사용하여 해당 레이블의 패턴을 감지합니다.

그런 다음 알고리즘은 각 상황에 대한 신뢰 수준과 함께 단일 집계 사각 지대를 산출합니다. 또한 각 상황에 대해 사각 지대가 될 확률이 낮거나 높음을 보여주는 히트맵을 생성합니다.

읽기:새로운 자율 주행 차량 알고리즘은 차선을 공격적으로 변경할 수 있습니다.

현실 세계에서 모델이 상황을 높은 확률로 사각 지대로 매핑하면 인간에게 적절한 조치를 요청할 수 있으므로 더 안전한 실행이 가능합니다. 이러한 유형의 모델은 또한 자율 로봇이 새로운 조건에서 부적절한 조치를 취할 때를 예측하는 데 도움이 될 수 있습니다.