자율주행 AI의 맹점 찾아내 안전성 높이는 머신러닝 모델

시뮬레이션과 현실 간 격차 해소

MIT와 마이크로소프트 연구진이 인간의 피드백을 활용해 자율주행 시스템의 '맹점(blind spots)'을 찾아내는 새로운 머신러닝 모델을 개발했습니다. 이 모델은 AI가 훈련 예제나 시뮬레이션에서 배운 내용이 실제 환경에서 위험한 오류로 이어질 수 있는 상황을 식별합니다.

인간 피드백을 통한 학습 방식

자율주행 시스템은 먼저 가상 시뮬레이션에서 각 상황에 대한 최적 행동을 학습합니다. 이후 실제 도로에서 주행하며 인간이 시스템의 잘못된 행동을 교정합니다. 인간은 두 방식으로 데이터를 제공할 수 있습니다:

• 교정 방식: 사람이 운전석에 앉아 자율주행 차량을 모니터링하다 시스템이 부적절한 행동을 하면 핸들을 잡아 제어권을 넘겨받음
• 시연 방식: 사람이 실제 도로에서 직접 운전하며 시스템이 해당 상황에서 어떤 행동을 했을지와 비교

도킨-스케인 알고리즘으로 맹점 처리

수동 훈련이 끝나면 시스템은 '수용 가능'과 '수용 불가' 행동 목록을 갖게 됩니다. 목표는 AI가 구별하기 어려운 모호한 상황(맹점)을 찾는 것입니다. 연구팀은 도킨-스케인(Dawid-Skene) 알고리즘을 사용해 라벨링된 맹점들을 집계하고 확률 계산을 통해 패턴을 탐지합니다.

이 알고리즘은 상황별로 단일 집계 맹점과 신뢰도를 산출하며, 각 상황이 맹점일 확률을 보여주는 히트맵도 생성합니다. 실제 주행 중 모델이 특정 상황을 높은 확률의 맹점으로 판단하면 인간에게 적절한 행동을 요청해 더 안전한 실행을 가능하게 합니다.

참조: arXiv:1805.08966 | MIT