AI에 선제적 안전 접근이 필요한 이유: 고전력 전자공학 30년 경력의 교훈

전 고전력 전자공학 엔지니어로서, 저는 초기 프로토타입 CAT 스캔 시스템부터 입자 가속기까지 다양한 애플리케이션용 고전압 전원 공급장치를 설계하고 테스트했습니다. 레이더가 민감한 항공 전자장비에 미치는 영향을 테스트하는 시뮬레이터부터 그래놀라 가공까지 모든 것에 고전력 마이크로파 시스템으로도 같은 일을 했습니다. 30년 넘게 수만 킬로볼트의 DC 전압과 수만 킬로와트의 마이크로파 전력을 다뤘습니다.

에드의 블로그

엔지니어(EE)로서 수십 년 일한 후, SAE 미디어 그룹의 에드 브라운(Ed Brown)은 두 번째 경력인 기술 에디터로 깊숙이 들어왔습니다.

"내 엔지니어링 시절을 돌이켜보고 에디터로서 최신 동향을 지켜보며, 내 엔지니어링 경험에 비추어 지금 일어나고 있는 일에 대해 많은 생각이 들었고, 이제 그것들을 공유하고 싶습니다."

모든 것은 가능한 한 큰 안전 마진으로 설계되어야 했고, 페일세이프(fail-safe) 목표를 가져야 했습니다. 이는 시스템이 실패할 수 있는 가능한 방법을 미리 생각하고, 실패가 부상이나 손상을 초래할 가능성을 최소화하도록 설계하는 것을 의미했습니다. 예를 들어, 센서가 부하 전류의 급격한 증가를 알리면 마이크로초 단위로 출력을 안전하게 단락시키는 전자 '크로우바(crowbar)'를 사용했습니다. 하지만 그것은 활성 시스템이어서 정전 시 작동하지 않습니다. 그래서 백업 기계식 크로우바를 전자석으로 지탱하여 페일세이프 보호 장치로 사용했습니다. 입력 라인 전원이 실패하면 금속 막대가 출력 위로 떨어집니다. 이는 전원 없이도 커패시터 뱅크에 위험한 양의 에너지가 저장될 수 있기 때문에 중요했습니다. 제가 한 번은 안전하게 꺼져 있다고 생각한 전원 공급장치에서 감전을 받은 무서운 경험을 했습니다.

그런 마인드셋으로 인공지능(AI)에 대해 생각합니다. AI가 인간 지능을 대체해 우리 모두를 로봇으로 만들까 걱정하지 않습니다. 하지만 특히 두 영역에서 AI에 너무 많이 의존하는 것이 걱정됩니다: 첨단 운전자 지원 시스템(ADAS) 및 자율주행차의 안전 애플리케이션, 질병 진단.

케임브리지 대학교와 오슬로 대학교 연구자들이 AI의 '내재적 한계(inherent limitations)'를 주장했을 때 제 관심을 끌었습니다. AI를 처리하는 신경망이 특정 조건에서 불안정할 수 있으며, 그 불확실성을 단순히 더 많은 훈련 데이터 추가로 해결할 수 없다고 주장합니다. 연구자들에 따르면 AI 컴퓨팅의 수학을 더 잘 이해하기 위해 더 많은 이론적 작업이 필요합니다. 더 신뢰할 수 있는 결과를 얻으려면 특정 오류 근원을 이해하고 AI 방법을 변경하여 수정해야 합니다.

캘리포니아 대학교 버클리와 텍사스 대학교 오스틴 연구자들은 유망한 의료 영상 연구 결과를 재현하지 못했을 때 문제를 발견했습니다. "수개월 작업 끝에 논문에 사용된 이미지 데이터가 전처리되었다는 것을 깨달았습니다."라고 연구 책임자인 마이클 루스틱(Michael Lustig) UC 버클리 전기공학 및 컴퓨터과학 교수가 말했습니다.

그것이 문제의 원인이었습니다. "연구자들이 더 신중해지고 더 현실적인 결과를 발표할 수 있도록 문제 인식을 높이고 싶었습니다."라고 루스틱은 말했습니다.

그들은 시스템 훈련에 편향된 공공 데이터베이스를 사용하여 부정확성이 발생했음을 발견했습니다. 연구자들은 알고리즘이 잘못된 방법론으로 개발될 때 발생하는 연구 결과를 '암묵적 데이터 범죄(implicit data crimes)'라고 명명했습니다.

SAE 디지털 편집 매니저 빌리 헐리(Billy Hurley)와의 Q&A에서 뮌헨 공과대학(TUM) 에케하르트 슈타인바흐(Eckehard Steinbach) 교수는 AI 모델이 '인식할 수 없거나 아직 발견하지 못한' 잠재적으로 중요한 자동차 상황을 설명했습니다. 예를 들어 반복적 제동 패턴이 따뜻한 날씨에서는 정상 주행일 수 있지만, 도로가 얼어 미끄러우면 임박한 분리(disengagement)를 나타낼 수 있습니다. 그런 패턴은 인식하기 어려울 수 있습니다.

하지만 밝은 면도 있습니다. 슈타인바흐 팀은 자신의 이전 실수로부터 성찰적으로 학습하는 안전 기술을 개발했습니다. "자동차가 훈련되지 않은 상황에 진입하면 문제가 발생할 수 있습니다."라고 슈타인바흐는 말했습니다. "그런 새로운 장면은 인간 개입을 유발하고, 이는 우리 접근법의 훈련 데이터로 사용됩니다. 우리 방법은 그런 새로운 도전 환경을 다음에 마주쳤을 때 감지하는 데 도움을 줄 수 있지만, 완전히 새로운 장면을 처음 마주쳤을 때 감지하고 올바르게 관리하는 것은 여전히 어려운 과제입니다."

이 모든 것에서 얻은 제 교훈은 AI가 의료 진단을 가속화하고 개선할 수 있고, 차량을 도로에서 훨씬 더 안전하게 만들 수 있다는 것입니다. 하지만 방법에 세심한 주의를 기울여야 합니다.

AI 시스템을 설계할 때 고전압 엔지니어처럼 생각하는 것이 필수적입니다: 시스템이 실패할 수 있는 가능한 방법을 미리 생각하고, 그런 일이 발생할 가능성을 최소화하는 목표로 설계하십시오. 그리고 실패가 발생한다면 부상이나 손상 가능성을 줄이는 것을 목표로 하십시오.

동의하시나요? 아래에 질문과 의견을 공유해 주세요.

에드의 블로그 더 읽기: 외부에서 안으로 설계 vs 내부에서 밖으로 설계