AI의 고유한 한계는 '사전' 안전 사고방식을 요구합니다

전 고출력 전자 엔지니어로서 초기 프로토타입 CAT 스캔 시스템에서 입자 가속기에 이르기까지 다양한 응용 분야를 위한 고전압 전원 공급 장치를 설계하고 테스트했습니다. 나는 시뮬레이터에서 민감한 항공기 전자 장치에 대한 레이더의 영향을 테스트하기 위해 극단에서 그래놀라를 처리하는 것에 이르기까지 모든 것에 대해 고출력 마이크로웨이브 시스템으로 동일한 작업을 수행했습니다. 30년 이상 동안 저는 수십 킬로볼트의 DC 전압과 수십 킬로와트의 마이크로파 전력을 처리했습니다.

에드의 블로그

수십 년 동안 EE로 일한 후 SAE Media Group의 Ed Brown은 두 번째 경력인 Tech Editor에 뛰어들었습니다.

“저는 엔지니어링 시절을 돌이켜보고 편집자로서 모든 최신 및 가장 위대한 것을 보면서 제 엔지니어링 경험에 비추어 볼 때 지금 일어나고 있는 일에 대해 많은 생각을 하고 있다는 것을 깨달았습니다. 그리고 그 중 일부를 지금 공유하고 싶습니다. .” .

모든 것이 안전 마진을 최대한 활용하고 안전 장치를 목표로 설계해야 했습니다. 이는 시스템이 고장날 수 있는 가능한 방법을 미리 생각하고 고장으로 인해 부상이나 손상이 발생할 가능성을 최소화하도록 설계해야 함을 의미했습니다. 예를 들어, 센서가 부하 전류의 급격한 증가를 알리는 신호를 보내는 경우 마이크로초 내에 출력을 안전하게 단락시키는 전자 "지렛대"를 사용했습니다. 그러나 그것은 정전이 발생하면 작동하지 않는 능동 시스템이었습니다. 그래서 우리는 안전 장치로 전자석으로 고정된 백업 기계식 지렛대를 사용했습니다. 입력 라인 전원에 장애가 발생하면 금속 막대가 출력을 가로질러 떨어집니다. 이것은 전원이 없어도 커패시터 뱅크에 위험한 양의 에너지가 저장될 수 있기 때문에 중요했습니다. 안전하다고 생각했던 전원 공급 장치에서 충격을 받았을 때 무서울 정도로 스스로 발견한 것이었습니다.

그런 마음가짐으로 인공지능(AI)을 생각합니다. AI가 인간의 지능을 대체하고 우리 모두를 로봇으로 만들 것이라고 걱정하지 않습니다. 하지만 특히 최소한 두 가지 영역, 즉 첨단 운전자 지원 시스템(ADAS)의 안전 애플리케이션과 자율 차량 및 질병 진단 분야에서 너무 많이 의존하는 것이 걱정됩니다.

그래서 AI 의 "내재적 한계"에 대해 읽었을 때 관심을 받았습니다. . 케임브리지 대학과 오슬로 대학의 연구원들은 AI를 처리하는 신경망이 특정 조건에서 불안정할 수 있으며 단순히 더 많은 훈련 데이터를 추가한다고 해서 불확실성을 해결할 수 없다고 주장합니다. 연구원들에 따르면 AI 컴퓨팅의 수학을 더 잘 이해하려면 더 많은 이론적 작업이 필요합니다. 보다 신뢰할 수 있는 결과를 얻으려면 특정 오류 원인을 이해하고 AI 방식을 변경하여 수정해야 합니다.

University of California, Berkeley 및 University of Texas at Austin 연구원들이 문제를 발견했습니다. 의료 영상 연구의 유망한 결과를 복제하지 못했을 때. UC 버클리의 전기 공학 및 컴퓨터 과학 교수인 연구 수석 연구원인 Michael Lustig는 "몇 달 간의 작업 후에 우리는 논문에 사용된 이미지 데이터가 사전 처리되었음을 깨달았습니다."라고 말했습니다.

그것이 문제의 근원이었습니다. Lustig는 "연구자들이 더 주의하고 더 현실적인 결과를 발표할 수 있도록 문제에 대한 인식을 높이고 싶었습니다."라고 말했습니다.

그들은 시스템 교육을 위해 편향된 공개 데이터베이스를 사용하여 부정확성이 발생했음을 발견했습니다. 연구자들은 잘못된 방법론을 사용하여 알고리즘을 개발할 때 발생하는 연구 결과를 설명하기 위해 "암시적 데이터 범죄"라는 용어를 만들었습니다.

뮌헨 공과 대학(TUM)의 Eckehard Steinbach 교수는 SAE 디지털 편집 관리자인 Billy Hurley와의 Q&A에서 AI 모델이 "인식할 수 없거나 아직 발견하지 못한" 잠재적으로 중요한 자동차 상황에 대해 설명했습니다. 예를 들어, 반복되는 제동 패턴은 더운 날씨에 정기적으로 운전할 수 있지만 도로가 얼어붙고 미끄러운 경우 임박한 이탈을 나타낼 수 있습니다. 이러한 패턴은 알아보기 어려울 수 있습니다.

그러나 긍정적인 면에서 Steinbach의 팀은 이전 실수로부터 내성적으로 학습하는 안전 기술을 개발했습니다. "차가 훈련되지 않은 상황에 들어가면 문제가 발생할 수 있습니다."라고 Steinbach는 말했습니다. "이러한 참신한 장면은 사람의 개입을 일으키므로 해당 장면이 우리의 접근 방식을 위한 훈련 데이터로 사용됩니다. 그런 다음 우리의 방법은 다음에 마주쳤을 때 그러한 새롭고 도전적인 환경을 감지하는 데 도움이 될 수 있으며 완전히 새로운 장면을 감지하고 올바르게 관리합니다. 처음 접하는 것은 여전히 ​​어려운 작업입니다.”

이 모든 것에서 내가 얻은 교훈은 AI가 의학적 진단을 가속화하고 개선할 수 있다는 것입니다. 또한 도로에서 차량을 훨씬 더 안전하게 만드는 데 도움이 될 수 있습니다. 하지만 방법에 주의를 기울여야 합니다.

AI 시스템을 설계할 때는 고전압 엔지니어처럼 생각하는 것이 중요합니다. 시스템이 고장날 수 있는 가능성을 미리 생각하고 그런 일이 발생할 가능성을 최소화하는 것을 목표로 설계합니다. 그리고 장애가 발생하면 부상이나 손상 가능성을 줄이는 것을 목표로 하십시오.

동의하십니까? 아래에서 질문과 의견을 공유하세요.

Ed의 블로그에서 자세히 읽기:외부에서 내부 설계 vs 내부 외부 설계