ETSI 보고서는 AI 보안 표준화를 위한 기반을 마련했습니다

통신, 방송, 전자 통신 네트워크 및 서비스에 대한 유럽 표준 기구인 ETSI의 새로운 보고서는 인공 지능(AI) 보안 표준을 수립하기 위한 토대를 마련하는 것을 목표로 합니다.

표준을 만들기 위한 첫 번째 단계는 AI 기반 시스템 및 솔루션의 보안 문제를 설명하는 것입니다. 이것이 바로 ETSI SAI ISG(인공지능 보안 산업 사양 그룹)에서 처음으로 발행한 24페이지 분량의 보고서인 ETSI GR SAI 004의 내용입니다. 문제 설명을 정의하고 기계 학습(ML)과 기계 학습 수명 주기의 각 단계에서 기밀성, 무결성 및 가용성과 관련된 문제에 특히 중점을 둡니다. 또한 편견, 윤리 및 설명 능력을 포함하여 AI 시스템의 광범위한 문제 중 일부를 지적합니다. 다양한 공격 벡터와 실제 사용 및 공격 사례에 대해 설명합니다.

AI 보안과 관련된 문제를 식별하기 위한 첫 번째 단계는 AI를 정의하는 것이었습니다. ETSI 그룹의 경우 인공 지능은 명시적 및 암시적 표현을 처리하는 시스템의 능력과 인간이 수행하는 경우 지능적인 것으로 간주되는 작업을 수행하는 절차입니다. 이 정의는 여전히 광범위한 가능성을 나타냅니다. 그러나 기계 학습 및 딥 러닝 기술의 발전과 이러한 기술을 훈련 및 구현하는 데 필요한 데이터 및 처리 능력의 광범위한 가용성에 힘입어 제한된 기술 세트가 이제 실현 가능해지고 있습니다.

지도 학습, 비지도 학습, 반 지도 학습 및 강화 학습을 포함하여 머신 러닝에 대한 다양한 접근 방식이 일반적으로 사용됩니다.

<울>

지도 학습 – 모든 학습 데이터에 레이블이 지정되고 모델이 새로운 입력 세트를 기반으로 출력을 예측하도록 학습될 수 있습니다.

반 지도 학습 – 데이터 세트에 부분적으로 레이블이 지정됩니다. 이 경우 레이블이 지정되지 않은 데이터라도 모델의 품질을 향상시키는 데 사용할 수 있습니다.

비지도 학습 – 데이터 세트에 레이블이 지정되지 않고 모델이 그룹화 및 클러스터링을 포함하여 데이터 구조를 찾습니다.

강화 학습 – 행동 방법을 정의하는 정책이 경험을 통해 에이전트가 학습하여 보상을 극대화하는 경우입니다. 에이전트는 상태 전환을 통해 환경에서 상호 작용하여 경험을 얻습니다.

이러한 패러다임 내에서 다양한 모델 구조가 사용될 수 있으며, 가장 일반적인 접근 방식 중 하나는 심층 신경망을 사용하는 것입니다. 여기서 학습은 인간 두뇌의 동작을 모방하는 일련의 계층적 계층에서 수행됩니다.

다양한 훈련 기술, 즉 적대적 학습도 사용할 수 있습니다. 여기서 훈련 세트에는 원하는 결과를 반영하는 샘플뿐만 아니라 예상되는 행동에 도전하거나 방해하기 위한 적대적 샘플도 포함됩니다.

“AI 윤리에 대한 논의는 많지만 AI 확보에 대한 표준에 대한 논의는 없습니다. 그러나 AI 기반 자동화 네트워크의 보안을 보장하는 데 중요해지고 있습니다. 이 첫 번째 ETSI 보고서는 AI를 확보할 때 직면하는 문제에 대한 포괄적인 정의를 제시하기 위한 것입니다. 이와 동시에 위협 온톨로지, AI 데이터 공급망을 보호하는 방법 및 테스트 방법에 대해 작업하고 있습니다.”라고 ETSI SAI ISG 의장인 Alex Leadbeater가 설명합니다.

일정에 대한 질문에 Leadbeater는embedded.com에 다음과 같이 말했습니다. 앞으로 몇 분기 동안 더 많은 기술 보고서가 제공될 예정입니다(AI 위협 온톨로지, 데이터 공급망 보고서, SAI 완화 전략 보고서). 사실, AI의 보안 테스트에 대한 하나의 사양은 Q2/Q3이 끝나기 전에 나올 것입니다. 다음 단계는 더 자세한 정보 작업 항목으로 확장될 수 있는 문제 설명의 특정 영역을 식별하는 것입니다.”

보고서 개요
AI 및 기계 학습의 정의에 따라 보고서는 데이터 수집, 데이터 큐레이션, 모델 설계 및 소프트웨어 빌드에서 교육, 테스트, 배포 및 추론 및 업그레이드.

AI 시스템에서는 센서(예:CCTV 카메라, 휴대폰, 의료 기기) 및 디지털 자산(예:거래 플랫폼의 데이터, 문서 추출, 로그 파일)을 비롯한 다양한 소스에서 데이터를 얻을 수 있습니다. 데이터는 또한 다양한 형식(텍스트, 이미지, 비디오 및 오디오 포함)일 수 있으며 구조화되거나 구조화되지 않을 수 있습니다. 데이터 자체와 관련된 보안 문제 외에도 전송 및 저장 보안을 고려하는 것이 중요합니다.

데이터 큐레이션의 무결성 문제를 나타내기 위해 데이터 세트를 복구, 확장 또는 변환할 때 프로세스가 데이터의 품질과 무결성에 영향을 미칠 위험이 없는지 확인하는 것이 중요합니다. 지도 머신 러닝 시스템의 경우 데이터 레이블링이 가능한 한 정확하고 완전해야 하며 레이블링이 무결성을 유지하고 예를 들어 중독 공격을 통해 손상되지 않도록 하는 것이 중요합니다. 데이터 세트가 편향되지 않도록 하는 문제를 해결하는 것도 중요합니다. 데이터 증대 기술은 데이터 무결성에 영향을 미칠 수 있습니다.

다루는 또 다른 영역은 편향, 데이터 윤리 및 설명 가능성과 관련된 다른 의도하지 않은 요인에 대한 디자인 문제입니다.

예를 들어, 편향은 설계 및 교육 단계 동안뿐만 아니라 시스템이 배포된 후에도 고려되어야 합니다. 편향이 여전히 도입될 수 있기 때문입니다. 보고서는 2016년 챗봇이 출시되었을 때 "대화적 이해"의 실험을 위한 예를 인용했습니다. 챗봇은 트윗과 다이렉트 메시지를 통해 소셜 네트워크 사용자와 소통합니다. 몇 시간 만에 챗봇은 매우 공격적인 메시지를 트윗하기 시작했습니다. 챗봇이 철회된 후, 챗봇의 계정이 인터넷 트롤에 의해 편향된 행동을 표시하도록 조작된 것이 발견되었습니다. 편향이 반드시 보안 문제를 나타내는 것은 아니지만 단순히 시스템이 기능 요구 사항을 충족하지 못하게 할 수 있습니다.

윤리와 관련하여 보고서는 자율주행차 및 의료를 포함한 여러 사례를 강조합니다. AI로 구동되는 자동차가 보행자를 넘어뜨리고 그에 따른 법적 책임을 조사한 가상 시나리오에 대해 논의한 브라이튼 대학의 논문을 인용합니다. 2018년 3월, 이 시나리오는 애리조나주 템피 시에서 자율주행차가 보행자를 치어 숨지게 하는 사건이 현실이 되었습니다. 이것은 법적 책임뿐만 아니라 의사 결정 과정 자체의 잠재적인 윤리적 문제에 대한 날카로운 초점을 가져왔습니다. 2016년 MIT(Massachusetts Institute of Technology)는 지능 시스템이 윤리적인 결정을 내리도록 허용하는 문제를 탐구하는 Moral Machine이라는 웹 사이트를 시작했습니다. 이 사이트는 윤리적 딜레마에 직면했을 때 인간이 어떻게 행동하는지 탐구하고 기계가 어떻게 행동해야 하는지 더 잘 이해하려고 시도합니다.

보고서는 윤리적 문제가 기밀성, 무결성 및 가용성과 같은 전통적인 보안 특성과 직접적인 관련이 없지만 시스템을 신뢰할 수 있는지 여부에 대한 개인의 인식에 상당한 영향을 미칠 수 있다고 강조합니다. 따라서 AI 시스템 설계자와 구현자는 윤리적 문제를 고려하고 사용자 간에 신뢰를 구축할 수 있는 강력한 윤리적 시스템을 만드는 방법을 찾는 것이 중요합니다.

마지막으로 이 보고서는 중독 및 백도어 공격에서 리버스 엔지니어링에 이르기까지 공격 유형을 살펴보고 실제 사용 사례와 공격이 뒤따릅니다.

중독 공격에서 공격자는 일반적으로 훈련 단계에서 AI 모델을 손상시키려고 시도하여 배포된 모델이 공격자가 원하는 방식으로 동작하도록 합니다. 이는 특정 작업이나 입력에 따라 모델이 실패하거나 모델이 공격자에게 바람직하지만 모델 디자이너가 의도하지 않은 일련의 동작을 학습했기 때문일 수 있습니다. 중독 공격은 일반적으로 세 가지 방식으로 발생할 수 있습니다.

<울>

데이터 중독 – 공격자가 데이터 수집 또는 데이터 큐레이션 단계에서 데이터 세트에 올바르지 않거나 잘못 레이블이 지정된 데이터를 도입하는 경우입니다.

알고리즘 중독 – 공격자가 학습 프로세스에 사용되는 알고리즘을 방해하는 경우. 예를 들어, 연합 학습은 데이터의 하위 집합에 대해 개별 모델을 훈련한 다음 학습된 모델을 결합하여 최종 모델을 형성하는 것을 포함합니다. 이는 개별 데이터 세트가 비공개로 유지되지만 고유한 취약성을 생성함을 의미합니다. 모든 개별 데이터 세트는 공격자가 제어할 수 있으므로 학습 모델의 해당 부분을 직접 조작하고 시스템의 전체 학습에 영향을 미칠 수 있습니다.

모델 중독 – 배포된 전체 모델이 단순히 대체 모델로 대체되는 경우. 이러한 유형의 공격은 모델을 구성하는 전자 파일이 변경되거나 대체될 수 있는 기존 사이버 공격과 유사합니다.

'인공지능'이라는 용어는 1950년대 미국 뉴햄프셔주 하노버의 다트머스 대학에서 열린 회의에서 시작되었지만 ETSI 보고서에 기술된 실제 사용 사례는 그 이후로 얼마나 발전했는지 보여줍니다. 이러한 사례에는 광고 차단기 공격, 악성 코드 난독화, 딥페이크, 필기 복제, 사람의 목소리 및 가짜 대화(이는 이미 챗봇에 대해 많은 언급이 있음)가 포함됩니다.

다음은? 이 ISG의 일환으로 진행 중인 보고서

이 산업 사양 그룹(ISG)은 작업 항목의 일부로 진행 중인 여러 보고서를 검토하고 있습니다.

보안 테스트 :이 작업 항목의 목적은 AI 기반 구성 요소의 보안 테스트에 적합한 목표, 방법 및 기술을 식별하는 것입니다. 전반적인 목표는 기호 및 하위 기호 AI의 다양한 알고리즘을 고려하고 작업 항목 "AI 위협 온톨로지"의 관련 위협을 처리하는 AI 및 AI 기반 구성 요소의 보안 테스트에 대한 지침을 갖는 것입니다. AI의 보안 테스트는 기존 시스템의 보안 테스트와 몇 가지 공통점이 있지만 다음으로 인해 새로운 과제를 제공하고 다른 접근 방식이 필요합니다.

(a) 보안 및 보안 속성을 테스트하는 방법에 강력한 영향을 미치는 기호 및 하위 기호 AI와 기존 시스템 간의 상당한 차이

(b) AI 기반 시스템이 시간이 지남에 따라 진화할 수 있고(자가 학습 시스템) 보안 속성이 저하될 수 있기 때문에 비결정론;

(c) 테스트 오라클 문제, 모든 예상 결과가 선험적으로 알려져 있지 않기 때문에 AI 기반 시스템의 경우 테스트 결과를 할당하는 것이 다르고 더 어렵습니다. (d) 데이터 기반 알고리즘:기존 시스템과 달리 (훈련) 데이터 하위 기호 AI의 동작을 형성합니다.

보안 테스트에 대한 이 작업 항목의 범위는 다음 주제를 다루는 것입니다(그러나 이에 국한되지 않음).

<울>

AI에 대한 보안 테스트 접근 방식

보안 관점에서 AI용 데이터 테스트

AI용 보안 테스트 오라클

AI 보안 테스트를 위한 테스트 적정성 기준 정의

AI의 보안 속성에 대한 테스트 목표

그리고 위에서 언급한 주제를 고려하여 AI의 보안 테스트에 대한 지침을 제공합니다. 이 가이드라인은 "AI Threat Ontology" 작업 항목의 결과를 사용하여 보안 테스트를 통해 AI에 대한 관련 위협을 다루고 AI 기반 시스템을 테스트할 때의 과제와 제한 사항도 해결할 것입니다.

AI 위협 온톨로지 :이 작업 항목의 목적은 AI 위협으로 간주되는 대상과 기존 시스템에 대한 위협과 어떻게 다른지 정의하는 것입니다. 이 작업의 근거를 제공하는 출발점은 현재 AI에 대한 공격을 구성하는 요소와 공격이 생성, 호스팅 및 전파되는 방법에 대한 공통된 이해가 없다는 것입니다. "AI 위협 온톨로지" 작업 항목 인도물은 다양한 이해 관계자와 여러 산업에 걸쳐 용어를 정렬하려고 합니다. 이 문서는 사이버 및 물리적 보안의 맥락에서 이러한 용어가 의미하는 바를 정의하고 여러 산업 전반에 걸쳐 전문가와 정보가 부족한 청중 모두가 쉽게 액세스할 수 있는 설명과 함께 설명합니다. 이 위협 온톨로지는 AI를 시스템, 적대적 공격자, 시스템 방어자로서 다룰 것입니다.

데이터 공급망 보고서 :데이터는 AI 시스템 개발에 있어 중요한 요소입니다. 여기에는 원시 데이터와 루프에 있는 다른 시스템 및 인간의 정보 및 피드백이 포함되며, 이 모두는 AI를 훈련 및 재훈련하여 시스템 기능을 변경하는 데 사용할 수 있습니다. 그러나 적절한 데이터에 대한 액세스가 제한되어 덜 적합한 데이터 소스에 의존해야 하는 경우가 많습니다. 훈련 데이터의 무결성을 손상시키는 것은 AI 시스템에 대한 실행 가능한 공격 벡터인 것으로 입증되었습니다. 이는 데이터의 공급망을 확보하는 것이 AI를 확보하는 중요한 단계라는 것을 의미합니다. 이 보고서는 AI 교육을 위한 데이터를 소싱하는 데 현재 사용되는 방법과 해당 데이터의 처리 및 공유를 제어할 수 있는 규정, 표준 및 프로토콜을 요약합니다. 그런 다음 이 정보에 대한 격차 분석을 제공하여 데이터, 관련 속성, 정보 및 피드백의 추적 가능성 및 무결성을 보장하는 표준에 대한 가능한 요구 사항의 범위와 이러한 정보의 기밀성을 제공합니다.

SAI 완화 전략 보고서:이 작업 항목은 AI 기반 시스템에 대한 위협에 대한 기존 및 잠재적 완화를 요약하고 분석하는 것을 목표로 합니다. 목표는 AI를 시스템에 도입함으로써 도입되는 위협을 완화하기 위한 지침을 마련하는 것입니다. 이 지침은 알려졌거나 잠재적인 보안 위협을 완화하여 AI 기반 시스템을 보호하는 데 대한 가벼운 기준을 제시합니다. 또한 특정 잠재적 사용 사례에서 AI 기반 시스템에 대한 완화를 채택할 때 보안 기능, 과제 및 제한 사항을 해결합니다.

?AI 보안에서 하드웨어의 역할: AI 보안에서 특수 및 범용 하드웨어의 역할을 식별하는 보고서를 준비합니다. 이것은 공격을 방지하기 위해 하드웨어에서 사용 가능한 완화를 해결하고 SAI를 지원하기 위한 하드웨어에 대한 일반 요구 사항도 해결합니다. 또한 이 보고서는 하드웨어 보호를 위해 AI를 사용하는 가능한 전략을 다룹니다. 이 보고서는 또한 AI를 위한 하드웨어 보안에 대한 학문적 및 산업적 경험에 대한 요약도 제공합니다. 또한, 보고서는 AI에 대한 공격 벡터를 증폭시킬 수 있는 하드웨어에 의해 도입된 취약성 또는 약점을 다룰 것입니다.

AI 보안을 위한 문제 설명을 정의하는 전체 ETSI 보고서는 여기에서 볼 수 있습니다.