ETSI, 첫 AI 보안 표준 청사진 공개

통신, 방송, 전자 통신 표준을 정하는 유럽 기구 ETSI가 통합 AI 보안 표준의 기초를 다지는 24페이지 보고서를 발표했습니다.

ETSI GR SAI 004라는 제목의 이 보고서는 Securing Artificial Intelligence Industry Specification Group(SAI ISG)에서 작성했으며, 핵심 문제인 'AI 기반 시스템을 어떻게 보호할 것인가'를 명확히 하는 것으로 시작합니다. 머신러닝에 초점을 맞추고 ML 라이프사이클 전반에 걸쳐 기밀성, 무결성, 가용성을 검토합니다. 또한 편향, 윤리, 설명 가능성 같은 광범위한 이슈를 다루고, 실제 사례와 함께 일반적인 공격 벡터를 분류합니다.

논의를 구성하기 위해 SAI ISG는 인공지능을 시스템이 명시적 또는 암시적 표현을 처리하고 인간이 수행했을 때 지능적이라고 간주될 작업을 수행하는 능력으로 정의합니다. 이 정의는 광범위한 스펙트럼을 다루지만, 보고서는 딥러닝의 발전, 풍부한 데이터, 증가하는 컴퓨팅 파워에 의해 주도되는 가장 실용적인 하위 집합인 머신러닝에 집중합니다.

다루는 일반적인 ML 패러다임은 다음과 같습니다:

• 지도 학습(Supervised learning) – 모든 훈련 데이터에 레이블이 있어 모델이 입력에서 출력으로의 매핑을 학습
• 반지도 학습(Semi-supervised learning) – 데이터의 일부만 레이블이 있어, 모델이 레이블된 샘플과 레이블 없는 샘플을 모두 활용해 성능 개선
• 비지도 학습(Unsupervised learning) – 모델이 레이블 없는 데이터에서 군집이나 그룹핑 같은 구조를 발견
• 강화 학습(Reinforcement learning) – 에이전트가 환경과의 상호작용을 통해 정책을 학습하며 보상 신호 최적화

딥 뉴럴 네트워크가 환경을 지배하며, 인간의 뇌 회로를 모방하는 레이어들을 가집니다. 적대적 학습(데이터셋에 진짜 샘플과 의도적으로 조작된 적대적 샘플이 모두 포함) 같은 훈련 기법도 탐구됩니다.

"AI 윤리에 대한 논의는 많지만 AI 보안에 대한 표준은 없습니다. 그런데 AI 기반 자동화 네트워크의 보안을 보장하는 데 이는 점점 중요해지고 있습니다."라고 ETSI SAI ISG 의장 알렉스 리드비터(Alex Leadbeater)는 말합니다. "이 첫 보고서는 AI 보안 시 직면하는 과제들에 대한 포괄적인 정의를 제공하기 위한 것입니다."

리드비터는 embedded.com에 "기술 사양이 나오려면 약 12개월 더 걸릴 것으로 추정합니다. 향후 분기들에 추가 보고서들을 발간할 예정입니다—AI 위협 온톨로지, 데이터 공급망 보고서, SAI 완화 전략 보고서. 첫 보안 테스트 사양은 Q2/Q3 말까지 등장해야 합니다."라고 덧붙였습니다.

보고서 개요

AI와 ML을 정의한 후, 보고서는 데이터 처리 체인을 깊이 파고들며 데이터 수집, 큐레이션, 모델 설계, 소프트웨어 빌드, 훈련, 테스트, 배포, 추론, 업그레이드까지 모든 단계에서 기밀성, 무결성, 가용성을 다룹니다.

데이터는 센서(CCTV, 휴대폰, 의료 기기)나 디지털 자산(거래 플랫폼, 문서, 로그 파일)에서 올 수 있습니다. 텍스트, 이미지, 비디오, 오디오일 수 있으며 구조화되거나 비구조화될 수 있습니다. 보안은 데이터 자체뿐만 아니라 전송과 저장도 커버해야 합니다.

예를 들어 데이터 큐레이션 단계에서, 데이터를 복구, 증강, 변환할 때 데이터셋의 무결성을 보존해야 합니다. 지도 ML에서 정확하고 완전한 레이블링은 필수적이며, 레이블을 손상시키는 포이즈닝 공격은 모델 성능을 심각하게 저하시킬 수 있습니다. 편향은 여전히 핵심 우려사항이며, 데이터 증강 같은 기법들이 잠재적 무결성 영향을 위해 검토되어야 합니다.

편향, 데이터 윤리, 설명 가능성 주변의 설계 과제들도 검토됩니다. 편향은 훈련 중뿐만 아니라 배포 후에도 나타날 수 있으며, 2016년 악의적 계정 조작으로 인해 공격적 콘텐츠를 트윗하기 시작한 챗봇 사례가 이를 보여줍니다. 편향 자체가 보안 결함은 아닐 수 있지만, 사용자 신뢰를 훼손하고 기능적 실패로 이어질 수 있습니다.

자율주행차와 의료 같은 사례를 통해 윤리적 고려사항이 강조됩니다. 2018년 애리조나주 템페에서 자율주행차가 보행자를 치어 사망케 한 사건은 법적·윤리적 딜레마를 부각시켰습니다. 2016년 시작된 MIT의 Moral Machine 프로젝트는 인간이 알고리즘적 도덕적 선택에 어떻게 반응하는지 탐구하며, 기계가 어떻게 행동해야 하는지 알려줍니다.

보고서는 윤리적 우려가 전통적인 보안 속성(기밀성, 무결성, 가용성)과는 구별되지만, 신뢰성에 대한 사용자 인식을 형성하며 AI 설계에 내재화되어야 한다고 강조합니다.

마지막으로 보고서는 포이즈닝, 백도어, 리버스 엔지니어링 공격을 포함한 공격 유형들을 분류하고 실제 사용 사례와 인시던트들을 제시합니다.

포이즈닝 공격은 훈련 중 모델을 조작하여 공격자가 원하는 방식으로 행동하게 만듭니다. 일반적인 벡터는 다음과 같습니다:

• 데이터 포이즈닝 – 수집 또는 큐레이션 중 잘못되거나 잘못 레이블된 데이터 주입
• 알고리즘 포이즈닝 – 학습 알고리즘 자체 변조, 예: 연합 학습 기여 조작
• 모델 포이즈닝 – 배포된 모델을 악의적 변종으로 교체

AI의 진화(1950년대 다트머스 기원에서 현대 애플리케이션까지)는 광고 차단기 공격, 악성코드 난독화, 딥페이크, 챗봇 사칭 같은 위협들을 낳았습니다.

다음 단계는? 이 ISG의 지속적인 보고서들

향후 작업 항목들은 몇 가지 중요한 영역을 더 깊이 조사할 것입니다:

보안 테스트

이 항목은 AI 구성 요소 테스트를 위한 목적, 방법, 기법을 정의하는 것을 목표로 합니다. 가이드라인은 기호적 vs 서브기호적 AI, 비결정론, 테스트 오라클 문제, 데이터 주도 행동을 고려합니다. 주제는:

• AI를 위한 보안 테스트 접근법
• AI를 위한 보안 중심 테스트 데이터
• AI 출력에 맞춘 테스트 오라클
• AI 보안 테스트를 위한 적절성 기준
• AI를 위한 보안 속성 테스트 목표

결과는 향후 나올 AI 위협 온톨로지를 기반으로 관련 위협들을 다룰 것입니다.

AI 위협 온톨로지

이 산출물은 AI 특유의 위협들에 대한 공유 분류법을 생성하여 기존 시스템 위협들과 구별합니다. 공격자, 방어자, AI 시스템 전반에 걸쳐 용어를 정렬하며 이해관계자와 산업 전반을 아우릅니다.

데이터 공급망 보고서

훈련 데이터가 AI의 생명줄이므로, 그 공급망 보안은 최우선입니다. 이 보고서는 현재 데이터 소싱 관행, 규제 프레임워크, 표준, 프로토콜을 조사하고 갭 분석을 수행하여 훈련 데이터의 추적성, 무결성, 기밀성에 대한 요구사항을 제안합니다.

SAI 완화 전략

기존 및 잠재적 완화책을 요약하여, 이 보고서는 식별된 위협들에 대한 AI 시스템 방어 가이드라인을 제공하며, 특정 사용 사례에 대한 보안 역량, 과제, 한계를 개괄합니다.

AI 보안에서 하드웨어의 역할

전용 및 범용 하드웨어 모두 AI 보호에 중추적 역할을 합니다. 이 보고서는 하드웨어 완화책, 안전한 AI를 위한 요구사항, 하드웨어 방어를 위한 AI 활용 기회를 목록화하며, AI 공격을 증폭시킬 수 있는 하드웨어 취약점도 지적합니다.

AI 보안을 위한 문제 정의를 다루는 전체 ETSI 보고서는 여기에서 확인할 수 있습니다.