Agentic AI를 안전하게 배포하기 위한 CISO 플레이북

지난 1년 동안 동료 CISO(최고 정보 보안 책임자)와 나눈 거의 모든 대화는 다음과 같은 긴장감을 중심으로 이루어졌습니다. 위험을 증가시키지 않고 Agentic AI를 기업에 도입하려면 어떻게 해야 할까요?

최근 UiPath 공동 창립자이자 CEO인 Daniel Dines는 "기업은 AI 에이전트와 자동화의 속도와 지능을 원하지만 결코 보안이나 제어를 희생하지 않는다"고 썼습니다. 이러한 관찰은 업계 전반의 보안 리더로부터 제가 들은 내용을 반영합니다.

문제는 더 이상 에이전트가 우리 기업 내에서 활동할 것인지 여부가 아닙니다. 2025가 그렇게 대답했습니다. 진짜 질문은 중요한 워크로드를 클라우드로 이전할 때 적용했던 것과 동일한 엄격함으로 이를 관리하고 있는지 여부입니다.

자율 변곡점

얼마 전까지만 해도 우리의 보안 모델은 소프트웨어가 지침을 따른다고 가정했습니다. 이제 결정을 내립니다.

2025년에는 에이전트 AI가 실험에서 운영 배포로 전환되었습니다. 자율 시스템은 위임된 권한을 통해 엔터프라이즈 환경 전반에 걸쳐 작업을 계획하고 실행합니다.

CISO에게 이는 또 다른 툴링 주기가 아닙니다. 이는 디지털 작업이 시작되고 승인되고 관리되는 방식의 구조적 변화입니다.

우리는 더 이상 정적 애플리케이션을 보호하지 않습니다. 디지털 액터를 확보하고 있습니다.

거버넌스 모델은 진화하고 있지만 배포 속도는 이를 앞지르고 있습니다. 이로 인해 자율성과 감독 사이에 신뢰 격차가 발생합니다.

이러한 격차를 해소하려면 정책, 주기적인 검토, 정적 제어 이상의 것이 필요합니다. 이를 위해서는 동일한 속도로 작동하고 이전의 모든 주요 기술 변화에 적용했던 것과 동일한 엄격함과 정확성을 적용하는 거버넌스가 필요합니다.

위협 모델이 바뀌었습니다

전통적인 사이버 보안은 다음 네 가지 기본 가정에 기반을 두고 있습니다.

• 결정적 행동

• 고정된 역할 및 권한

• 예측 가능한 실행 경로

• 각 결정 단계에서의 인간적 책임

에이전트 시스템은 이러한 각 가정에 도전합니다. 그 사람들:

• 런타임에 적응

• 도구를 동적으로 선택

• 상호 작용 전반에 걸쳐 기억 유지

• 독립적으로 중간 결정을 내립니다.

이러한 기능은 워크플로 압축, 시스템 간 조정 및 운영 가속화를 통해 가치를 창출합니다.

그들은 또한 노출을 재정의합니다.

보안 팀은 이제 시스템이 액세스할 수 있는 대상뿐만 아니라 작업 순서, 의도 형성 방식, 시간이 지남에 따라 해당 의도가 어떻게 영향을 받을 수 있는지 평가해야 합니다.

프롬프트 주입이 실행 조작이 됩니다. 기억 지속성은 종단적 위험을 초래합니다. 위임된 권한은 영향력을 집중시킵니다.

이는 잘못된 구성으로 인한 극단적인 경우는 아닙니다. 그것은 자율성 그 자체에 내재되어 있습니다. 제어 질문은 "액세스가 적절했습니까?"에서 전환됩니다. "의사결정 경로가 통제되었나요?".

신원이 집행 계층이 됩니다

자율 시스템이 고객 관계 관리(CRM) 또는 기타 SaaS 플랫폼에 액세스하거나, 인프라를 수정하거나, 결제를 시작할 수 있는 경우 권한을 가진 인간 운영자와 동일한 엄격하게 관리되어야 합니다.

모든 AI 에이전트는 다음을 수행해야 합니다.

• 고유한 관리 정체성을 보유합니다

• 강제된 최소 권한 하에서 작동

• 자격 증명 수명주기 제어를 받아야 합니다

• 변경할 수 없는 감사 추적 생성

• 지속적인 행동 모니터링을 받으십시오

많은 조직에서는 상담원을 인간이 아닌 신원으로 분류합니다. 그 프레이밍은 유용하지만 불완전합니다.

기존 서비스 계정과 달리 에이전트는 자신의 권한을 사용하는 방법을 추론합니다.

에이전트 시대에 ID는 더 이상 단순한 액세스 계층이 아닙니다. 자율성을 집행하는 계층입니다.

제로 트러스트 원칙은 더 넓은 기업 제어 환경에 걸쳐 동일한 엄격함이 적용되어 디지털 행위자까지 완전히 확장되어야 합니다. 인간 온보딩을 위해 설계된 수동 프로비저닝 모델은 자율 규모에서는 실패합니다. ID 거버넌스는 역동적이고 정책 중심적이며 지속적으로 검증되어야 합니다.

자율성이 확장되면 ID가 인프라가 됩니다. 디지털 행위자는 고립되어 활동하지 않습니다. 이들은 통합된 방식으로 관리되어야 하는 상호 연결된 기업 워크플로우 내에서 작동합니다.

로그에서 인지 원격 측정으로

전통적인 관찰 가능성은 회고적인 질문에 답합니다:무슨 일이 일어났는가?

에이전트 시스템은 우리에게 다른 질문, 즉 왜 그런 일이 일어났는가에 대한 답을 요구합니다.

이제 거버넌스는 다음에 대한 가시성에 달려 있습니다.

• 의사결정 출처 신호(입력, 제약 및 결과)

• 도구 호출 순서

• 정책 평가

• 기억의 상호작용

• 결정이 무시됩니다

관찰 가능한 실행 및 정책 아티팩트를 사용하여 의도가 어떻게 형성되고 조치가 선택되었는지 재구성할 수 없다면 거버넌스는 이론적인 것이 됩니다.

설명 가능성과 감사 가능성이 없는 AI 거버넌스 및 보안은 취약합니다. CISO는 실패 후 포렌식 증거가 아니라 실행과 함께 작동하고 보안 정보 및 이벤트 관리(SIEM) 도구에서 볼 수 있는 지속적인 보증 계층으로서 인지 원격 측정을 요구해야 합니다.

기계 속도로 자율적으로 작동하려면 기계 속도로 작동하는 감독이 필요합니다.

사람의 검토만으로는 해당 요구 사항을 충족할 수 없습니다. 자율 시스템은 점점 더 다른 자율 시스템을 감독하고, 정책을 시행하고, 행동을 검증하고, 사전 정의된 위험 임계값을 초과하는 경우에만 에스컬레이션하는 데 참여하게 될 것입니다. 거버넌스는 수동 체크포인트가 아닌 분산 기능이 됩니다.

거버넌스는 런타임에 실행되어야 합니다

문서에 작성된 정책은 자율 시스템을 제한하지 않습니다. 우리는 거버넌스가 런타임에 작동하도록 보장해야 합니다.

이를 위해서는 다음이 필요합니다:

• 실행 전 정책 시행

• 지속적인 적합성 모니터링(승인된 정책 대비)

• 버전 및 모델 추적성

• 영향력이 큰 작업에 대한 명시적인 HITL(Human-In-The-Loop) 승인 임계값

• 사람이 무시하는 경로 지우기

이는 정적 규정 준수에서 동적 감독으로의 전환을 나타냅니다.

이에 따라 이사회와 규제 기관도 발전하고 있습니다. 책임 있는 AI 선언문의 시대가 다가오고 있습니다. 경영진의 리더십에는 증거로 뒷받침되는 입증 가능한 통제 환경이 점점 더 필요해지고 있습니다.

여러 모델, 외부 AI 서비스, 엔터프라이즈 자동화에서 일반적으로 발견되는 다양한 BYOD(Bring Your Own) 구성 요소를 포괄하는 모니터링 파이프라인, ID 시스템, 오케스트레이션 레이어에 거버넌스가 내장되어야 합니다.

거버넌스는 단일 모델 경계를 가정할 수 없습니다. 기존 보안 및 거버넌스 프레임워크를 대체하는 것이 아니라 통합하여 이기종 모델 환경 전반에서 지속적이고 일관되게 작동해야 합니다.

보증은 협상 불가능해졌습니다

기업 고객은 더 이상 AI가 안전한지 묻지 않습니다. 그들은 그것을 어떻게 증명하는지 묻고 있습니다.

독립적인 검증, 구조화된 AI 관리 시스템, 공식화된 위험 프레임워크가 빠르게 성숙되고 있습니다. 조달 기대치는 기능 속도에서 검증 가능한 거버넌스로 전환되고 있습니다.

입증 가능한 확신이 없는 자율성은 이사회 수준에서 정체될 것입니다. 업계 전반에 걸쳐 구조화된 성숙도 모델과 공식 인증 경로가 등장하기 시작하여 거버넌스 원칙을 측정 가능한 책임으로 전환하고 있습니다.

혁신은 신뢰를 의미하지 않습니다. 증거를 통해 얻을 수 있습니다.

안전한 자율성을 위한 청사진

2026년에 주도할 조직은 AI 에이전트를 가장 많이 배치하는 조직이 아닙니다. 그들은 의도적으로 그들을 통치하는 사람들입니다. 보안 에이전트 배포를 정의하는 5가지 원칙:

1. 신원 우선

모든 AI 에이전트는 최소 권한이 적용되고 지속적인 검증을 통해 관리되는 ID입니다.

2. 도구 세분화

영향력이 큰 시스템은 명시적인 승인 임계값이 있는 상황별 승인 게이트웨이 뒤에 있습니다.

3. 메모리 보호

지속 상태는 암호화되고, 무결성이 검증되고, 액세스가 제어되고, 감사 가능합니다.

4. 런타임 가드레일

실행 전 제약사항과 런타임 이상 모니터링이 지속적으로 작동됩니다. 성숙한 환경에서는 감독 에이전트가 이러한 가드레일을 시행하는 데 도움을 주어 대규모로 지속적인 검증을 수행할 수 있습니다.

5. 감사 가능성, 관찰 가능성 및 결정 출처

자율 시스템은 작업 완료 로그뿐만 아니라 입력, 정책 평가 및 결과 조치에 대한 추적 가능한 기록을 제공해야 합니다.

6. 인적 에스컬레이션 경로

명확한 거버넌스 기준은 자율성이 경영진의 책임으로 이어지는 시기를 정의합니다.

거버넌스는 혁신을 늦추지 않습니다. 이는 경영진의 신뢰를 열어줍니다. 신뢰는 채택을 가속화합니다.

2026년 CISO 임무

궤도는 분명하다.

• 2024년에는 대부분의 조직에서 실험을 진행했습니다.

• 2025년에는 자율성이 생산으로 옮겨졌습니다

• 2026년은 거버넌스가 이러한 속도를 유지하는지 테스트할 것입니다

적들은 자율성을 활용하여 정찰과 착취를 확대하고 있습니다. 이사회는 입증 가능한 감독을 요구하고 있습니다. 규제 기관은 AI 위험 관리 및 운영 제어에 대한 기대치를 공식화하고 있습니다.

리더십 격차는 기술적 문제가 아닙니다. 그것은 거버넌스 성숙도에 대한 신뢰가 부족하기 때문입니다.

CISO로서 우리의 임무는 변화에 저항하거나 속도를 늦추는 것이 아닙니다. 이는 이를 우리 기업의 신뢰할 수 있는 구성 요소로 만드는 것입니다.

우리는 디지털 행위자가 기계 속도로 안전하게 작동할 수 있도록 하는 통합 제어 평면을 엔지니어링하고 이들의 자율성이 의도적으로 배포되고 투명하게 관리되며 지속적으로 모니터링되고 독립적으로 검증되도록 보장하는 일을 담당하고 있습니다.

자율성은 책임을 제거하는 것이 아니라 증폭시킵니다. 기업 보안의 다음 시대는 방화벽이나 모델로 정의되지 않습니다. 그것은 우리가 자율적 행동을 얼마나 잘 통제하느냐에 따라 정의될 것입니다.

주도하는 조직은 에이전트 AI를 먼저 채택한 조직이 아닐 것입니다. 그들은 그것을 확보하고, 통치하고, 증명한 사람들이 될 것입니다.

그리고 그 책임은 우리에게 있습니다.