기술 화요일:엔터프라이즈 AI 배포를 위한 AgentOps 마스터하기

AI 에이전트는 데모에서 실제 데이터, 실제 시스템 및 실제 비즈니스 결과를 다루는 프로덕션 워크로드로 이동하고 있습니다. G2의 2025년 AI Agents Insights 보고서에 따르면 기업의 57%가 이미 AI 에이전트를 프로덕션 환경에서 실행하고 있으며 이는 이것이 더 이상 실험적이지 않다는 분명한 신호입니다. 그러나 프로덕션 배포에는 도구 액세스 제어, 감사 가능성, 드리프트 감지, 폭주 비용 방지 등 새로운 종류의 운영 부담이 따릅니다.

이러한 변화는 IT 및 기술 리더에게 새로운 운영 원칙을 요구합니다.

Agent Operation의 약자인 AgentOps는 프로덕션에서 AI 에이전트의 전체 수명주기를 관리하기 위한 새로운 관행 세트입니다. 안정성, 거버넌스, 투명성, 보안 및 비용 제어에 중점을 두고 DevOps 및 MLOps의 원칙을 에이전트 시스템으로 확장합니다.

기존 소프트웨어 작업과 달리 AgentOps는 비결정적 동작, 자율적 도구 사용 및 상황에 따른 추론과 싸워야 합니다. 이는 기존 모니터링으로는 해결할 수 없는 문제이며 새로운 연구에서 입증되었습니다. 왕 외. (2025)는 대규모 언어 모델(LLM) 기반 에이전트 시스템에 맞게 특별히 조정된 4단계 운영 프레임워크(모니터링, 이상 탐지, 근본 원인 분석 및 해결)를 제안하는 설문 조사 "A Survey on AgentOps"에서 이를 공식화했습니다.

이 게시물에서는 엔터프라이즈 AgentOps에 대한 실용적인 모범 사례를 간략하게 설명합니다. 목표와 가드레일, 도구 및 데이터 연결, 장기 실행 프로세스를 위한 조정, 수명 주기 거버넌스, 인간 참여형 패턴, 평가 및 운영 원격 측정을 통한 지속적인 최적화를 다룹니다. 나중에 이러한 사례를 UiPath Platform™이 프로덕션에서 에이전트 오케스트레이션을 지원하는 방법에 매핑합니다.

재사용할 수 있는 AgentOps 체크리스트

에이전트를 프로덕션에 투입하기 전에 팀은 다음 질문에 명확하게 답할 수 있어야 합니다.

• 각 에이전트의 책임이 무엇인지, 누가 소유하고 있는지 알고 있나요?

• 에이전트가 사용할 수 있는 도구와 입력을 제어할 수 있나요?

• 어떤 도구를 호출하고 어떤 데이터를 사용했는지 등 에이전트가 특정 실행에서 수행한 작업을 설명할 수 있나요?

• 출시 전에 결과뿐만 아니라 도구 선택 및 실행 경로까지 에이전트 동작을 검증할 수 있습니까?

• 시간이 지남에 따라 일관된 평가 기준을 사용하여 드리프트와 회귀를 감지할 수 있습니까?

• 모델 호출, 재시도, 컨텍스트 크기 및 오케스트레이션 기간과 같은 비용 요인을 제한하고 예측할 수 있습니까?

• 버전 제어, 환경 승격 및 롤백을 통해 변경 사항을 안전하게 롤아웃할 수 있습니까?

• 영향력이 큰 작업 및 예외에 대한 명확한 인간 참여형 모델이 있습니까?

프롬프트에서 운영 에이전트까지:목표, 가드레일, 신뢰

프로덕션 에이전트에는 정의된 목적, 제약 조건 및 책임이 필요합니다. 책임을 져야 할 결과, 준수해야 하는 정책, 필요한 증거 또는 정당화, 언제 사람에게 맡겨야 하는지에 대해 명확해야 합니다.

첫 번째 모범 사례는 배포 전에 각 상담원의 목표, 경계, 에스컬레이션 규칙을 정의하는 것입니다.

조직은 상담원의 행동이 보안 및 규정 준수 요구 사항에 맞게 유지되도록 여러 계층의 거버넌스를 적용해야 합니다. 최소한 거버넌스는 누가 AI 에이전트를 구축하고 게시할 수 있는지, 어떤 모델을 사용할 수 있는지, 런타임 시 어떤 데이터와 도구에 접근할 수 있는지, 사람의 감독 없이 어떤 작업이 허용되는지를 포괄해야 합니다.

AI 에이전트는 호출할 수 있는 도구, 허용되는 입력, 허용되는 부작용, 도구 호출을 차단하거나 인간에게 라우팅해야 하는 시기를 정의하는 도구 가드레일로 제한되어야 합니다.

로우 코드 및 코딩된 개발 경험을 통해 팀은 구조화되고 신뢰할 수 있으며 투명한 방식으로 에이전트 규칙서(행동, 도구 액세스 및 런타임 제약 조건)를 정의할 수 있어야 합니다. 내장된 채점, 평가 및 모니터링은 일관된 에이전트 성능을 유지하고 드리프트 및 회귀를 방지하는 데 도움이 됩니다.

마찬가지로 팀에는 에이전트가 실제 시스템에 연결되기 전에 에이전트의 작동 방식을 테스트할 수 있는 안전한 방법이 필요합니다. 시뮬레이션을 통해 프로덕션 전에 새로운 런타임 시나리오를 검증하고 생성할 수 있으면 통합 취약성을 조기에 파악하고 런타임 예상치 못한 일을 줄이며 실제 엔터프라이즈 애플리케이션에 연결될 때 에이전트가 안정적으로 작동할 것이라는 확신을 갖게 됩니다. 사용자는 에이전트가 직면할 수 있는 입력 시나리오를 생성할 수 있어야 하며, 적절한 경우 디버그 및 평가에서 모의 ​​도구 호출이 엔드 투 엔드로 실행될 수 있어야 합니다. 이를 통해 에이전트가 올바른 도구를 선택하고, 유효한 입력을 전달하고, 도구 오류를 적절하게 처리하고, 라이브 시스템이나 데이터에 위험을 주지 않고 예상되는 결과를 생성하는지 여부를 더 쉽게 확인할 수 있습니다.

AI 에이전트를 기업 도구 및 데이터에 연결

비즈니스 가치를 창출하려면 AI 에이전트가 CRM(고객 관계 관리), ERP(전사적 자원 관리), 티켓팅, 지식 저장소, 내부 API(클린 API가 부족한 시스템 포함)와 같은 엔터프라이즈 애플리케이션에 연결해야 합니다.

AgentOps의 핵심 모범 사례는 도구 액세스를 제어하는 것입니다. 도구는 명시적이고 관리되며 감사 가능해야 합니다. 실제로 이는 에이전트가 통제되지 않은 방식으로 임의의 작업을 실행해서는 안 된다는 것을 의미합니다. 정의된 입력 및 출력, 검증, 로깅 및 오류 처리 기능을 갖춘 승인된 인터페이스를 통해 작동해야 합니다.

모든 도구 호출은 운영자가 무슨 일이 왜 일어났는지 이해할 수 있도록 관찰 및 감사가 가능해야 합니다.

게시 도구 및 컨텍스트에 대한 표준화된 접근 방식은 팀이 이를 안전하게 확장하는 데 도움이 될 수 있습니다. 예를 들어 MCP(Model Context Protocol) 서버는 인증, 권한 부여 및 정책 제어를 시행하는 동시에 엔터프라이즈 리소스를 일관되고 검색 가능한 형식으로 에이전트에 노출하는 구조화된 방법을 제공합니다. 또한 표준화를 통해 에이전트와 워크플로 전체에서 재사용이 가능하므로 신뢰할 수 있는 자동화 자산을 안전하고 일관되게 공유할 수 있습니다.

조직에는 유연한 배포 패턴도 필요합니다. AI 에이전트는 추론을 통해 결정론적 프로세스를 강화하거나, 재사용 가능한 도구로 노출되거나, 광범위한 비즈니스 워크플로의 일부로 조정된 독립 실행형 구성 요소로 실행될 수 있습니다. 유연성은 제어, 보안 및 운영 안정성을 유지하면서 점진적인 채택을 허용하므로 중요합니다.

라이프사이클 거버넌스:에이전트를 기업 자산으로 관리

에이전트 배포가 확장됨에 따라 조직은 에이전트를 기업 자산으로 취급해야 합니다. 모범 사례에는 에이전트 인벤토리 유지, 명확한 소유권, 버전 관리, 권한 및 각 에이전트가 다루는 항목에 대한 가시성이 포함됩니다.

경영진과 위험 팀은 어떤 에이전트가 존재하는지, 누가 이를 소유하는지, 어떤 데이터와 시스템에 액세스하는지, 어떤 프로세스가 의존하는지, 어떤 버전이 어떤 환경에서 실행되고 있는지에 대한 명확한 답변이 필요합니다.

이 수명주기 접근 방식은 ID, 액세스 관리 및 추적성에 따라 달라집니다. 에이전트는 최소 권한을 가진 범위 ID로 실행되어야 합니다. 거버넌스는 에이전트를 구축, 배포 및 운영할 수 있는 사람과 허용되는 런타임 동작을 적용해야 합니다. 로우코드 접근방식과 코딩된 접근방식 모두 중요한 역할을 할 수 있습니다. 로우 코드는 논리를 검토 가능하고 협업적으로 만들 수 있는 반면, 코딩된 경로는 팀 전체에 걸쳐 강화된 검증, 공유 라이브러리 및 표준화된 정책 시행을 가능하게 할 수 있습니다.

투명성도 마찬가지로 중요합니다. 프로덕션급 AgentOps에는 AI 에이전트가 수행한 작업, 호출한 도구, 관련된 입력 및 출력, 결정을 내린 이유를 이해하는 기능이 필요합니다. 이러한 추적성은 기술 및 비즈니스 이해관계자 간의 감사, 사고 검토, 신뢰 구축을 지원합니다.

인스턴스 수준의 운영 가시성은 이것이 규모에 따라 구체화되는 곳입니다. 팀에는 세션 재생, 에이전트 또는 버전별 안정성 추세 확인, 가장 자주 사용되는 통합과 실패하는 통합 이해 등 에이전트 전체에 대한 집계 보기가 필요합니다.

이러한 관점이 없으면 조직은 결국 비용 급증이 잘못 구성된 단일 에이전트로 인해 발생하는지 아니면 전체 시스템에 걸친 시스템 문제로 인해 발생하는지 알 수 없게 되어 암묵적으로 에이전트를 관리하게 되기 때문에 중요합니다.

최상급 패턴으로서의 인간 참여

많은 기업 워크플로우에는 사람의 감독이 여전히 필수적입니다. 인간 참여형(Human-In-The-Loop) 단계를 설계하는 가장 좋은 방법은 단순히 대체가 아닌 사전에 계획하는 것입니다. 사람들은 영향력이 큰 작업을 승인하고, 출력을 수정하고, 누락된 컨텍스트를 제공하거나, 예외 시나리오를 대신할 수 있습니다.

AgentOps는 승인, 검토, 예외 처리와 같은 명시적인 인간 활동 단계를 지원해야 합니다. 신뢰도 임계값, 트랜잭션 위험 또는 정책 제약 조건에 따라 에스컬레이션하도록 에이전트를 구성해야 합니다. 이를 통해 AI가 일상적인 사례를 처리하고 사람이 극단적인 사례와 고위험 결정을 관리하는 통제된 운영 모델이 생성됩니다.

지속적인 최적화:AI 에이전트의 신뢰성 유지 및 개선

에이전트 배포는 끝이 아니라 수명 주기의 시작입니다. 프로덕션 환경에서 상담원은 새로운 입력, 진화하는 데이터, 변화하는 시스템을 접하게 됩니다. 새롭게 떠오르는 주요 관심사는 에이전트 드리프트입니다. 이는 목표, 컨텍스트, 추론 또는 도구 상호 작용의 변화로 인해 프로덕션 중인 에이전트가 평가하는 동안과 다르게 수행되는 현상입니다. 드리프트는 여러 가지 방법으로 나타날 수 있습니다. 들어오는 작업의 분포가 바뀌고, 기본 데이터 또는 지식 소스가 변경되고, LLM 동작이 모델 버전 전반에 걸쳐 발전하거나, 외부 도구와의 통합이 저하됩니다.

지속적인 드리프트 감지는 AgentOps의 핵심 책임이 되어야 하며 정기적으로 계산되고 기준과 비교되며 임계값이 초과되면 문제 해결을 트리거해야 합니다.

평가 중심 개발 철학은 평가를 일회성 게이트가 아닌 이 수명 주기 전반에 걸쳐 최고의 아티팩트로 취급합니다. 디자인 타임 및 배포 후 평가는 품질을 정의하고 일관되게 측정하며 에이전트가 발전함에 따라 안전한 반복을 안내하는 지속적인 루프를 형성합니다.

일관적인 품질 신호에 기반한 디자인 타임 및 런타임 평가

디자인 타임에 평가는 에이전트가 프로덕션에 도달하기 전에 "좋은" 모습을 설정하여 도구 선택, 중간 결정 및 실행 궤적과 같은 중요한 동작과 결과를 모두 다룹니다.

배포 후 실행 추적을 사용하여 실제 프로덕션 실행에 동일한 기준을 적용할 수 있습니다. 두 단계의 결과는 시간이 지남에 따라 품질을 추적하고, 버전을 비교하고, 회귀를 조기에 감지하는 동시에 팀이 근본 원인을 자세히 조사할 수 있도록 일관된 성능 신호로 롤업되어야 합니다.

루프의 일부인 최적화, 피드백 및 메모리

평가 결과는 품질을 측정하는 것 이상의 역할을 합니다. 적극적으로 개선을 추진해야 합니다. 사람의 피드백과 운영 결과를 평가 및 추적에 다시 연결하여 회귀 제품군을 확장하고 적절한 경우 관리되는 에이전트 메모리에 알릴 수 있습니다.

평가, 통제된 피드백 루프, 체계적인 기억 관행이 함께 작용하여 측정 가능하고 설명 가능하며 지속적으로 검증된 변화를 통해 상담원이 개선되는 시스템을 만듭니다.

AgentOps 원칙으로서의 비용 관리

AI 에이전트는 런타임 동작과 관련된 동적 비용 동인을 도입합니다. 모델 호출, 도구 사용, 재시도, 조정 기간 및 컨텍스트 크기가 모두 합산됩니다.

비용은 일찍부터 최우선 관심사로 다루어져야 합니다.

팀은 배포 전에 에이전트 버전 간 효율성을 비교하고, 낭비적인 궤적이나 불필요한 도구 호출을 식별하고, 프로덕션 비용이 많이 들기 전에 과도한 컨텍스트를 포착할 수 있어야 합니다.

프로덕션 환경에서 조직은 실행당, 에이전트당 및 총체적인 비용 가시성이 필요하므로 운영자, 관리자 및 리더는 동일한 소스에서 작업할 수 있습니다. 제한 및 경고는 과도한 지출을 방지하는 데 도움이 되며, 재시도, 시간 초과, 에스컬레이션 경로와 같은 조정 제어는 실행을 제한합니다. 이를 통해 출시 전에 품질과 효율성 모두에 대해 변경 사항을 평가하고 출시 후 실제 실행 데이터로 검증하는 지속적인 비용 최적화가 가능합니다.

기업 규모의 표준화 및 배포

에이전트 자동화를 확장하려면 새 에이전트가 기본적으로 입증된 패턴을 상속하는 반복 가능한 운영 모델이 필요합니다. 표준화는 팀 간의 변동을 줄이는 동시에 품질, 보안 및 비용 제어가 일관되게 적용되도록 보장합니다. 재사용 가능한 구조, 일관된 도구 계약, 공유 평가 접근 방식을 통해 팀은 동일한 교훈을 다시 배우지 않고도 더 빠르게 움직일 수 있습니다.

런타임 시 조직은 에이전트 작성 방식에 관계없이 실행을 관리하는 통합 제어 평면의 이점을 누릴 수 있습니다. 승인, 재시도, 예외 처리, 사람의 개입과 같은 일반적인 문제는 한 번 구현하고 워크플로 전체에서 재사용해야 합니다. 공유 자산, 정책 및 가드레일은 에이전트 전체에 개선 사항을 전파하는 동시에 로우 코드와 코드를 모두 지원하여 팀이 규모 증가에 따라 수명 주기를 중단하거나 비용 및 사용량에 대한 가시성을 잃지 않고 실험에서 강화된 프로덕션으로 이동할 수 있도록 해야 합니다.

UiPath가 실제로 AgentOps를 지원하는 방법

목표, 가드레일 및 신뢰

UiPath는 상담원의 행동을 기업 보안 및 규정 준수 요구 사항에 맞게 조정하도록 설계된 신뢰 및 거버넌스 기반을 제공합니다. 조직은 여러 계층의 거버넌스를 적용할 수 있습니다.

• 에이전트 거버넌스:플랫폼 수준 정책 가드레일은 개발자 액세스, LLM 사용, 게시 이벤트 시 에이전트 점수 값 확인 및 데이터 액세스를 시행합니다. 호출할 수 있는 도구, 허용되는 입력, 허용되는 부작용, 도구 호출을 차단하거나 사람에게 라우팅해야 하는 시기 등 에이전트가 엔터프라이즈 시스템과 상호 작용하는 방식을 제한하는 LLM 및 도구 가드레일을 사용하여 에이전트를 설계할 수 있습니다.

• IT 거버넌스:UiPath는 실행 가능한 아티팩트에 대한 ID, 역할 기반 액세스 제어(RBAC) 추적, 개인 식별 정보(PII) 진행 중 감지, 데이터 거버넌스를 제공하여 민감한 에이전트 자동화를 보호합니다. 액세스는 의도적이고 투명합니다.

• 인프라 거버넌스:데이터 상주, 암호화, 네트워크 경계, 보안 강화, 일반 데이터 보호 규정(GDPR), 1996년 건강 보험 이동성 및 책임법(HIPAA), 연방 위험 및 인증 관리 프로그램(FedRAMP®), ISO 27001과 같은 표준 준수.

UiPath는 또한 시뮬레이션을 통해 사전 제작 신뢰 구축을 지원합니다. 사용자는 자연어를 사용하여 에이전트 호출 시 발생할 수 있는 입력 시나리오를 생성할 수 있습니다. 또한 디버그 및 평가 실행 모두에서 모의 ​​도구 호출을 선택하여 궤적을 이해할 수도 있습니다. 이를 통해 라이브 시스템이나 데이터에 위험을 주지 않으면서 도구 선택, 입력 정확성, 도구 오류에 대한 복원력, 예상 결과를 검증하는 데 도움이 됩니다.

도구 및 데이터 연결

UiPath 플랫폼에서 "도구"는 정의된 입력 및 출력, 검증, 로깅 및 오류 처리 기능을 갖춘 구체적인 통합 및 자동화입니다. 모든 도구 호출을 모니터링, 추적 및 관리할 수 있습니다.

UiPath는 자동화 및 엔터프라이즈 리소스를 에이전트에 노출하는 표준화된 방법으로 MCP 서버도 지원합니다. MCP 서버는 인증, 권한 부여 및 정책 제어를 시행하면서 일관되고 검색 가능한 형식으로 도구, 작업 및 컨텍스트를 게시하는 관리형 게이트웨이 역할을 합니다. MCP 서버는 에이전트와 워크플로우 전체에서 재사용을 가능하게 하여 신뢰할 수 있는 동일한 자동화 자산을 안전하고 일관되게 공유할 수 있도록 보장합니다.

UiPath는 유연한 배포 패턴을 지원합니다. 추론을 통해 결정론적 프로세스를 강화하기 위해 에이전트를 내장하거나 MCP를 통해 재사용 가능한 에이전트 또는 도구로 노출하거나 UiPath Maestro™에서 광범위한 비즈니스 워크플로우의 일부로 조율된 독립형 에이전트 구성 요소로 배포할 수 있습니다.

수명주기 거버넌스 및 추적성

각 에이전트는 최소 권한을 가진 범위 ID로 실행될 수 있습니다. 플랫폼 거버넌스는 에이전트를 구축, 배포, 운영할 수 있는 사람과 허용되는 런타임 동작을 적용합니다. 로우 코드 및 코딩된 접근 방식은 대규모 거버넌스를 유지하는 데 도움이 됩니다.

UiPath 추적 서비스는 에이전트 상태, 도구 호출, 에이전트 루프의 LLM 추론에 대한 설명에 대한 자세한 런타임 로그를 제공합니다. 이는 UiPath에서 관리되는 모든 에이전트에 대해 디자인 타임, 평가 타임 및 런타임에 제공되며 OTEL을 통해 지원되는 비즈니스 인텔리전스 공급업체로 확장 가능합니다.

UiPath는 세션 재생, 에이전트 또는 버전별 안정성 추세를 보여주는 실패율 대시보드, 도구 사용 통계 등 에이전트 전체에 대한 집계 보기를 표시합니다.

인간 참여 패턴

UiPath는 승인, 검토, 예외 처리 등 명시적인 인간 활동 단계를 지원합니다. 신뢰 임계값, 트랜잭션 위험 또는 정책 제약 조건에 따라 에스컬레이션하도록 에이전트를 구성할 수 있습니다.

평가, 최적화 및 제어된 메모리

디자인 타임 및 런타임 평가 결과는 시간 경과에 따른 품질 추적, 버전 비교 및 회귀 조기 감지를 위한 일관된 성능 신호인 에이전트 점수로 롤업됩니다.

UiPath Maestro™의 최적화 기능과 UiPath Studio의 Agent Builder는 평가 및 런타임 데이터를 평가하여 해당 정의에 다시 적용할 수 있는 측정된 개선 제안을 생성합니다. 사람의 피드백과 운영 결과를 평가 및 추적에 다시 연결하여 회귀 제품군을 확장하고 적절한 경우 관리되는 에이전트 메모리에 알릴 수 있습니다.

비용 관리 및 제한된 실행

UiPath는 실행당, 에이전트당, 총계 비용 가시성을 제공합니다. 하드 라이선스 제한 및 경고는 과도한 지출을 방지하는 동시에 재시도, 시간 초과, 에스컬레이션 경로와 같은 조정 제어를 통해 실행을 제한합니다.

표준화 및 조정

런타임 시 UiPath Maestro는 에이전트 작성 방식에 상관없이 실행을 관리하는 통합 컨트롤 플레인 역할을 합니다. 승인, 재시도, 예외 처리, 사람의 개입과 같은 일반적인 문제는 한 번 구현되어 워크플로 전체에서 재사용됩니다. 공유 자산, 정책 및 가드레일은 AI 에이전트 전체에 개선 사항을 전파합니다.

요약

AgentOps는 AI 에이전트를 내구성 있는 엔터프라이즈 기능으로 전환합니다. 이를 위해서는 거버넌스, 투명성, 신뢰성 엔지니어링, 엄격한 평가 및 비용 통제가 필요합니다.

UiPath 플랫폼의 Maestro와 UiPath Studio의 Agent Builder 조합은 에이전트 생성 및 평가와 내구성 있는 오케스트레이션 및 엔터프라이즈 거버넌스를 결합하여 이러한 요구 사항을 지원합니다. 이들은 함께 에이전트가 해석과 계획을 처리하고, 자동화가 결정론적 단계를 실행하며, 사람이 승인과 감독을 통해 확고한 통제권을 유지하는 엔터프라이즈 모델을 지원합니다.

이는 기업이 에이전트 자동화를 안전하고 안정적으로 확장하는 데 필요한 기반입니다. AI 에이전트는 명확한 책임, 측정 가능한 성과 및 지속적인 개선을 통해 실제 비즈니스 프로세스 내에서 관리되는 자산으로 작동합니다.