2025년에 신뢰할 수 있는 AI 에이전트 구축을 위한 10가지 입증된 모범 사례

UiPath에서는 한동안 주체적 사고방식을 실천해 왔습니다. 우리는 데모만 만드는 것이 아닙니다. 우리는 실제 기업의 혼란을 배송하고, 확장하고, 생존하는 에이전트를 구축합니다.

LLM(대형 언어 모델)을 프로덕션에 연결해 본 적이 있다면 깨뜨릴 수 있는 프롬프트가 아니라는 사실을 아실 것입니다. 주변의 모든 것입니다. 오류 처리, 컨텍스트 관리, 도구 계약, 추적성. 이것이 바로 우리가 Studio에서 UiPath Agent Builder를 구축한 이유입니다. 우리는 AI 에이전트가 실제 소프트웨어 구성 요소처럼 작동하도록 만드는 데 필요한 제어 및 관찰 가능성을 제공하고 싶었습니다.

규모에 맞게 에이전트 자동화를 구축, 테스트 및 제공하는 방법을 알아낸 내용은 다음과 같습니다. 다음은 "괜찮아요"에서 "새벽 2시에 깨우지 않고 프로덕션 환경에서 실행됩니다"로 전환하는 데 도움이 되는 에이전트 빌더 모범 사례입니다.

1. 빠르고 안전한 것이 아닌 에이전트 설계

• 자동화 내에서 신중하게 에이전트를 통합하십시오. 매우 강력한 사용 사례가 아닌 이상 REFramework 내에 에이전트를 내장하지 마십시오. 상담원은 신중하게 관리해야 하는 변수(예:에스컬레이션, 오류 처리)를 도입합니다. 대신 더 나은 가시성과 제어를 위해 UiPath Maestro™를 권장합니다.

• 에이전트에 대한 재시도 메커니즘을 피하세요. 에이전트 출력은 결정적이지 않으므로 재시도해도 개선이 보장되지 않습니다. 대신 에이전트나 도구 자체 내에서 오류를 캡처하고 처리하세요.

• 작고 집중적으로 시작하십시오. 단일 책임 에이전트로 시작하십시오. 각각 하나의 명확한 목표와 좁은 범위를 가지고 있습니다. 광범위한 메시지는 정확도를 떨어뜨립니다. 좁은 범위는 일관된 성능을 보장합니다.

• 여러 전문 에이전트로 모듈화:하나의 "모든 작업을 수행하는" 에이전트 대신 복잡한 워크플로를 위해 에이전트와 로봇을 결합하여 모듈식 시스템을 구축합니다. 이를 통해 제어된 크기 조정, 보다 쉬운 디버깅 및 유연한 재사용이 가능합니다.

• 결정론적 작업의 경우 도구를 사용하십시오. 사용 사례에서 요구할 때 에이전트가 직접 작동하도록 하는 대신 검증된 UiPath 자동화 또는 API를 도구로 호출하여 위험을 제한하십시오. 이를 통해 예측 가능성과 안전성이 향상됩니다.

• 상담원 목표와 측정 가능한 결과 조정:설계가 시작되기 전에 명확한 목표, 성과 지표 및 성공 기준을 정의합니다. 상담원은 측정 가능한 경계 내에서 활동해야 합니다.

2. 올바른 방식으로 컨텍스트를 구성하세요

• 엔터프라이즈 컨텍스트 색인화:에이전트가 의존할 구조화된 소스, 기술 자료(KB) 및 문서를 색인화합니다. 좋은 계획과 컨텍스트 설정은 안정적인 실행의 핵심입니다. 올바른 검색 전략을 선택했는지 확인하세요. 의미론적 검색은 구조화되지 않은 텍스트에서 의미 기반 일치 항목을 찾고, 구조화된 검색은 정의된 스키마에서 정확한 데이터를 검색합니다. DeepRAG는 이 두 가지를 결합하여 대규모, 복잡하거나 혼합된 소스 전반에 걸쳐 심층적으로 추론합니다.

• 올바른 모델 선택:Studio의 UiPath Agent Builder는 모델에 구애받지 않으므로 사용 사례에 가장 적합한 모델을 사용하십시오. 예를 들어 GPT-5는 일반적으로 GPT-4보다 더 안정적입니다. 편견을 피하기 위해 에이전트 자체와는 다른 평가 모델을 사용하십시오.

• 도구 정의의 명확성을 유지합니다. 공백이나 특수 문자 없이 소문자 영숫자로 간단하고 설명이 포함된 도구 이름을 사용합니다. 이름은 프롬프트에 언급된 이름과 정확히 일치해야 합니다.

3. 모든 기능을 도구로 취급하세요

• 모든 외부 기능을 도구로 취급합니다. 도구에는 엄격한 입력/출력 계약과 명확한 성공 기준이 있어야 합니다. 가능하면 UiPath 자동화를 도구로 재사용하십시오.

• 스키마 기반 프롬프트:도구 프롬프트를 간결하고 체계적으로 유지합니다. 출력 형태를 검증하고 null 또는 빈 결과를 명시적으로 처리합니다.

• 문서 및 버전 도구:도구별로 명확한 버전 관리 및 평가 기록을 유지합니다. 링크 평가는 특정 버전에 대해 실행됩니다.

• 결정론적 작업을 위해 에이전트의 신뢰성을 높이는 도구 구축:LLM은 수학, 날짜 비교 등에 능숙하지 않습니다. 에이전트의 신뢰성 문제를 방지하려면 복잡한 작업을 수행하는 도구를 구축하십시오.

4. 제품 사양과 같은 프롬프트 작성(산문체 아님)

• 반복적 설계 및 테스트:프롬프트 엔지니어링은 반복적인 작업이므로 UiPath Agent Builder를 사용하면 적절한 평가 세트를 구축하고 구축하면서 테스트하여 시스템 프롬프트와 작업 지침을 개선할 수 있습니다.

• 다음을 정의하는 시스템 프롬프트로 시작합니다.

  • 역할과 페르소나

  • 지침

  • 목표 및 맥락

  • 성공 지표

  • 가드레일 및 제약사항

• 구조화된 다단계 추론 사용:복잡한 워크플로에 대한 사고 사슬 스타일 추론을 통합합니다. 작업 분해, 추론 방법 및 출력 형식을 명시적으로 정의합니다.

• 에이전트가 원하는 결과에 대해 최대한 구체적이고 자세하게 설명하십시오. UiPath Data Manager에서 out 인수의 적절한 출력 스키마를 정의했는지 확인하십시오. 예시를 제공하는 것도 도움이 됩니다.

• 일어나서는 안 되는 일이 아니라 일어나야 하는 일을 설명하십시오. AI 에이전트에게 "개인 정보를 묻지 마십시오"라고 묻는 것과 "개인 정보를 묻는 것을 피하고 대신 사용자에게..."를 안내하는 것의 차이가 있습니다.

• 동일한 작업을 수행하려면 서로 다른 프롬프트를 고려하세요. 모델에는 서로 다른 암시적 동작이 있습니다. 예를 들어 불확실할 때 오류가 발생하는 경향이 있으므로 특정 모델별 지침이 필요합니다.

• 평가 세트를 사용하면 프롬프트를 세부적으로 조정할 수 있습니다. 프롬프트 최적화 도구를 사용하여 모델과 프롬프트를 실험해 보세요.

• 마크다운 언어 사용:이 언어를 사용하면 프롬프트의 특정 측면을 강조할 수 있습니다. 예:* *긴급:* *

• 프롬프트에서 입력 인수를 해당 값으로 참조하지 마세요(예:{{input}}). 값은 런타임 시 실제 인수 값으로 대체되기 때문입니다.

신속한 기술을 확장하고 싶으십니까? UiPath Academy에서는 "더 나은 프롬프트 작성 방법" 및 "에이전트 프롬프트 엔지니어링" 과정을 다뤘습니다.

5. 실제 환경에 맞게 평가하세요

• 강력한 평가 데이터 세트 구축:에이전트당 최소 30개의 평가 사례를 보유합니다. 실행을 차단할 수 있는 도구 및 에스컬레이션을 시뮬레이션합니다. 성공 사례, 극단적 사례, 실패 시나리오를 포함합니다.

• 폭과 깊이를 평가합니다. 결과의 정확성, 추론, 추적성, 적응성, 도구 사용 성공 등 다양한 차원을 다룹니다.

• 엔드 투 엔드 테스트:격리된 상태가 아닌 전체 자동화 컨텍스트 내에서 에이전트를 평가합니다. 통합, 통신, 복구 및 실패 모드를 테스트합니다.

• 추적 사용:추적 로그를 정기적으로 검토하여 에이전트의 추론 루프, 결정 및 도구 사용을 검사합니다. 오류, 비효율성, 예상치 못한 동작을 식별합니다.

• 지표 및 거버넌스:상태 점수 및 회귀 지표를 추적하고 임계값 통과 시 게이트 게시를 추적합니다.

6. 안전, 거버넌스 및 규정 준수 기능 내장

• UiPath Orchestrator 또는 Maestro를 통해 에이전트를 실행합니다. 에이전트를 프로세스로 배포하여 라이프사이클 관리, 감사, 거버넌스를 상속합니다.

• AI 신뢰 계층 활용:그룹별 권한, PII 수정, 감사 로그, 조절 및 사용 제어를 적용합니다.

• 인간 참여 루프 유지:고위험 결정에 대한 인간 검토를 위해 에스컬레이션을 사용합니다. 이러한 상호 작용은 에이전트 메모리에 정보를 제공하여 향후 실행을 개선합니다.

• 가드레일을 사용하세요. 허용 가능한 행동 및 에스컬레이션을 위한 규칙을 설정하고 시행하세요.

7. 목적에 따른 버전 및 게이트 릴리스

• 모든 것에 대한 버전 관리:프롬프트, 도구, 데이터 세트 및 평가에 대한 명확한 버전 제어를 유지합니다.

• 게이트 프로덕션 릴리스:평가가 통과되고 출시 계획이 확정된 후에만 에이전트를 프로덕션으로 이동합니다.

• 버전 태그에 평가를 첨부하여 설계부터 배포까지 추적성을 보장합니다.

8. 신뢰를 쌓는 대화를 디자인하세요

• 명확한 기대치를 설정하세요. 상담원이 할 수 있는 것과 할 수 없는 것을 전달하세요. 투명한 도구 작업과 명확한 인간/로봇 에스컬레이션 경로를 제공합니다.

• 되돌릴 수 없는 작업 확인:결정론적 확인을 사용합니다(“Y 필드로 X를 생성하겠습니다. 계속할까요?”).

• 투명성을 위한 디자인:신뢰 구축에 필요한 맥락이나 추론 내용을 보여줍니다.

9. 품질 저하 없이 비용 및 성능 관리

• 모델 사용 최적화:모델 선택의 크기를 적절하게 조정하세요(복잡한 추론을 위한 대형 모델, 분류 또는 라우팅을 위한 소형 모델).

• 토큰 사용 제한:검색에 집중하고 긴 컨텍스트를 요약하며 안정적인 응답을 캐시합니다.

• 일괄 및 계층 운영:위험도가 낮은 통화를 일괄 처리하고 필요한 경우에만 고성능 모델로 에스컬레이션합니다.

10. 추적, 기억, 사람의 피드백을 통해 지속적으로 개선합니다.

• 추적 및 학습:Agent Builder의 추적 및 평가 기능을 사용하여 안정성을 반복적으로 향상시킵니다. 에이전트 메모리를 사용하면 AI 에이전트가 사람이 해결한 에스컬레이션을 학습할 수 있습니다.

• 인간 피드백 루프:에스컬레이션, 평가 피드백 및 실행 로그는 모두 설계 업데이트와 에이전트 메모리에 피드백되어야 합니다.

• 점진적 확장:소규모로 안정성과 성능이 입증된 후에만 에이전트 기능을 확장하세요.

첫 번째 프로덕션 에이전트를 구축할 준비가 되셨나요?

Agent Builder를 시작하거나 라이브 데모를 확인하세요.

개발자를 위해 에이전트를 구축하고 배포할 수 있는 다양한 방법에 대해 알아야 할 모든 것을 한 곳에 편리하게 담았습니다. 여기서 시작 .

FAQ:Agent Builder 및 AI 에이전트

에이전트 빌더란 무엇입니까?

에이전트 빌더는 엔터프라이즈 환경 내에서 (안전하고 안정적으로) 추론하고, 결정하고, 행동할 수 있는 AI 에이전트를 설계, 구성 및 배포할 수 있는 개발 환경입니다.

일반 LLM 에이전트 툴 대신 UiPath Agent Builder를 사용하는 이유는 무엇입니까?

Studio의 UiPath Agent Builder는 프로토타입이 아닌 프로덕션용으로 설계되었습니다. 이는 기업 준비를 위한 채점 및 평가 중심 개발을 기존 비즈니스 시스템과의 원활한 통합과 결합합니다. 로우 코드의 사용자 친화적인 인터페이스를 통해 UI 자동화 및 지능형 문서 처리(IDP)를 포함한 전체 도구 세트를 활용할 수 있으며 엔드투엔드 자동화를 위해 더 광범위한 UiPath 플랫폼 전반에 걸쳐 손쉽게 확장할 수 있습니다.

제작 전에 AI 에이전트를 어떻게 평가하나요?

평가 데이터 세트, 추적 로그 및 회귀 측정항목을 사용하여 정확성, 도구 사용 성공 및 안전성을 검증합니다. UiPath 평가 및 추적 기능을 사용하면 이 작업이 간단하고 반복 가능해집니다.

상담원은 시간이 지남에 따라 개선될 수 있나요?

그렇습니다. 상담원 메모리와 에스컬레이션 피드백 루프는 상담원이 사람의 개입으로부터 학습하고 시간이 지남에 따라 안전하게 발전하는 데 도움이 됩니다.