2025년 신뢰할 수 있는 AI 에이전트 구축을 위한 10가지 검증된 모범 사례

유아이패스에서 우리는 한동안 에이전틱 마인드셋으로 살아왔습니다. 우리는 데모만 만들지 않습니다. 실제 엔터프라이즈 혼돈에서 배포되고, 확장되고, 생존하는 에이전트를 만듭니다.

대규모 언어 모델(LLM)을 프로덕션에 연결해 본 적이 있다면 아시겠지만: 프롬프트가 깨지는 게 아닙니다. 그 주변의 모든 것이 깨집니다. 에러 처리, 컨텍스트 관리, 도구 계약, 추적성. 그래서 우리는 유아이패스 스튜디오의 에이전트 빌더(Agent Builder)를 그런 방식으로 만들었습니다. AI 에이전트가 실제 소프트웨어 컴포넌트처럼 작동하는 데 필요한 통제와 관찰가능성을 드리고 싶었습니다.

대규모로 에이전틱 자동화를 구축, 테스트, 배포하며 우리가 배운 것들입니다. "어느 정도 작동하네"에서 "이건 프로덕션에서 날 새벽 2시에 깨우지 않고 돌아간다"로 가게 해줄 에이전트 빌더 모범 사례들입니다.

1. 빠르게 실패하는 게 아니라 안전하게 실패하도록 에이전트 설계하기

• 자동화 내 에이전트 신중히 통합하기: 아주 강력한 유스케이스가 없는 한 REFramework 안에 에이전트 임베딩 피하기. 에이전트는 변수(에스컬레이션, 에러 처리 등)를 도입하며 신중히 관리되어야 합니다. 대신 더 나은 가시성과 통제를 위해 유아이패스 마에스트로™(UiPath Maestro™) 권장.

• 에이전트 재시도 메커니즘 피하기: 에이전트 출력은 비결정론적이므로, 재시도가 개선을 보장하지 않습니다. 대신 에이전트나 도구 내부에서 에러를 포착하고 처리하세요.

• 작고 집중적으로 시작하기: 단일 책임 에이전트부터 시작; 각각 하나의 명확한 목표와 좁은 범위. 넓은 프롬프트는 정확성 감소; 좁은 범위는 일관된 성과 보장.

• 여러 특화 에이전트로 모듈화하기: 복잡한 워크플로에 "모든 것 다 하는" 에이전트 하나 대신 에이전트와 로봇 결합해 모듈러 시스템 구축. 이는 통제된 확장, 쉬운 디버깅, 유연한 재사용 허용.

• 결정론적 작업에는 도구 사용하기: 유스케이스가 요구할 때 에이전트가 직접 행동하게 하는 대신 검증된 유아이패스 자동화나 API를 도구로 호출해 리스크 한정. 예측 가능성과 안전성 증가.

• 에이전트 목표와 측정 가능한 결과 정렬하기: 설계 전 명확한 목표, 성과 지표, 성공 기준 정의. 에이전트는 측정 가능한 경계 내에서 작동해야 함.

2. 컨텍스트 올바르게 구성하기

• 엔터프라이즈 컨텍스트 인덱싱하기: 에이전트가 의존할 구조화된 소스, 지식 베이스(KB), 문서 인덱싱. 좋은 계획과 컨텍스트 설정이 신뢰할 수 있는 실행의 열쇠. 올바른 검색 전략 선택 확인. 시맨틱 검색은 비정형 텍스트에서 의미 기반 매치 찾고, 구조화된 검색은 정의된 스키마에서 정확한 데이터 검색. 딥RAG(DeepRAG)는 둘 다 결합해 대규모, 복잡, 혼합 소스 전반에서 깊이 추론.

• 적합한 모델 선택하기: 유아이패스 스튜디오의 에이전트 빌더는 모델 불가지론적(model-agnostic)이므로, 유스케이스에 가장 적합한 모델 사용. 예를 들어 GPT-5는 일반적으로 GPT-4보다 더 신뢰할 수 있음. 에이전트 자체와 다른 모델을 평가용으로 사용해 편향 회피.

• 도구 정의 명확성 유지하기: 소문자 영숫자, 공백이나 특수문자 없는 단순하고 설명적인 도구 이름 사용. 이름이 프롬프트에서 참조되는 것과 정확히 일치해야 함.

3. 모든 역량을 도구로 다루기

• 모든 외부 역량을 도구로 취급하기: 도구는 타이트한 입출력 계약과 명확한 성공 기준을 가져야 함. 가능하면 유아이패스 자동화를 도구로 재사용.

• 스키마 주도 프롬프트: 도구 프롬프트를 간결하고 구조화되게 유지. 출력 형태 검증하고 null이나 빈 결과 명시적 처리.

• 도구 문서화와 버전 관리: 도구별 명확한 버전 관리와 평가 이력 유지. 평가 실행을 특정 버전에 연결.

• 결정론적 작업용 도구 구축해 에이전트 신뢰성 높이기: LLM은 수학, 날짜 비교 등에 약함. 에이전트 신뢰성 이슈 피하려면 복잡한 연산 수행하는 도구 구축.

4. 프롬프트를 산문 아닌 제품 명세서처럼 작성하기

• 반복적 설계와 테스팅: 프롬프트 엔지니어링은 반복적 기술이므로, 유아이패스 에이전트 빌더로 적절한 평가 세트 구축하고 빌드하면서 테스트하며 시스템 프롬프트와 작업 지침 다듬기.

• 다음을 정의하는 시스템 프롬프트로 시작하기: 역할과 페르소나, 지침, 목표와 컨텍스트, 성공 지표, 가드레일과 제약.

• 구조화된 다단계 추론 사용하기: 복잡한 워크플로에 사고 연쇄(chain-of-thought) 스타일 추론 통합. 작업 분해, 추론 방법, 출력 포맷 명시적 정의.

• 에이전트 원하는 결과에 대해 최대한 구체적이고 상세하게: 유아이패스 데이터 매니저(Data Manager)에서 출력 인자(out arguments) 적절한 출력 스키마 정의해야 함. 예시 제공도 도움.

• 하지 말아야 할 것 대신 해야 할 것 기술하기: "개인정보 묻지 마라"와 "개인정보 묻지 말고 대신 ~로 안내하라"의 차이.

• 같은 작업을 위한 다른 프롬프트 고려하기: 모델마다 암묵적 행동 다름. 예를 들어 불확실할 때 에러 제기 경향, 그래서 모델별 구체적 지시 필요.

• 평가 세트로 프롬프트 미세조정 돕기: 프롬프트 최적화 도구로 모델과 프롬프트 실험.

• 마크다운 언어 사용하기: 이 언어로 프롬프트 특정 측면 강조 가능. 예: * *중요:* *

• 입력 인자를 값으로 프롬프트에서 참조하지 않기: 예: {{input}}, 런타임에 실제 인자 값으로 대체되기 때문.

프롬프트 스킬 확장하고 싶으신가요? 유아이패스 아카데미에 "더 나은 프롬프트 작성법"과 "에이전틱 프롬프트 엔지니어링" 코스가 준비되어 있습니다.

5. 실제 세상을 위해 평가하기

• 견고한 평가 데이터셋 구축하기: 에이전트당 최소 30개 평가 케이스. 실행을 차단할 수 있는 도구와 에스컬레이션 시뮬레이션. 성공 케이스, 엣지 케이스, 실패 시나리오 포함.

• 폭과 깊이로 평가하기: 결과 정확성, 추론, 추적성, 적응성, 도구 사용 성공 등 여러 차원 커버.

• 엔드투엔드 테스팅: 에이전트를 고립이 아닌 전체 자동화 컨텍스트 내부에서 평가. 통합, 통신, 복구, 실패 모드 테스트.

• 추적 사용하기: 추적 로그 정기 검토해 에이전트 추론 루프, 결정, 도구 사용 검사. 에러, 비효율, 예상치 못한 행동 식별.

• 지표와 거버넌스: 건강 점수와 회귀 지표 추적, 게시 게이팅에 통과 임계값 활용.

6. 안전성, 거버넌스, 컴플라이언스 내재화하기

• 유아이패스 오케스트레이터(Orchestrator)나 마에스트로로 에이전트 실행하기: 에이전트를 프로세스로 배포해 수명 주기 관리, 감사, 거버넌스 상속.

• AI 신뢰 계층(AI Trust Layer) 활용하기: 그룹별 권한, PII 리덕션, 감사 로그, 스로틀링, 사용량 통제 적용.

• 휴먼 인 더 루프 유지하기: 고위험 결정에 에스컬레이션으로 인간 검토 사용. 이 상호작용이 에이전트 메모리 정보, 향후 실행 개선.

• 가드레일 사용하기: 허용 행동과 에스컬레이션 규칙 설정 및 시행.

7. 의도적으로 버전 관리하고 릴리스 게이팅하기

• 모든 것 버전 관리: 프롬프트, 도구, 데이터셋, 평가에 대한 명확한 버전 통제 유지.

• 프로덕션 릴리스 게이팅: 평가 통과와 롤아웃 계획 확정 후 에이전트 프로덕션 이동.

• 평가를 버전 태그에 부착하기: 설계에서 배포까지 추적성 보장.

8. 신뢰를 구축하는 대화 설계하기

• 명확한 기대 설정: 에이전트가 할 수 있는 것과 없는 것 소통. 투명한 도구 액션과 명확한 인간/로봇 에스컬레이션 경로 제공.

• 되돌릴 수 없는 액션 확인: 결정론적 확인 사용("Y 필드로 X 생성 예정 — 진행?").

• 투명성 위한 설계: 적절한 곳에서 컨텍스트나 추론 조각 보여주며 신뢰 구축.

9. 품질 희생 없이 비용과 성능 통제하기

• 모델 사용 최적화: 모델 선택 라이트사이징(복잡한 추론엔 큰 모델, 분류나 라우팅엔 작은 모델).

• 토큰 사용 제한: 검색 집중, 긴 컨텍스트 요약, 안정적 응답 캐싱.

• 배치와 티어 작업: 저위험 호출 배치, 필요할 때만 고성능 모델로 에스컬레이션.

10. 추적, 메모리, 인간 피드백으로 지속적 개선하기

• 추적하고 배우기: 에이전트 빌더의 추적과 평가 역량 사용해 신뢰성 반복적 개선. 사람에 의해 해결된 에스컬레이션에서 배울 수 있게 에이전트 메모리 활용.

• 인간 피드백 루프: 에스컬레이션, 평가 피드백, 실행 로그 모두 설계 업데이트와 에이전트 메모리에 반영.

• 점진적 확장: 더 작은 규모에서 안정성과 성능 입증된 후 에이전트 역량 확장.

첫 프로덕션 에이전트 구축 준비되셨나요?

에이전트 빌더로 시작하거나 라이브 데모 보세요.

개발자들을 위해, 에이전트 구축과 배포 다양한 방법을 한곳에 모았습니다. 여기서 시작하세요.

FAQ: 에이전트 빌더와 AI 에이전트

에이전트 빌더란 무엇인가요?
에이전트 빌더는 귀사 엔터프라이즈 환경 내에서 추론, 결정, 행동할 수 있는 AI 에이전트를 설계, 구성, 배포하게 해주는 개발 환경입니다(안전하고 신뢰성 있게).

일반 LLM 에이전트 도구 대신 유아이패스 에이전트 빌더를 왜 쓰나요?
유아이패스 스튜디오의 에이전트 빌더는 프로토타입이 아닌 프로덕션을 위해 설계되었습니다. 엔터프라이즈 레디를 위한 스코어링과 평가 주도 개발을 기존 비즈니스 시스템과의 원활한 통합과 결합합니다. UI 자동화와 지능형 문서 처리(IDP)를 포함한 풀 툴셋을 로우코드, 사용자 친화적 인터페이스로 활용하고, 유아이패스 플랫폼 전반에서 엔드투엔드 자동화로 쉽게 확장할 수 있습니다.

프로덕션 전 AI 에이전트 어떻게 평가하나요?
평가 데이터셋, 추적 로그, 회귀 지표 사용해 정확성, 도구 사용 성공, 안전성 검증. 유아이패스 평가와 추적 기능이 이를 단순하고 반복 가능하게 만듭니다.

에이전트가 시간이 지남에 따라 개선될 수 있나요?
네. 에이전트 메모리와 에스컬레이션 피드백 루프가 에이전트가 인간 개입으로부터 배우고 시간이 지남에 따라 안전하게 진화하도록 돕습니다.