기술 화요일:효과적인 AI 에이전트 배포에 오케스트레이션이 핵심인 이유

에이전트 오케스트레이션을 처음 사용하시나요? 여기서 시작하세요 .

현실화해 보겠습니다. AI 에이전트는 구축하거나 배포하기가 쉽지 않습니다. 하지만 일단 내장되면 그 효과는 엄청납니다. 저는 Lantik의 디지털 서비스 책임자인 Ainara Etxeandia Sagasti와 같은 UiPath 고객들의 의견을 듣는 것을 좋아합니다. 그는 "RPA, 생성적 AI, 에이전트 기술을 결합하여 공공 서비스를 그 어느 때보다 더 쉽게 접근할 수 있고 효율적이며 시민 중심적인 서비스로 만들고 있습니다." 이미 10,000개 이상의 AI 에이전트가 UiPath Platform™을 기반으로 구축되었습니다. 상담원은 프로세스 효율성과 수익성을 변화시킬 수 있지만 강력한 조정과 자동화 및 루프에 있는 사람의 도움이 필요합니다.

이 블로그 게시물에서는 AI 에이전트를 대규모로 구축, 테스트 또는 배포할 때 가장 일반적인 문제점을 다루겠습니다. 또한 통제된 대행사와 상호 운용성을 바탕으로 구축된 조직화된 접근 방식이 이러한 문제를 어떻게 완화할 수 있는지 설명하겠습니다.

1. 상담원의 성능 및 신뢰성

개발자와 사용자는 AI 에이전트의 불안정성을 생산 장벽으로 자주 언급합니다. LLM(대형 언어 모델)은 에이전트를 유연하고 적응 가능하게 만들지 만 이로 인해 결과가 일관되지 않게 됩니다. 이는 개발과 테스트를 방해할 수 있습니다. 한 엔지니어는 "에이전트가 완벽하게 작동하다가 유사한 입력에서 완전히 실패하는 경우가 있습니다. 극단적인 사례를 시뮬레이션하고 실패를 일관되게 재현할 수 있는 더 나은 방법이 필요합니다. 시간이 지남에 따라 에이전트 '드리프트'를 모니터링하는 것은 정말 골치 아픈 일입니다."라고 말했습니다.

또 다른 과제는 프로세스를 중단시킬 수 있는 환각(사실이나 도구 입력을 구성하는 에이전트)입니다. AI 워크플로를 구축하는 한 사용자는 다음과 같이 공유했습니다. "우리가 발견한 가장 큰 문제점은 반복성과 환각입니다. 동일하거나 유사한 쿼리에 대해 LLM 에이전트가 레일을 벗어나 다른 도구에 대한 입력을 환각하지 않도록 보장합니다." 이러한 예측 불가능성은 광범위한 테스트와 검증이 필요하지만 에이전트 테스트 도구는 미성숙합니다. 오류가 발생하면 불투명한 모델 추론으로 인해 진단하기 어려울 수 있습니다. 이로 인해 팀은 변경에 대해 극도로 조심하게 됩니다. "에이전트에게 무언가를 하지 말라고 지시한 후 에이전트가 이상하게 행동하기 시작했기 때문에 우리는 지금 시스템 프롬프트 변경을 매우 경계하고 있습니다... 여러 번."

기본 AI 모델의 성능은 또 다른 문제입니다. 대형 모델은 리소스를 많이 사용하거나 속도가 느릴 수 있는 반면, 소형 모델은 성능이 좋지 않을 수 있습니다. 적절한 균형을 찾는 것은 어렵습니다.

일관되고 신뢰할 수 있는 출력이 부족하면 광범위한 보호 장치 없이 미션 크리티컬 또는 고객 대면 작업을 수행하는 AI 에이전트를 신뢰하기 어렵습니다. 실제로 높은 안정성을 얻으려면 상담원 행동을 단순화하거나, 엄격한 제약을 도입하거나, 폴백(예:지속적인 사람 개입)이 필요한 경우가 많습니다. 그러나 이러한 조치는 상담원의 자율성, 효율성 및 그에 따른 부가가치 기업 시나리오의 유용성을 손상시키는 경향이 있습니다.

2. 통제된 대행사 및 인간 개입

AI 에이전트는 복잡한 작업을 자동화할 수 있지만 개발자는 인간의 감독과 협업이 필수적이며 올바른 균형을 맞추는 것이 어렵다는 것을 알고 있습니다. 에이전트가 실수를 하거나 불분명한 결정을 내릴 수 있기 때문에 완전한 무간섭 자율성은 종종 비실용적입니다. 기업은 대행사의 정도를 제어해야 하며, 시간이 지남에 따라 상담원의 정확성과 신뢰성이 높아짐에 따라 통제 수준도 높아질 수 있습니다.

일반적인 접근 방식은 특정 승인에 대해 "인간 참여형"을 유지하거나 극단적인 경우를 처리하는 것입니다. 그러나 이렇게 하면 잘 조정되지 않으면 프로세스 속도가 느려질 수 있습니다. 그런 다음 특정 승인, 중요한 결정 및 예외 처리를 위해 "인간 참여자(Human-In-The-Loop)"가 호출됩니다. 한 AI 엔지니어는 에이전트를 제한하고 인간을 참여시키면 더 나은 결과를 얻을 수 있다고 언급했습니다. "사람의 감독으로 엄격하게 제한된 LLM은 중간 정도의 복잡한 작업에 대해 좋은 결과를 얻을 수 있습니다... [완전히] [규모에 따른] 자율적, 범용 에이전트"는 아직 현실적이지 않습니다.

반대로 AI가 너무 엄격하게 제어되거나 지속적인 확인이 필요한 경우 ROI가 생성되지 않습니다. 때로는 상담원이 워크플로를 방해하거나 절약하는 것보다 더 많은 노력을 쏟을 수도 있습니다. 예를 들어, 한 개발자는 Copilot 코딩이 수동 수정을 강요하여 생산성을 어떻게 방해했는지 설명했습니다. "뭔가 시작했지만 완료하지 못했습니다. 태그, 괄호 등을 확인하고 닫는 데 주의를 기울여야 합니다. 흐름을 방해하여 속도가 느려집니다."

문제는 에이전트가 작업을 처리하지만 추가 마찰 없이 판단을 위해 사람에게 원활하게 전달되는 하이브리드 워크플로를 설계하는 것입니다.

3. 비용 및 ROI 문제

AI 에이전트의 ROI는 특히 사용량이 증가함에 따라 반복되는 문제입니다. 대규모 언어 모델 API(및 이를 실행하기 위한 인프라)는 비용이 많이 들 수 있습니다. 팀은 상담원이 최적화되지 않으면 비용이 폭발할 것을 걱정합니다. 한 사용자는 현재 에이전트가 달성하는 것에 비해 "너무 비싸다"고 주장했습니다. ROI는 신뢰성이 낮을 때 측정하기 어려울 수 있습니다. 에이전트가 일부 시간에만 성공하는 경우 실패(및 수동 수정)로 인한 비용이 이점보다 클 수 있습니다.

기업에서는 모델 최적화 및 사용 정책과 같은 방법을 통해 비용을 제어하려고 노력하고 있습니다. 한 사용자는 반복 호출을 줄이기 위해 캐싱을 구현하고 출력 효율성을 높이기 위해 고품질 데이터를 신중하게 소싱했다고 설명했습니다. 다른 사람들은 작업에 적합한 모델을 선택하는 데 중점을 둡니다. "나는 프롬프트를 가질 수 있는 프레임워크를 [좋아합니다]... 모든 다른 모델에서 실행하고 [] 가장 좋고 가장 저렴한 것을 찾습니다. 현재 내 AI 에이전트는 200개 이상의 프롬프트 템플릿을 사용하고 있으며 모두 테스트하고 다시 테스트하는 데 비용이 많이 듭니다." 궁극적으로 신속한 엔지니어링과 모델 실험에는 실제 비용이 발생합니다.

공급업체 가격 책정 모델(토큰당, 호출당 등)도 중요한 역할을 합니다. 예를 들어 모든 것에 GPT-4를 사용하는 것은 과잉일 수 있지만 더 저렴한 모델을 사용하면 품질이 저하될 수 있습니다. 팀은 ROI를 정당화하기 위해 균형을 유지해야 합니다. 또한 경영진은 클라우드 AI 서비스 또는 전문 인프라에 대한 상당한 지속적인 지출이 필요한 경우 에이전트 프로젝트의 비즈니스 가치에 의문을 제기할 수 있습니다. 자동화를 통한 수익 증대나 비용 절감 측면에서 확실한 승리가 없으면 투자를 방어하기 어려울 수 있습니다. 따라서 비용을 최적화하고 ROI를 입증하는 것이 가장 중요합니다. 팀은 고가치 사용 사례에 집중하면서 모델을 혼합 및 일치시켜 AI 에이전트를 통해 "비용 대비 가장 저렴한 비용"을 얻고 싶어합니다.

4. 거버넌스, 보안 및 개인 정보 보호 문제

조직은 AI 에이전트에 대한 보안, 규정 준수 및 윤리 지침을 시행해야 하지만 이는 말처럼 쉽지 않습니다. 데이터 개인정보 보호는 가장 큰 관심사입니다. 많은 기업에서는 민감한 데이터가 유출되지 않을 것이라고 확신할 때까지 클라우드 AI 서비스를 금지하거나 제한합니다. 한 개발자는 지적 재산권 위험 때문에 직장에서 ChatGPT와 같은 도구를 금지한다고 말했습니다. "아니요. IP 위험이 너무 큰 것으로 간주되어 우리의 비밀이 유출되거나 다른 사람의 저작권을 침해할 수 있다는 우려가 있습니다." 타사 AI API를 사용할 때 실무자는 고객 데이터가 실수로 해당 서비스로 전송되는 것을 걱정합니다.

보안은 또 다른 문제입니다. 자율 에이전트는 적절하게 샌드박스 처리되지 않으면 위험을 초래합니다. 팀이 상담사 플랫폼 위에 추가 보호 장치를 추가했다는 보고가 있습니다. 예를 들어 리드 생성 상담사를 배포할 때 "[a] 보안 계층을 맨 위에 추가해야 했고... [그리고] 비용 최적화를 위해 캐싱(Redis)을 사용해야 했습니다." 즉시 사용 가능한 솔루션에는 엔터프라이즈급 보안 제어나 비용 관리가 부족한 경우가 많으므로 기업은 자체 거버넌스를 강화해야 합니다. 또한 에이전트 프레임워크가 감독을 위한 후크를 제공하지 않으면 에이전트가 규정(GDPR, HIPAA 등)을 준수하고 조직 정책을 따르도록 하는 것이 어렵습니다.

이러한 우려로 인해 이해관계자는 조심스러워집니다. 그들은 AI 에이전트가 강력하면서도 투명하고 데이터 사용 방식을 숨기는 "독점 시스템이 아닌 중립적이고 보편적으로 허용되는 프로토콜"을 통해 제어되기를 원합니다. 즉, 강력한 거버넌스 기능(감사 로그, 권한 제어, 사용자 재정의 등)이 없으면 많은 조직이 광범위한 에이전트 배포에 어려움을 겪습니다.

5. 배포 및 확장의 어려움

AI 에이전트를 개념 증명에서 프로덕션으로 이동하면 여러 가지 문제가 발생할 수 있습니다. 사용자들은 제어된 데모에서 작동하는 것이 종종 실제 규모, 볼륨 및 복잡성으로 인해 어려움을 겪는다고 보고합니다. 일반적인 우려 사항에는 대기 시간 및 처리량(LLM 기반 에이전트는 트래픽이 많은 응용 프로그램이나 실시간 응용 프로그램에 비해 너무 느릴 수 있음)과 시스템을 안정적으로 실행하는 데 따른 운영 오버헤드가 포함됩니다. Kadoa의 공동 창립자이자 CEO인 Adrian Krebs는 "AI 에이전트가 너무 느리고, 비용이 많이 들고, 신뢰할 수 없다는 것이 근본적인 문제라면 오케스트레이션 프레임워크를 사용하더라도 문제가 되지 않습니다."라고 말했습니다. 팀에서는 성능 요구 사항을 충족하기 위해 캐싱, 모델 교체, 에이전트 논리 단순화 등 효율성을 위해 아키텍처를 다시 설계해야 하는 경우가 많습니다.

일관성을 유지하면서 여러 환경(클라우드, 온프레미스, 에지 장치)에 배포해야 하는 과제도 있습니다. 기업 환경에서는 모든 부서가 동일한 도구를 사용하기를 원하지 않으므로 표준화된 배포가 더 어려워집니다. 현장의 에이전트 모니터링, 로깅, 업데이트와 같은 운영 확장 문제도 마찬가지로 미개발 상태입니다. 한 Reddit 사용자는 기본적인 디버깅조차 "악몽일 수 있습니다. 오류 로그는 명확한 문제 해결 가이드 없이 암호화되는 경우가 많습니다."라고 언급했습니다. 이는 많은 에이전트가 배포된 경우에만 더욱 어려워집니다. 이로 인해 에이전트 채택이 느려질 수 있습니다. 주요 공급업체조차도 고객이 "이제 시작 단계"이며 의미 있는 규모의 결과가 여전히 나타나고 있음을 인정했습니다.

6. 다중 에이전트 조정의 복잡성

여러 AI 에이전트가 협업하는 시스템을 구축하는 것은 까다롭습니다. 개발자는 에이전트 역할 조정, 공유 상태 관리, 에이전트가 루프에 갇히거나 서로 충돌하는 것을 방지하는 데 어려움을 겪습니다. 오케스트레이션 프레임워크를 사용하더라도 한 에이전트의 출력에 실수가 있으면 전체 워크플로가 탈선될 수 있습니다. 한 개발자는 "사람들은 단지 실험을 하고 있습니다. 신뢰성이 여전히 중요한 문제입니다. 자동 회귀 생성 프로세스에서 탈선하면 에이전트에 치명적일 수 있습니다."라고 주장했습니다. 다른 사람들은 실패한 단계를 다시 시도하거나 사람의 개입을 위한 논리를 추가하는 등 자가 치유 또는 탄력적인 워크플로를 만드는 것이 어렵다고 강조합니다.

이러한 오케스트레이션 문제로 인해 팀에서는 한 가지 문제만 해결하고 다른 문제는 나타나는 경우가 많습니다. "때때로 두더지를 때리는 것처럼 느껴질 때도 있습니다. 즉각적인 엔지니어링으로 한 가지 문제를 해결한 다음 세 가지 문제를 더 만듭니다."

7. 모델 호환성 및 통합 문제

시장을 지배하는 단일 AI 에이전트는 없습니다. 조직은 어느 날 OpenAI를 사용하고 다음 날에는 오픈 소스 모델로 전환하고 다양한 타사 도구를 통합할 수 있습니다. 그러나 호환성과 원활한 통합이 주요 과제입니다. 도구와 모델 통합에는 맞춤형 어댑터나 글루 코드가 필요한 경우가 많습니다. 예를 들어, 에이전트를 독점 데이터베이스나 내부 API에 연결하려면 프레임워크가 이를 염두에 두고 설계되지 않은 경우 상당한 노력이 필요할 수 있습니다. 개발자들은 많은 프레임워크가 "무거우며" 모든 사용 사례에 맞지 않는 가정을 가지고 있다고 주장합니다. "안타깝게도 기본만 필요한 경우 이러한 프레임워크 중 상당수는 꽤 무겁습니다."

반대로, "프레임워크에 구애받지 않는" 것은 종종 처음부터 많은 상용구를 작성하는 것을 의미합니다. 사용자는 갇히지 않고 바퀴를 재발명하는 것을 피하고 싶어합니다. 한 개발자는 특히 호환성을 극대화하기 위해 보다 유연한 라이브러리에 정착하는 것에 대해 설명했습니다. "나는 많은 노력을 기울였습니다... 결국 나는 [Instructor]를 사용하기로 결정했습니다. 로컬/OS 및 독점 LLM 사이를 빠르게 전환할 수 있고 어디에서나 동일한 구조화된 입력/출력을 가질 수 있었기 때문입니다." 이는 변화하는 요구 사항을 충족하기 위해 AI 모델이나 서비스를 쉽게 교체할 수 있는 에이전트의 필요성을 강조합니다.

또 다른 일반적인 요구 사항은 에이전트를 기존 소프트웨어 스택 및 워크플로와 통합하는 것입니다. 표준 인터페이스가 부족하다는 것은 각각의 새 에이전트에 새로운 통합 노력이 필요할 수 있음을 의미합니다. 언급한 대로 누락된 예제와 고급 설정으로 인해 이를 방해할 수 있습니다. 또한 한 구성 요소에 대한 업데이트(예:LLM API 변경)로 인해 에이전트의 논리가 중단되면 호환성 문제가 발생합니다. 이는 팀이 적극적으로 관리해야 하는 사항입니다. 간단히 말해서 실무자들은 플러그 앤 플레이 상호 운용성을 원합니다. 즉 광범위한 맞춤형 엔지니어링 없이 다양한 모델, 데이터 소스 및 시스템과 연결되는 AI 에이전트입니다.

8. 공급업체 종속 및 상호 운용성 문제

AI 모델과 프레임워크는 빠르게 변화하고 있습니다. 많은 팀은 최고의 제품을 원하며 단일 공급업체의 AI 에이전트 솔루션을 선택하면 향후 유연성이 떨어질 수 있다고 걱정합니다. 각각 고유한 API와 고려 사항을 포함하는 에이전트 프레임워크가 폭발적으로 늘어나고 있습니다. 한 개발자는 이를 JavaScript 프레임워크 열풍에 비유했습니다. "몇 달 안에 우리는 아마도 '100개의 다양한 JS 웹 프레임워크에 있는 TODO 앱' 버전을 갖게 될 것입니다... 그것들을 모두 이해하는 것조차 엄청난 작업입니다."

하나의 생태계에 전념한다는 것은 유연성이 제한될 수 있음을 의미할 수 있습니다. 특정 도서관은 특정 공급자를 선호합니다. 예를 들어, 실망한 사용자는 자신이 선택한 프레임워크가 "주로 중단된다"고 경고하면서 일부 도구가 암시적으로 사용자를 특정 모델이나 서비스에 고정시키는 방식을 강조했습니다. 위험은 공급업체의 비전을 중심으로 구축되고 나중에 "실행 가능한 대안 없이 업데이트, 가격 및 정책에 의존"하게 되는 것입니다. 상호 운용성은 에이전트를 기존 소프트웨어 스택에 통합할 때에도 중요합니다. 개발자는 에이전트를 자신이 이미 사용하고 있는 언어 및 클라우드 서비스에 연결하는 "명확한 예가 없음"을 종종 발견하므로 다양한 팀에서 이러한 도구를 채택하기가 더 어려워집니다.

에이전트 오케스트레이션을 통한 기회

이러한 과제 중 다수는 유연하고 상호 운용 가능하며 인간 중심적인 에이전트 오케스트레이션 솔루션의 필요성을 나타냅니다. 에이전트 오케스트레이션은 사람, 로봇, AI 에이전트의 기능에 따라 작업과 책임을 효과적으로 관리하고 할당하여 운영이 원활하고 효율적이며 비즈니스의 전략적 결과에 부합하도록 보장합니다.

신뢰할 수 있는 AI 에이전트, 결정론적 자동화, 인간의 입력을 효과적으로 통합하는 오케스트레이션 계층은 다음과 같은 몇 가지 이점을 제공합니다.

• 결정론적 백스톱을 통한 신뢰성 향상:조정된 접근 방식의 이상적인 최종 상태는 통제된 기관이며, 이는 과도한 수동 개입 없이 최적의 효율성을 허용합니다. 이는 엔터프라이즈급 도구, 결정론적 로봇 및 편안한 수준의 인간 검토에 의해 프로세스가 신중하게 제한되는 전문 AI 에이전트의 조정에 달려 있습니다. AI 에이전트를 결정론적 자동화 스크립트 또는 규칙과 결합함으로써 오케스트레이션 계층은 항상 대체 경로가 있도록 보장합니다. 예를 들어 AI 에이전트의 출력이 특정 정확도 임계값을 충족하지 못하는 경우 사전 정의된 규칙이 해당 사례를 처리할 수 있습니다(또는 최소한 플래그를 지정). 이 하이브리드 접근 방식은 AI의 창의성을 활용하지만 가드레일 내에서 이루어집니다. 시간이 지남에 따라 오케스트레이션 플랫폼은 결과 모니터링을 통해 어떤 에이전트가 어떤 작업에 가장 신뢰할 수 있는지 학습하고 이에 따라 작업을 라우팅하여 성공률을 최적화할 수도 있습니다. 결과적으로 단일 블랙박스 에이전트에 비해 워크플로의 전반적인 안정성이 높아졌습니다. 한 개발자가 언급했듯이 "사람의 감독으로 엄격하게 제한된 [상담원]"과 잘 정의된 프로세스는 안정적으로 좋은 결과를 얻을 수 있습니다. 바로 오케스트레이션이 가능하게 하는 것입니다.

• 인간 참여형(Human-in-the-Loop) 통합:잘 설계된 오케스트레이션 계층의 주요 이점은 인간 체크포인트를 쉽게 구성할 수 있다는 것입니다. 예를 들어, 상담원의 신뢰도가 낮거나 결정에 위험이 큰 경우 일시 중지하고 사람의 승인을 요청하도록 오케스트레이션 계층을 구성할 수 있습니다. 이는 중요한 워크플로에 에이전트를 배포하는 데 필요한 '안전망'을 제공합니다. 각 에이전트에 대해 개별적으로 사람의 감독을 하드 코딩하는 대신 공통 플랫폼은 사람에게 에스컬레이션하고 시간이 지남에 따라 사람의 수정을 통해 학습할 수 있는 일관된 인터페이스를 제공할 수 있습니다. AI와 인간 워크플로의 이러한 조화는 적절한 경우 AI 속도를 활용하는 데 도움이 되지만 항상 인간의 지원을 받아 안정성과 신뢰를 보장합니다.

• 중앙 집중식 거버넌스 및 보안:공급업체에 구애받지 않는 오케스트레이션 계층은 모든 AI 활동 전반에 걸쳐 보안 및 규정 준수를 균일하게 시행할 수 있습니다. 이는 각 에이전트에 전송되는 데이터를 모니터링하고, 민감한 정보를 삭제하거나 익명화하고, 감사 목적으로 모든 에이전트 결정을 기록하는 게이트웨이 역할을 할 수 있습니다. 이는 조직에 단일 제어 지점을 제공하여 거버넌스 문제를 해결합니다. 예를 들어 관리자는 어떤 AI 모델이 특정 데이터를 처리하도록 허용할지 구성하거나 개인 정보 보호 정책으로 인해 특정 쿼리를 항상 온프레미스 모델에서 처리하도록 요구할 수 있습니다. 이러한 시스템은 에이전트 작업에 대한 역할 기반 제어를 위해 IAM(ID 및 액세스 관리)과 통합될 수도 있습니다. 정책(예:요율 제한 또는 비용 예산)을 전 세계적으로 적용할 수 있습니다. 이러한 모든 기능을 통해 기업은 원치 않는 데이터 유출이나 악의적인 행동을 방지하기 위한 감독 계층이 있다는 사실을 알고 AI 에이전트를 더욱 자신 있게 채택할 수 있습니다.

• 상호 운용성 및 종속 방지:중립적인 오케스트레이션 계층을 통해 팀은 한 공급업체의 생태계에 얽매이지 않고 필요에 따라 다양한 AI 모델이나 서비스를 연결할 수 있습니다. 이렇게 하면 공급자를 전환할 경우 모든 것을 다시 빌드해야 한다는 두려움이 완화됩니다. 한 엔지니어가 주장한 것처럼 최종 사용자는 "공급업체 종속에 대해 걱정할 필요가 없습니다. AI 시스템이 단일 공급업체의 생태계 내에 사용자를 가두는 대신 플랫폼 전반에서 원활하게 작동하도록 보장"하는 것이 목표입니다. 여러 AI 백엔드(OpenAI, Anthropic, 오픈 소스 모델 등)에 "공통 언어"를 사용함으로써 오케스트레이션 계층은 항상 작업에 가장 적합한 도구를 선택하고 기술이나 가격이 변경될 때 전환할 수 있도록 보장합니다.

• 다중 에이전트 조정 및 전문화:오케스트레이션 플랫폼은 각각 하위 작업에 특화된 에이전트 팀을 관리하고 상호 작용을 결정론적으로 조정할 수 있습니다. 이는 실무자의 복잡성을 줄여줍니다. 오케스트레이션 계층은 에이전트 전반에 걸쳐 작업 라우팅, 상태 관리 및 오류 복구를 처리할 수 있습니다. 하나의 모놀리식 에이전트가 모든 것을 시도하고 종종 예측할 수 없게 실패하는 대신, 오케스트레이션 레이어를 통해 특정 역할에 초점을 맞춘 보다 간단한 에이전트를 구성할 수 있습니다. 이러한 설정에는 AI가 필요하지 않은 작업을 위한 규칙 기반 자동화 또는 기존 소프트웨어 구성 요소도 포함될 수 있으므로 AI가 가치를 추가하는 경우에만 사용되도록 할 수 있습니다. 그 결과, 하나의 구성 요소가 실패하거나 불확실한 출력을 생성하는 경우 오케스트레이션 플랫폼이 이를 포착할 수 있는 보다 강력한 시스템이 탄생했습니다(예:검증, 재시도 또는 대체를 통해).

• 비용 최적화 및 리소스 유연성:공급업체에 구애받지 않는 플랫폼은 다양한 모델이나 경로 중에서 동적으로 선택하여 성능 요구 사항을 충족하면서 비용을 최소화할 수 있습니다. 예를 들어 간단한 쿼리에는 더 저렴한 로컬 모델을 사용하고 복잡한 경우에만 최종 사용자에게 투명하게 더 비싼 API를 호출할 수 있습니다. 또한 요청을 일괄 처리하고 결과를 캐시하거나 에이전트 실행 빈도를 조정할 수도 있습니다. 한 팀은 이 작업을 수동으로 수행했다고 보고했습니다(캐싱 추가 및 특정 작업에 더 저렴한 모델 사용). 지능형 오케스트레이션 플랫폼은 이러한 최적화를 자동으로 처리할 수 있습니다. 또한 조직은 하나의 공급업체에 얽매이지 않음으로써 가격 경쟁을 통해 가격을 인상할 경우 보다 비용 효율적인 서비스로 전환할 수 있습니다. 이 유연성 오케스트레이션을 통해 리소스를 가장 효율적인 방식(사용자가 원하는 대로 각 작업에 대해 "최적 및 가장 저렴한" 모델)으로 사용할 수 있으므로 ROI가 향상됩니다.

'에이전트 오케스트레이션에 대한 최종 가이드'를 읽어보세요.

요약하자면, 검증되고 신뢰할 수 있는 에이전트 조정 계층은 다음과 같은 여러 문제점을 직접적으로 해결합니다.

• 자율성이나 유용성을 훼손하지 않고 상담원의 신뢰성을 향상시켜 통제된 대행사를 제공합니다.

• 더 나은 결과를 위해 AI와 인간 및 로봇을 결합합니다.

• 다중 에이전트 복잡성을 관리 가능한 프레임워크로 추상화합니다.

• 단일 공급업체 제한 방지

• 엔터프라이즈 규모 배포에 필요한 거버넌스 제공

반복성 문제, 통합 문제, 보안 문제, 비용 초과 등 실제 문제로부터 학습함으로써 이러한 솔루션은 실무자가 훨씬 적은 마찰과 위험으로 AI 에이전트를 활용할 수 있도록 지원합니다. 그 결과, 더욱 안정적이고 적응력이 뛰어나며 비즈니스 요구 사항에 부합하는 AI 에이전트 생태계가 탄생하여 팀이 인프라와 싸우기보다는 문제 해결에 집중할 수 있게 되었습니다.

다음: