생산성 향상:UI 자동화와 LLM 기반 자동화 결합

최근 다수의 선도적인 AI 회사에서는 강력한 기본 대형 언어 모델(LLM)을 활용하여 사람들이 화면에서 수행하는 많은 작업을 신속하게 자동화하는 새로운 기능을 출시했습니다. Anthropic의 Computer Use, Amazon Q Business 및 곧 출시될 OpenAI "Operator"는 코딩이나 모델 교육 없이도 화면을 빠르게 이해하고, 사용 중인 소프트웨어를 작동하고, 사용자가 원하는 작업을 에뮬레이션할 수 있습니다.

LLM 기반 자동화는 자동화하는 새로운 방법입니다. 이는 훈련된 모델과 규칙 기반 접근 방식을 사용하여 정보를 추출하고 화면, 시스템 및 소프트웨어와 상호 작용하는 UI 자동화와 크게 다릅니다. LLM 기반 자동화는 사용하기가 훨씬 간단하기 때문에 일부 업계 관찰자들은 LLM 기반 자동화가 UI 자동화를 대체할 수도 있다고 제안했습니다.

우리는 이러한 새로운 기술에 대해 광범위한 평가를 수행했으며 기업과 사용자 전반에 걸쳐 자동화의 영향을 확장할 수 있는 잠재력에 기대하고 있습니다. 실제로 우리는 이들 중 최고의 기능을 플랫폼에 통합하고 있습니다. 이를 통해 AI는 인간과 마찬가지로 소프트웨어와 상호 작용할 수 있으므로 사람과 화면 간의 상호 작용에 진정으로 혁명을 일으킬 수 있다고 믿습니다. 이는 개인 생산성을 새로운 차원으로 끌어올릴 수 있는 잠재력을 갖고 있으며 실제로 누구나 지루하고 반복적인 작업을 자동화할 수 있는 시민 개발자가 될 수 있습니다. 

그러나 LLM 기반 자동화는 모든 프로세스에서 UI 자동화를 완전히 대체할 수는 없습니다. 예를 들어, UI 자동화는 여러 시스템에 액세스하고 민감하거나 독점 데이터를 다루는 작업이 포함된 대용량의 미션 크리티컬 자동화 프로세스에 훨씬 더 나은 선택입니다. 이러한 유형의 프로세스는 기업 전반에 걸쳐 존재하며 일반적으로 UI 자동화를 통해 더 잘 처리됩니다.

그 이유를 이해하기 위해 각 접근 방식이 어떻게 작동하는지 빠르게 살펴보겠습니다.

UI 자동화와 LLM 기반 자동화는 서로 다르게 작동하며 이것이 중요합니다

LLM 기반 접근 방식은 일반적으로 다중 모드 LLM(그림, 단어, 오디오 등 이해)을 사용하여 화면을 "읽고" 조치를 취합니다. 접근 방식은 클라우드에 호스팅된 화면 정보(데이터, 필드 등)를 이해하는 LLM에 따라 달라집니다. 그런 다음 모델은 인간이 취할 행동을 예측하고 해당 행동(데이터 복사 및 붙여넣기 등)을 수행하라는 명령을 보냅니다.

반대로, UI 자동화에서 로봇은 사전 개발된 지침 세트에 따라 정의된 작업을 완료합니다. 고객 및/또는 사용자의 환경 내에서 실행될 수 있습니다. 데이터는 로컬에서만 해석될 수 있으며 로봇은 명확하고 결정적인 지침 세트를 따릅니다. 최근 AI 기반의 발전으로 안정성과 신뢰성이 크게 향상되어 취성 및 파손과 같은 UI 자동화의 초기 문제가 많이 해결되었습니다.

UI 자동화의 분명한 이점

높은 보안과 정확성이 요구되는 복잡한 대용량 다중 시스템 프로세스를 자동화할 때 이러한 두 가지 접근 방식의 차이점이 모든 차이를 만듭니다. 이러한 유형의 워크플로에는 UI 자동화가 훨씬 더 나은 옵션입니다. 이유는 다음과 같습니다:

정확성 및 완전성:주문-결제와 같은 업무상 중요한 프로세스는 한 곳에서 다른 곳으로 데이터를 정확하게 추출, 이동 및 게시하는 것은 물론 이러한 활동과 관련된 문서 및 커뮤니케이션에 따라 달라집니다. 이 영역에서는 LLM 기반 접근 방식이 UI 자동화 성능을 따라올 수 없습니다.

예를 들어, UiPath 데이터 분석에 따르면 모든 고객 자동화 중 96.5%가 UiPath의 UI 자동화 접근 방식을 통해 성공적으로 실행되는 것으로 나타났습니다. AI 기반 자동화에 대해 공개적으로 사용 가능한 데이터는 신뢰성이 훨씬 낮다는 것을 시사합니다. 예를 들어, Anthropic은 모델에 컴퓨터를 사용하도록 하는 개발자의 시도를 평가하기 위해 고안된 테스트에서 14.9%의 정확도를 보고했습니다. 이는 인간의 기술 수준인 70-75%보다 훨씬 낮은 수치입니다. 정확성은 시간이 지나면 확실히 향상되지만 UI 자동화와 동등한 수준을 달성하려면 아직 갈 길이 멉니다.

다른 문제도 있습니다. 모든 LLM은 환각을 느끼기 쉽고 예측할 수 없는 행동을 취할 수 있습니다. 예를 들어, Anthropic 연구자들은 LLM이 갑자기 작업을 중단한 사례(잘못된 화면을 클릭하거나 설명할 수 없는 국립공원 사진을 다운로드하는 경우)를 지적했습니다. UI 자동화의 결정론적 로봇에는 그런 식으로 공격할 수 있는 능력이 부족합니다.

그렇다면 완전성의 문제가 있습니다. 보이는 화면의 사진을 찍는 접근 방식은 여백 아래로 확장되는 드롭다운 목록의 데이터를 놓칠 수 있습니다. 그리고 사진을 찍을 때 발생하지 않았던 단기적인 동작을 간과할 수도 있습니다. UI 자동화에는 이러한 문제가 없습니다.

보안 및 거버넌스:개인 정보 보호를 보장하고 악의적인 침입을 차단하며 독점 데이터를 방화벽 내에 유지하는 경우 UI 자동화는 훨씬 덜 위험한 선택입니다. 예를 들어 UI 자동화를 사용하면 필요한 데이터만 수집됩니다. LLM 기반 자동화와 달리 UI 자동화에는 중요한 데이터가 실수로 포함될 수 있는 스크린샷을 전체적으로 추출하는 작업이 포함되지 않습니다. 또한 UI 자동화를 수행하는 UiPath 소프트웨어 로봇은 자격 증명을 받을 수 있으며 민감한 데이터에 대한 액세스가 제어됩니다. 현재 LLM 기반 자동화에서는 그러한 수준의 보안을 사용할 수 없습니다.

우리에게는 둘 중 하나가 아니라 둘 다입니다

미래를 내다보면 LLM 기반 자동화의 등장이 특정 유형의 프로세스 및 활동에 있어 큰 도약을 의미한다는 것이 분명해졌습니다. 세상은 화면과 소프트웨어를 사용하는 사실상 모든 사람의 손에 즉석, 노코드, 프롬프트 기반 자동화를 제공하는 꿈을 실현하는 데 가까워졌습니다. 이는 이전에 볼 수 없었던 개인 생산성과 성능의 새로운 시대를 여는 것입니다.

우리는 이미 이러한 유형의 기능을 UiPath Platform™에 도입하기 위한 조치를 취하고 있습니다. 특히 우리는 이를 곧 모두를 위한 Autopilot™과 같은 최종 사용자 경험에 통합할 뿐만 아니라 시민 개발자 및 자동화 전문가를 위한 추가 옵션으로 LLM 기반 자동화를 제공할 예정입니다.

우리는 기업이 이러한 새로운 기능을 활용하기를 원할 것이라는 점을 알고 있습니다. 동시에 안전하고 완전한 통제권을 갖고 이를 수행하기를 원합니다. 따라서 우리는 기업이 채택하는 모델에 관계없이 기업이 요구하는 필수 조정, 관리 및 거버넌스를 제공하기 위해 플랫폼의 기능을 확장해 왔습니다.

그러나 LLM 기반 자동화에 대한 기능과 지원을 확장하는 동시에 UI 자동화 기능도 지속적으로 발전시키고 있습니다. 왜냐하면 UI 자동화가 다양한 핵심 기업 프로세스에 가장 적합한 솔루션이 될 것이기 때문입니다. 우리는 계속해서 새로운 AI 발전을 활용하여 UI 자동화를 더욱 지능적으로 만들고, 상당한 코딩과 교육 없이도 이해하고 실행하는 데 더욱 쉽게 만들고, 탄력성을 높일 것입니다. 대표적인 예:실패한 자동화를 자가 복구할 수 있는 새로운 UiPath Healing Agent(현재 공개 미리보기로 제공됨)입니다.

간단히 말해서, UiPath는 UI 및 LLM 기반 접근 방식을 포함한 모든 형태의 LLM 기반 자동화의 미래를 믿습니다. 각각은 고유한 강점을 가지고 있습니다. 각각은 특정 자동화 기회 세트에 대해 더 나은 선택입니다. 우리의 목표는 현재와 미래에 사용할 수 있는 모든 자동화 옵션을 조율, 통제, 관리할 수 있는 엔터프라이즈 플랫폼을 통해 새로운 AI 접근 방식과 함께 이 두 가지를 모두 사용할 수 있도록 하는 것입니다.