생산성 발휘: UI 자동화와 LLM 기반 자동화의 결합

최근 여러 선도 AI 기업들이 화면에서 사람들이 수행하는 많은 행동을 빠르게 자동화하기 위해 강력한 기초 거대 언어 모델(LLM)을 활용하는 새로운 기능을 출시했습니다. 앤트로픽(Anthropic)의 컴퓨터 사용(Computer Use), 아마존 Q 비즈니스(Amazon Q Business), 곧 출시될 오픈AI "오퍼레이터(Operator)"는 화면을 빠르게 이해하고, 사용 중인 소프트웨어를 조작하며, 사용자의 원하는 행동을 에뮬레이트할 수 있습니다. 코딩이나 모델 훈련 없이 말입니다.

LLM 기반 자동화는 자동화하는 새로운 방식입니다. 이는 훈련된 모델과 규칙 기반 접근법에 의존해 정보를 추출하고 화면, 시스템, 소프트웨어와 상호작용하는 UI 자동화와 상당히 다릅니다. LLM 기반 자동화가 훨씬 사용하기 간단하기 때문에, 일부 업계 관찰자들은 그것이 UI 자동화를 대체할 수 있다고 제안했습니다.

우리는 이러한 새로운 기술들을 광범위하게 평가했으며, 기업과 사용자 전반에 자동화의 영향을 확장할 잠재력에 고무되었습니다. 사실, 우리는 그것들의 최고를 우리 플랫폼에 통합하고 있습니다. AI가 소프트웨어와 인간이 하는 방식대로 상호작용하게 해주기 때문에, 사람과 화면 간의 상호작용을 진정으로 혁신할 수 있다고 믿습니다. 개인 생산성을 새로운 차원으로 끌어올리고, 사실상 화면과 소프트웨어를 사용하는 누구나 시민 개발자가 되어 지루하고 반복적인 작업을 자동화할 수 있게 할 잠재력을 가집니다.

그러나 LLM 기반 자동화는 모든 프로세스에서 UI 자동화를 완전히 대체하지는 않을 것입니다. 예를 들어, 여러 시스템에 접근하고 민감하거나 독점적 데이터로 작업하는 대량, 미션 크리티컬 자동화 프로세스에는 UI 자동화가 훨씬 더 나은 선택입니다. 이러한 유형의 프로세스는 기업 전반에 넘쳐나며, 일반적으로 UI 자동화로 더 잘 처리됩니다.

왜 그런지 이해하기 위해 각 접근법이 어떻게 작동하는지 간단히 살펴보겠습니다.

UI 자동화와 LLM 기반 자동화는 다르게 작동합니다. 그리고 그것이 중요합니다

LLM 기반 접근법은 일반적으로 멀티모달 LLM(이미지, 단어, 오디오 등 이해)을 사용해 화면을 "읽고" 행동을 취합니다. 이 접근법은 클라우드에 호스팅된 화면의 정보(데이터, 필드 등)를 LLM이 이해하는 데 의존합니다. 모델은 인간이 취할 행동을 예측하고 행동을 취하라는 지시를 보냅니다(데이터 복사 및 붙여넣기 등).

반면 UI 자동화에서 로봇은 정의된 작업을 완료하기 위해 사전 개발된 지침 세트를 따릅니다. 고객 및/또는 사용자 환경 내에서 실행될 수 있습니다. 데이터는 로컬에서만 해석될 수 있으며, 로봇은 명확하고 결정론적인 지침 세트를 따릅니다. 최근 AI 기반 발전으로 안정성과 신뢰성이 크게 향상되어, UI 자동화의 초기 취약성과 깨짐 문제를 많이 해결했습니다.

UI 자동화의 명확한 이점

이 두 접근법의 차이는 복잡하고 대량이며 다중 시스템 프로세스를 자동화할 때, 높은 보안과 정확성이 요구될 때 모든 차이를 만듭니다. 이러한 유형의 워크플로에는 UI 자동화가 훨씬 더 나은 옵션입니다. 이유는 다음과 같습니다:

정확성과 완전성: 주문-현금화(order-to-cash) 같은 미션 크리티컬 프로세스는 한 곳에서 다른 곳으로 데이터의 정확한 추출, 이동, 게시뿐만 아니라 이러한 활동을 둘러싼 문서화와 커뮤니케이션에 의존합니다. 이 영역에서 LLM 기반 접근법은 UI 자동화의 성과를 따라잡을 수 없습니다.

예를 들어, 유아이패스 데이터 분석에 따르면 우리 고객의 모든 자동화 중 96.5%가 UI 자동화 접근법으로 성공적으로 실행됩니다. AI 기반 자동화에 대한 공개 데이터는 그것이 훨씬 덜 신뢰할 수 있음을 시사합니다. 예를 들어, 앤트로픽은 개발자들이 모델로 컴퓨터를 사용하게 하려는 시도를 평가하기 위해 설계된 테스트에서 14.9% 정확률을 보고했습니다. 이는 인간의 기술 수준 70-75%보다 훨씬 낮습니다. 정확도는 시간이 지남에 따라 확실히 향상되겠지만, UI 자동화와 동등해지기까지는 갈 길이 멉니다.

다른 문제들도 있습니다. 모든 LLM은 환각(hallucinations)에 취약하고 예측 불가능한 행동을 취할 수 있습니다. 예를 들어, 앤트로픽 연구원들은 LLM이 갑자기 작업을 이탈해 잘못된 화면을 클릭하거나 불가사의하게 국립공원 사진을 다운로드하는 사례를 기록했습니다. UI 자동화의 결정론적 로봇은 그런 식으로 폭주할 능력이 없습니다.

완전성 문제도 있습니다. 보이는 화면의 사진을 찍는 접근법은 여백 아래로 확장되는 드롭다운 리스트의 데이터를 놓칠 수 있습니다. 그리고 사진이 찍힐 때 발생하지 않았던 짧은 수명의 행동을 간과할 수 있습니다. UI 자동화는 이런 문제가 없습니다.

보안과 거버넌스: 프라이버시 보장, 악의적 침입 차단, 독점 데이터를 방화벽 내에 유지하는 측면에서 UI 자동화는 훨씬 덜 위험한 선택입니다. 예를 들어, UI 자동화에서는 필요한 데이터만 수집됩니다. LLM 기반 자동화와 대조적으로, UI 자동화는 의도치 않게 민감한 데이터를 포함할 수 있는 스크린샷의 대량 추출을 포함하지 않습니다. 게다가 우리의 UI 자동화를 수행하는 유아이패스 소프트웨어 로봇은 자격 증명을 부여받을 수 있고 민감한 데이터에 대한 접근을 통제할 수 있습니다. 그런 수준의 보안은 현재 LLM 기반 자동화에서는 사용할 수 없습니다.

우리에게는 둘 중 하나가 아니라 둘 다입니다

미래를 내다볼 때, LLM 기반 자동화의 부상이 특정 유형의 프로세스와 활동에 대한 큰 도약임은 분명합니다. 세계는 화면과 소프트웨어를 사용하는 거의 모든 사람의 손에 즉석, 노코드, 프롬프트 주도 자동화를 쥐여주는 꿈을 실현하기 직전입니다. 이는 우리가 이전에 본 적 없는 개인 생산성과 성과의 새로운 시대를 열 것입니다.

우리는 이미 이러한 유형의 역량을 유아이패스 플랫폼(UiPath Platform™)에 가져오기 위한 조치를 취하고 있습니다. 특히, 곧 우리의 엔드 유저 경험인 오토파일럿(Autopilot™) for Everyone에 통합할 예정이며, 시민 개발자와 자동화 전문가를 위한 추가 옵션으로 LLM 기반 자동화도 제공할 것입니다.

기업들이 이러한 새로운 역량을 활용하고 싶어 하지만, 안전하고 완전한 통제로 그렇게 하고 싶어 할 것임을 우리는 알고 있습니다. 따라서 우리는 어떤 모델, 또는 모델들을 채택하든 기업들이 요구하는 필요한 오케스트레이션, 관리, 거버넌스를 제공하기 위해 플랫폼 역량을 확장해 왔습니다.

하지만 LLM 기반 자동화에 대한 기능과 지원을 확장하면서도, 우리는 UI 자동화 역량을 계속 발전시키고 있습니다. UI 자동화가 광범위한 중요한 엔터프라이즈 프로세스에 대한 최상의 솔루션이기 때문입니다. 우리는 새로운 AI 발전을 지속적으로 활용해 UI 자동화를 더욱 지능적으로 만들고, 중요한 코딩과 훈련 없이 이해하고 행동하는 데 더 능숙하게 만들고, 더 탄력적으로 만들 것입니다. 대표적 예: 새로운 유아이패스 힐링 에이전트(UiPath Healing Agent, 현재 공개 미리보기), 실패한 자동화를 자가 치유할 수 있습니다.

간단히 말해, 유아이패스는 UI 및 LLM 기반 접근법을 포함한 모든 형태의 LLM 기반 자동화의 미래를 믿습니다. 각각 고유한 강점이 있으며, 각각 특정 자동화 기회 세트에 대한 더 나은 선택입니다. 우리의 목표는 오늘과 미래에 사용 가능한 자동화 옵션의 전체 파노라마를 오케스트레이션, 거버넌스, 관리할 수 있는 엔터프라이즈 플랫폼을 통해 둘 다(그리고 앞으로 등장할 새로운 AI 접근법들)를 제공하는 것입니다.