데이터 열정 되찾기: AI Fabric이 해결하는 일반적인 데이터 사이언스 과제

편집자 주: 자동화 시장이 계속 진화함에 따라 UiPath 플랫폼도 고객의 자동화 니즈를 가장 잘 충족하도록 업데이트됩니다. 따라서 이 아티클의 일부 제품명은 최초 게시 이후 변경되었습니다. 최신 정보는 AI Center 페이지를 방문하세요.

저는 데이터 작업하는 것을 좋아합니다. 하지만 그게 저를 좌절시키기도 할까요? 물론입니다.

5년 넘게 데이터 사이언티스트로 일하면서 데이터에 대한 야심과 데이터를 운영화할 때 오는 한계 사이에서 균형을 맞추려 애쓰는 고통을 느껴왔습니다. 예를 들어 제가 좋아하던 회사의 직책을 떠난 적이 있습니다. 머신러닝(ML) 모델을 프로덕션에 배포할 리소스가 없었기 때문입니다. 우리는 데이터를 사용해 과제를 해결하기 위해 매우 열심히 일했지만 결국 제품에 영향을 줄 기회를 얻지 못했습니다. 일이 조직적이고 운영적인 과제로 뒤덮이면 처음에 왜 데이터 작업을 좋아했는지 잊어버리고 낙담하기 쉽습니다.

이 블로그에서는 데이터 사이언티스트의 여정에 대해 이야기하고 싶습니다:

• 데이터 세계에 대한 우리의 관심을 이끄는 동기
• 기대가 현실과 부딪힐 때 직면하는 한계
• 로보틱 프로세스 자동화(RPA) 같은 기술에 데이터 사이언스를 더 잘 통합함으로써 데이터를 운영화하는 방식을 바꿀 수 있는 가능성
• 인공지능(AI)을 RPA와 통합해 데이터를 최대한 활용할 새로운 기회를 주도하는 솔루션인 AI Fabric에 대해 제가 열광하는 이유

데이터에 대한 사랑 저는 창의적인 문제 해결가가 되는 것을 좋아하며, 데이터는 창의적인 문제 해결을 가능하게 합니다.

데이터를 사용해 어려운 과제를 해결하고 사람들의 삶에 영향을 미치는 도전을 해결하는 것은 저에게 자연스러운 커리어 경로처럼 느껴졌습니다. 제가 함께 일한 많은 데이터 사이언티스트들도 데이터를 사용해 문제를 해결하는 방법을 배우기 위해 이 분야에 들어왔습니다. 우리는 우리가 가진 데이터를 이해하고, 탐색하고, 개발하고, ML 알고리즘을 사용해 우리 데이터로 테스트하고, 우리가 구축한 모델의 힘과 인사이트를 통해 새로운 솔루션을 실현하는 방법을 찾는 것에 열정적입니다.

데이터 사이언티스트가 되기로 결심했을 때, 이 일이 수반하는 작업과 잠재적인 골칫거리가 있음을 알았습니다. 어떤 유형의 데이터를 다루든 필연적으로:

• 데이터 처리와 정제에 시간을 씁니다
• 모델이 훈련될 때까지 기다립니다
• 여러 하이퍼파라미터를 시도해보는 데 시간을 씁니다

데이터 작업을 더 많이 할수록 조직의 제약 내에서 데이터 사이언스가 얼마나 복잡해질 수 있는지 더 잘 알게 되었습니다. 데이터 사이언티스트로서의 현실이 원래 이 분야에 뛰어들게 했던 동기를 가려버리기 시작했습니다.

현실의 타격: 기대치 설정과 데이터 엔드투엔드 관리

많은 기업이 개발에 데이터 주도 접근법을 수용하고 있으며 ML 탐색의 초기 단계에 있습니다. 데이터 사이언티스트의 역할은 여전히 꽤 드물고, 많은 경우 오해받습니다. 기업 내에서 데이터를 운영화하고 데이터를 사용해 문제를 해결하며 나아갈 때 데이터 사이언티스트에게 다양한 과제가 발생할 수 있습니다.

조직이 ML로 무엇을 할 수 있고 할 수 없는지에 대한 기대치를 설정하는 것은 우리가 많은 시간을 쏟는 영역 중 하나입니다. 우리의 역할이 데이터 사이언티스트로서 무엇인지, 어디에 시간을 집중하고 싶은지, 우리 프로젝트가 성공하기 위해 무엇이 필요한지에 대해 다른 사람들을 교육하는 것이 중요합니다.

또 다른 과제는 데이터 사이언스 운영이 조직 내에서 종종 사일로(silo)화되어 있다는 사실입니다. 이는 데이터 사이언스 프로젝트가 조직에 가치를 제공하는 능력을 제한할 수 있습니다.

ML 모델만으로는 아무것도 할 수 없으며, 하지도 않습니다. 다른 팀과 협력하고 더 큰 프로젝트의 일부로 포함되어야 성공할 수 있습니다.

게다가 모델이 주도하는 투자 수익(ROI)을 보여주기가 종종 매우 어렵습니다. 데이터 사이언티스트는 조직 내 ML의 역할을 옹호하기 위해 힘든 싸움을 벌이곤 합니다. 데이터 사이언티스트는 우리가 추구하는 역할과 영향을 내기 위해 필요한 것을 주장하며 많은 사이클을 돌게 됩니다.

데이터 자체를 다루는 것도 고유한 과제 세트를 가져옵니다. 우리는 데이터를 이해하고 모델을 구축하는 것보다 데이터 세트를 수집, 통합, 정제하는 데 더 많은 시간을 씁니다. 모델을 위한 지속적 통합/지속적 배포(CI/CD) 파이프라인이 회사 내에 이미 구축되어 있지 않다면, 우리 시간의 상당 부분이 로컬 머신에서 스테이징과 프로덕션으로 모델을 가져갈 확장 가능한 파이프라인을 만드는 데 할애됩니다. 이는 우리의 업무 범위 밖일 뿐만 아니라 모델 구축과 테스트에 쏟고 싶은 시간을 뺏어갑니다.

지속적인 모델 모니터링도 준비되지 않은 과제가 될 수 있습니다. 시간이 지나며 데이터 드리프트(data drift)를 실험하는가? 프로덕션의 데이터가 여전히 훈련에 사용한 데이터와 같은가? 출력이 여전히 통제 하에 있는가? 새로운 데이터로 우리 모델이 훈련 세트로 구축된 베이스 모델만큼 잘 수행되는가? 언제 ML 모델을 업데이트해야 하는가?

내가 사랑하는 것으로 돌아가기 위해, 데이터 사이언스를 더 광범위한 프로세스와 계획에 통합하는 것을 우선시하는 회사에서 일할 기회를 찾았습니다. 오늘 저는 데이터 사이언스를 내부적으로 우선시할 뿐만 아니라 기업이 ML 모델을 운영화하고 소비해 더 나은 비즈니스 결과를 이끌어내도록 적극적으로 돕는 회사에서 일하게 되어 기쁩니다.

AI Fabric으로 사랑하는 일로 돌아가기

점점 더 많은 조직이 RPA를 사용해 프로세스를 간소화함에 따라 데이터 사이언티스트가 데이터를 새로운 방식으로 운영화할 기회가 생기고 있습니다.

UiPath에서 우리는 데이터 사이언스와 RPA를 결합하고 지능형 자동화를 사용해 기업이 새로운 결과를 이끌어내도록 지원하는 데 전념하고 있습니다. 데이터 사이언스를 RPA와 결합함으로써 우리는 자동화 세계에서 데이터 사이언티스트가 일상적으로 직면하는 많은 과제들을 완화하고자 합니다. 우리는 AI Fabric으로 이러한 노력을 주도하고 있습니다.

관련 읽기: 헤리티지 은행이 AI와 AI Fabric을 사용하는 방법

우리는 데이터 사이언스와 RPA가 함께 작동할 때 더 나아진다고 믿습니다. 데이터 사이언티스트를 영입해 데이터와 ML을 사용해 RPA 기능을 강화할 때 가능한 것을 개괄하게 함으로써 데이터 사이언스를 RPA 우수성 센터(CoE)의 필수적인 부분으로 만드는 것이 중요합니다.

AI Fabric 개발을 통해 우리는 조직이 ML을 자동화 프로세스 내의 한 단계로 생각하도록 돕는 데 집중하고 있습니다. 우리는 사용자가 ML을 RPA 개발과 더 원활하게 통합할 수 있도록 돕고 싶습니다. AI Fabric과 RPA를 사용하면 데이터 사이언티스트는 전처리와 데이터 수집에 초점을 맞춘 도구로 데이터 파이프라인 구축을 단순화할 수 있습니다. 모델을 쉽게 배포하고, 모니터링하며, 인간과 ML 모델이 함께 작동하도록 설계된 RPA 워크플로를 수용할 수 있습니다.

데이터 사이언스를 RPA와 통합함으로써 우리는 데이터 사이언티스트가 구축하고 배포한 모델의 ROI를 입증하고, 실제 문제를 해결하는 데이터를 탐색하고 모델을 개선하는 데 대부분의 시간을 집중할 수 있도록 돕고 싶습니다.

데이터에 집중할 더 많은 자유가 주어진다면 무엇을 하시겠습니까?

데이터 사이언티스트가 데이터를 사용해 문제를 해결하는 데 집중할 수 있도록 권한을 부여하고 데이터 사이언스를 기존 프로세스에 통합하는 것이 조직의 진화와 성장 방식을 바꿀 수 있음을 개인적 경험으로 알고 있습니다.

저에게 가장 중요한 것은 고객이 더 나은 결과를 이끌어내도록 돕는 것입니다. UiPath에서의 제 역할에서 기업이 데이터 사이언스를 RPA 배포에 통합함으로써 제품인 AI Fabric을 통해 어떻게 더 복잡한 프로세스를 자동화할 수 있는지 직접 목격했습니다. 기업이 RPA 배포를 통해 데이터 사이언스를 구축함에 따라 데이터 사이언티스트가 일반적인 데이터 운영화 과제에서 해방되는 것을 보는 것은 보람 있는 일입니다.

AI Fabric에 대해 더 알아보거나 AI Fabric의 새로운 오퍼링에 대한 얼리 액세스를 위한 인사이더 프리뷰 프로그램(Insider Preview Program)에 가입하세요.