자동화된 데이터 사이언스·머신러닝 솔루션으로 비즈니스 인사이트 가속화

데이터 사이언티스트는 데이터 사이언스 프로젝트 성공에 필수적입니다. 하지만, 그들은 혼자 할 수 없습니다. 다른 기술 세트의 도움과 자동화 솔루션이 필요합니다.

데이터, 현대 기계의 톱니바퀴에 기름을 바르는 오일(oil). 하지만, 문제가 있습니다. 조직들은 이 새로운 힘에서 비즈니스 인사이트를 얻는 데 어려움을 겪고 있습니다.

공급 부족

시장에서 많은 엔터프라이즈 고객이 매우 큰 데이터 사이언스 팀을 구축하려 합니다. 일부는 고객 입력부터 IoT 디바이스까지 — 이것이 주요 채널이 될 것입니다 — 데이터 폭발을 다루기 위해 수백 명을 고용하려 합니다.

하지만 그리 쉽지 않습니다. 데이터 사이언티스트가 엄청나게 부족합니다.

가트너가 용어를 만든 '시민 데이터 사이언티스트(citizen data scientists)'가 있습니다 — 고급 진단 분석이나 예측 및 처방 능력을 사용하는 모델을 생성하거나 만드는 사람으로, 주된 업무 기능이 통계 및 분석 분야 밖에 있지만 — 전문 데이터 사이언티스트를 보완하는 역할을 합니다. 그들은 전문가를 대체하지 않습니다. 그렇게 할 구체적이고 고급 데이터 사이언스 전문 지식이 없기 때문입니다.

이럼에도 불구하고, 많은 기업이 시민 데이터 사이언스 팀을 구축하는 것조차 정말 어려워하고 있습니다. 전문 데이터 사이언티스트 팀은 말할 것도 없습니다.

데이터 사이언스

데이터 사이언스는 구조화 및 비정형 데이터를 포함한 다양한 형태의 데이터에서 과학적 방법, 프로세스, 알고리즘, 시스템을 사용해 지식과 인사이트를 추출하는 다학제 분야로 설명됩니다. 데이터 마이닝과 유사합니다.

자연스럽게 많은 다른 구성 요소가 있습니다. 그 중 하나가 머신러닝인데, 닷데이터(dotData) CEO 겸 창업자 료헤이 후지마키(Ryohei Fujimaki)에 따르면 "데이터 사이언스에서 가장 재미있는 부분"입니다.

기업들이 직면한 진짜 고통은 데이터 쪽에 있습니다 — 데이터 사이언스가 적용되기에 익은 상태가 되도록 데이터 세트를 구축하는 것. 데이터는 매우 복잡하며, 엔터프라이즈에서 수집될 때 그것은 기계 학습과 데이터 사이언스 목적을 위해 저장된 게 아닙니다. 비즈니스 목적을 위해 저장됩니다. 차트 등에서.

비즈니스는 이 비즈니스 데이터를 머신러닝 형식으로 변환해야 합니다. 이를 "피처 러닝(feature learning)"이라고 합니다. 후지마키는 말합니다. "그리고 기본적으로 우리는 많은 도메인 지식을 적용해 데이터를 실행해야 합니다."

그래서, 인재가 부족하지만 데이터는 계속 흐르는 이 환경에서, 데이터 사이언스의 엔드투엔드 프로세스를 자동화하는 것이 필요합니다. 피처 파이프라인의 데이터를 포함해서.

인사이트 획득과 행동 촉진

머신러닝은 예측하고, 새로운 고객을 식별할 수 있으며, 금융 서비스에서는 누가 가장 위험한지 예측할 수 있습니다. 이 예측*이 비즈니스 프로세스 자동화를 주도합니다. 핵심 비즈니스는 비즈니스 시스템과 통합되고 자동으로 일부 비즈니스 액션을 트리거합니다. 이런 방식으로 비즈니스를 훨씬 더 효율적으로 만들 수 있는 많은 영역이 있습니다.

머신러닝과 데이터 사이언스 프로세스에서 또 다른 매우 중요한 결과는 비즈니스 인사이트입니다. 데이터는 매우 복잡합니다 — 업계 전문가들은 도메인 지식과 직관을 가지고 있지만 — 기업에 유입되는 방대한 데이터 뒤에 많은 숨겨진 지식이 있습니다. 머신러닝이나 데이터 사이언스 프로세스는 전문가에게도 알려지지 않았거나 보이지 않거나 예상치 못한 무언가를 보통 밝혀낼 수 있습니다.

닷데이터 사례

닷데이터는 자사 플랫폼을 적용해 모기지 론 타입 제품에 관심 있을 신규 고객을 예측하는 은행 고객과 협력했습니다. 그들은 처음에 이 제품이 젊은 사람들에게 어필할 것이라고 생각했습니다. 하지만, 그들이 발견한 것은 매우 다른 유형의 고객이 관심을 가졌다는 것입니다. 연령이 좀 더 높은 사람들이었습니다. 이 인구통계학적 고객이 예측된 젊은 인구통계보다 이 제품을 더 많이 구매하고 있었습니다.

이러한 새로운 비즈니스 인사이트 유형은 고객이 이 고객 세그먼트를 위한 새로운 프로모션 캠페인을 구축하고 설계하거나, 이 유형의 비즈니스 인사이트를 기반으로 새로운 제품을 설계할 수 있게 했습니다.

데이터 사이언스와 머신러닝 프로세스 자동화가 데이터에서 새로운 비즈니스 인사이트를 생산했습니다.

데이터 사이언티스트만으로는... 충분하지 않습니다

비즈니스가 데이터 사이언스에서 의미 있는 비즈니스 결과를 추출할 수 있게 하는 기술 세트는 어떤 유형일까요? 첫 번째는 수학적 또는 통계적 지식이지만, 동시에 이 비즈니스는 매우 크고, 대규모의 복잡한 데이터를 다운로드해야 합니다 — 이를 위해 데이터 엔지니어링이 필요합니다.

"또한, 같은 데이터를 다른 비즈니스 문제 해결에 사용하려면 다른 도메인 전문 지식이 필요합니다."라고 후지마키는 말합니다.

좋은 데이터 사이언티스트는 강력한 수학적 통계적 기술 세트를 가져야 하지만, 종종 비즈니스와 데이터 엔지니어링 기술은 없습니다.

데이터 사이언티스트 부족은 성공적인 데이터 사이언스 프로젝트의 장애물입니다. 하지만 문제는: 데이터 사이언티스트만으로는 크고 복잡한 프로젝트를 완료하기에 충분하지 않습니다.

성공적인 데이터 사이언스 프로젝트에는 도메인 전문가, 설계 엔지니어, 데이터 사이언티스트가 필요합니다.

데이터 사이언스 프로젝트의 매우 큰 부분은 예측*입니다 — 비즈니스 시스템과 통합되어 많은 디지털 유지보수를 자동으로 주도해야 합니다. 이는 비즈니스가 이 데이터 사이언스 프로세스를 이해하고 적절히 비즈니스 시스템에 통합하는 엔지니어가 필요함을 의미합니다. 후지마키는 이런 유형의 사람들을 "데이터 사이언스 탤런트(data science talents)"라고 부릅니다.

데이터 사이언티스트는 필수적이지만, 데이터 사이언스 프로젝트를 완료하는 데는 훨씬 더 많은 역할이 필요합니다.

닷데이터 같은 솔루션은 데이터 사이언스와 머신러닝을 자동화함으로써 이 문제를 해결하고 노력을 공유하고 간극을 메우는 데 도움을 줍니다.