기업 영역에서 기계 학습 통합을 시작하는 방법

세상은 이미 산업혁명을 지나 디지털 혁명의 시대를 맞고 있습니다. 머신 러닝, 인공 지능, 빅 데이터 분석은 오늘날 세상의 현실입니다.

저는 최근에 Talend의 제품 수석 부사장인 Ciaran Dynes와 Datalytyx의 전무 이사인 Justin Mullen과 이야기를 나눌 기회가 있었습니다. Talend는 기업에 빅 데이터 솔루션을 제공하는 소프트웨어 통합 공급업체이며, Datalytyx는 빅 데이터 엔지니어링, 데이터 분석 및 클라우드 솔루션을 제공하는 선두 업체로서 기업 전체에서 더 빠르고 효과적이며 수익성 있는 의사 결정을 가능하게 합니다.

빅 데이터 운영의 진화

빅 데이터 운영의 진화에 대해 더 자세히 이해하기 위해 저는 Justin Mullen에게 그의 회사가 5년 전에 직면한 도전과제와 그들이 현대적인 통합 플랫폼을 찾는 이유에 대해 물었습니다. 그는 “고객이 직면한 것과 유사한 문제에 직면했습니다. 빅 데이터 분석 이전에는 이것이 바로 제가 불렀던 것입니다.

그는 “고객이 직면한 것과 유사한 문제에 직면했습니다. 빅 데이터 분석 이전에는 제가 '어려운 데이터 분석'이라고 불렀습니다. 주로 온프레미스 시스템에서 데이터를 수동으로 집계하고 처리하는 작업이 많이 있었습니다. 그리고 우리가 직면한 가장 큰 문제는 원시 데이터를 분석하고 비즈니스가 이해할 수 있는 의미 있는 방식으로 결과를 시각화하는 데 사용할 수 있는 다양한 분석 알고리즘을 적용하기 전에 데이터를 중앙 집중화하고 신뢰하는 것이었습니다."

그는 또한 "우리 고객은 이 분석을 한 번만 원했을 뿐만 아니라 몇 개월 및 몇 년에 걸쳐 KPI 성과에 대한 업데이트를 지속적으로 새로고침하기를 원했습니다. 수동 데이터 엔지니어링 방식으로는 고객의 요구 사항을 충족하는 것이 매우 어려웠습니다. 바로 그때 우리는 이러한 문제를 해결하는 강력하고 신뢰할 수 있는 데이터 관리 플랫폼이 필요하다고 결정했습니다."

데이터 과학의 도래

대부분의 경제학자와 사회 과학자는 제조 및 상업 프로세스를 인수하는 자동화에 대해 우려하고 있습니다. 디지털화와 자동화가 현재와 같은 속도로 계속 성장한다면 노동력에서 기계가 부분적으로 인간을 대체할 가능성이 높습니다. 오늘날 우리는 세계에서 현상의 몇 가지 예를 보고 있지만 미래에는 훨씬 더 두드러질 것으로 예상됩니다.

그러나 Dynes는 “데이터 과학자들은 오늘날 다양한 부문이 직면한 복잡하고 복잡한 문제에 대한 솔루션을 제공하고 있습니다. 그들은 데이터 분석의 유용한 정보를 활용하여 사물을 이해하고 수정합니다. 데이터 과학은 입력이고 출력은 자동화의 형태로 산출됩니다. 기계는 자동화하지만 인간은 원하는 출력을 얻기 위해 필요한 입력을 제공합니다.”

이것은 인간과 기계 서비스에 대한 수요의 균형을 만듭니다. 자동화와 데이터 과학은 둘 다 병행합니다. 한 프로세스는 다른 프로세스 없이는 불완전합니다. 원시 데이터는 의미 있는 결과를 생성하기 위해 조작할 수 없다면 아무 가치가 없습니다. 마찬가지로 머신 러닝은 충분하고 관련성 높은 데이터 없이는 발생할 수 없습니다.

빅 데이터를 비즈니스 모델에 통합

Dynes는 "기업은 데이터의 중요성을 깨닫고 빅 데이터 및 머신 러닝 솔루션을 비즈니스 모델에 통합하고 있습니다."라고 말합니다. 그는 또한 “우리는 우리 주변에서 자동화가 일어나는 것을 보고 있습니다. 전자 상거래 및 제조 부문에서 분명하게 나타나고 있으며 모바일 뱅킹 및 금융 분야에서 광범위하게 응용되고 있습니다."

머신 러닝 프로세스와 플랫폼의 수요 변화에 대한 그의 의견을 묻자 “요구는 항상 있었습니다. 데이터 분석은 5년 전이나 지금이나 똑같이 유용했습니다. 유일한 차이점은 5년 전에는 기업가 독점이 있었고 데이터가 비밀리에 저장되었다는 것입니다. 데이터가 있는 사람은 누구에게나 권력이 있었고 데이터에 액세스할 수 있는 저명한 시장 참여자는 소수에 불과했습니다."

Justin은 여러 회사에서 일했습니다. 그의 가장 저명한 고객 중 일부는 Calor Gas, Jaeger 및 Wejo였습니다. 고급 분석이나 머신 러닝을 구현하기 전에 기업이 직면한 문제에 대해 그는 "대부분의 고객이 직면한 가장 큰 문제는 복잡한 알고리즘을 동시에 실행할 수 있지만 결과는 얻을 수 있도록 필수 데이터를 한 곳에 축적하는 것이었습니다. 더 나은 분석을 위해 한 곳에서 볼 수 있습니다. 데이터 배관 및 데이터 파이프라인은 데이터 통찰력이 일회성이 아닌 지속적이 되도록 하는 데 매우 중요했습니다."

빠른 디지털화의 이유

Dynes는 “우리는 두 가지 주요 이유로 인해 급격한 디지털화를 경험하고 있습니다. 기술은 지난 몇 년 동안 기하급수적으로 발전했고 두 번째로 조직 문화가 엄청나게 진화했습니다.” 그는 “오픈 소스 기술과 클라우드 플랫폼의 출현으로 데이터에 더 쉽게 접근할 수 있게 되었습니다. 이제 더 많은 사람들이 정보에 액세스할 수 있으며 이 정보를 자신의 이익을 위해 사용하고 있습니다.”

기술의 발전과 발전과 더불어 “노동력에 진입하는 새로운 세대도 기술에 의존합니다. 그들은 일상적인 일상 작업을 위해 기술에 크게 의존합니다. 그들은 투명한 의사 소통에 더 개방적입니다. 따라서 이 세대에서 데이터를 수집하는 것이 더 쉽습니다. 왜냐하면 그들은 자신의 의견과 선호도에 대해 이야기할 준비가 되어 있기 때문입니다. 그들은 불가능한 질문을 하고 대답할 준비가 되어 있습니다.”라고 Dynes는 말합니다.

기업이 빅 데이터 분석 솔루션을 선택하는 동안 직면하는 문제에 대해 이야기할 때 Mullen은 다음과 같이 덧붙입니다. 그들이 직면한 첫 번째 과제는 데이터 수집, 데이터 수집, 데이터 큐레이션(품질) 및 데이터 집계와 관련이 있습니다. 두 번째 과제는 데이터 엔지니어링, 고급 분석 및 머신 러닝 분야에서 인간의 기술 부족을 해결하는 것입니다."

Dynes는 “새로운 세계와 기존 세계를 통합해야 합니다. 구세계는 데이터 수집에 크게 의존했지만 새로운 세계는 주로 데이터 솔루션에 중점을 둡니다. 현재 업계에는 이러한 두 가지 요구 사항을 동시에 충족하는 솔루션이 제한되어 있습니다.”

그는 “데이터 엔지니어링의 중요성은 간과할 수 없고, 머신러닝은 판도라의 상자와 같다. 그 응용 프로그램은 많은 분야에서 널리 볼 수 있으며 일단 품질 제공자로 자신을 확립하면 기업이 귀하의 서비스를 제공할 것입니다. 좋은 일입니다.”

빅 데이터 솔루션 및 머신 러닝에 대한 더 흥미로운 업데이트를 보려면 Twitter 및 LinkedIn에서 Ciaran Dynes, Justin Mullen, Ronald van Loon을 팔로우하세요.