데이터 분석 프로젝트의 함정을 피하는 방법

최근 Capgemini 연구에 따르면 유럽의 빅 데이터 이니셔티브 중 15%가 실패하는 것으로 나타났습니다. 귀하의 프로젝트가 성공적인 85%에 속하도록 하기 위해 주의해야 할 4가지 주요 함정을 요약했습니다. (이 블로그 게시물에는 처음 두 가지 함정이 포함되어 있으며 나머지 두 가지는 다른 블로그 게시물에 게시됩니다. )

이를 인지하고 고려하면 데이터 분석 프로젝트가 성공할 가능성이 크게 높아집니다. 걱정하지 마십시오. 이러한 도전과 함정에 직면한 사람은 결코 당신뿐이 아닙니다. 초기 데이터 분석 워크샵에서 프로젝트가 끝날 때까지 참가자를 정기적으로 봅니다. 여기에서 많은 성공적인 워크샵 및 프로젝트에서 얻은 통찰력을 여러분과 공유하고 주요 함정을 지적하고 사용 사례의 예를 통해 설명하고자 합니다.

1. 개시자 – IT 대 부서

데이터 분석과 빅 데이터는 종종 같은 의미로 사용되는 경우에도 동일하지 않습니다.

IT 부서는 종종 "빅 데이터 안경"을 통해 프로젝트를 봅니다. 그들은 많은 양의 데이터를 수집하기 위한 인프라를 제공합니다. 예를 들어, 데이터베이스 클러스터 형태입니다. 이러한 데이터베이스는 엄청난 양의 데이터를 저장하므로 그 자체로는 회사에 부가가치를 창출하지 않습니다. 그렇기 때문에 데이터 분석 프로젝트에는 항상 명확하게 정의된 기술적 목표와 상업적 목표가 있어야 합니다. 목적을 위해 데이터를 수집하는 것은 회사에 전혀 이익이 되지 않습니다.

부가가치는 회사가 데이터와 결과적인 통찰력을 활용할 때만 발생합니다. 여기에서 (비행정) 부서가 등장합니다. 빅 데이터가 아닌 데이터 분석을 통해 달성하고자 하는 목표를 정의합니다. 데이터 과학자가 목표 방식으로 데이터를 사용할 수 있도록 기술적 이해를 제공합니다. 따라서 정의된 프로젝트 목표를 달성하기 위해서는 아이디어 제공자(부서)와 데이터 과학자 간의 긴밀한 협력이 절대적으로 필요합니다.

즉, 데이터 분석 프로젝트의 성공 여부는 기술 프로세스에 대한 이해가 데이터 과학자에게 전달되는 내용과 양에 달려 있습니다. 데이터 분석 엔지니어도 여기서 중요한 역할을 합니다. 그들은 서로 다른 분야 간의 "번역"과 지식 이전을 지원합니다. 데이터 분석 엔지니어는 제조 또는 물류 분야의 운영 경험과 데이터 분석 접근 방식에 대한 기본적인 이해를 바탕으로 합니다. 데이터 전문가는 프로젝트 목표뿐만 아니라 특히 데이터의 상관관계를 이해해야 합니다. 더 중요한 것은 현실 세계(기계, 센서 등) 및 관련 프로세스 단계와의 관계를 확인해야 한다는 것입니다.

Capgemini 연구에서 알 수 있듯이 IT 부서는 종종 데이터 분석 프로젝트의 개시자입니다. 다른 부서가 밀접하게 관련되어 있고 프로젝트의 기술적 목표를 정의하는 한 이것은 그 자체로 문제가 되지 않습니다.

2. 모든 데이터가 동일하게 생성되는 것은 아닙니다.

프로젝트 시작, 목표 정의 – go!

그만!

데이터 과학자가 시작하기 전에 데이터의 품질과 양을 확인해야 합니다.

a) 데이터의 품질

여기에서 데이터를 사용할 수 있는 형식, 어떤 데이터를 찾을 수 있는지, 데이터가 여러 소스에서 투명한지 여부를 고려하는 것이 중요합니다.

예:

여러 소스의 데이터 세트를 통합하려면 데이터를 올바르게 대조할 수 있는 고유 식별자가 필요합니다. 예를 들어 타임스탬프나 부품 번호가 될 수 있습니다. 개별 데이터 소스에서 다른 날짜/시간 형식이 사용되는 경우 타임스탬프를 사용하면 통합이 더 복잡해집니다(독일어 대 미국 날짜 형식, UTS의 시간 등). 그러나 여전히 가능합니다. 대조적으로, 다른 시간 기반이 사용되는 경우에는 사실상 불가능합니다. 모든 데이터 소스에 대한 타임스탬프를 생성하는 균일한 시간 동기화가 없는 경우입니다.

b) 데이터의 양

많을수록 좋습니다. 그러나 데이터 분석과 관련하여 이것은 부분적으로만 사실입니다. 일반적으로 말하자면, 물론 데이터가 많을수록 좋습니다. 그러나 여기에서도 고려해야 할 여러 가지 주요 측면이 있습니다.

예를 들어, 기술적 목표 정의에 따라 기본 데이터에 긍정적인 결과뿐만 아니라 충분한 수의 부정적인 결과도 포함하는 것이 중요할 수 있습니다.

예:부정적인 결과 예측

프로젝트의 목표가 부정적인 결과를 예측하는 모델을 개발하는 것이라면 예측 모델을 훈련하는 데 사용되는 훈련 데이터 세트에는 충분한 수의 부정적인 결과가 포함되어야 합니다. 그렇지 않으면 모델이 이러한 부정적인 결과를 학습할 수 없으므로 예측할 수 없습니다. 결과적으로 이 데이터 세트로 프로젝트 목표를 달성할 수 없습니다! 이러한 이유로 훈련 데이터 세트를 컴파일할 때 예측할 매개변수(목표 변수)가 충분히 포함되어 있는지 확인해야 합니다(위의 예에서는 부정적인 결과). 이를 달성하는 한 가지 방법은 데이터 수집 기간을 늘리는 것입니다.

c) "올바른" 데이터

따라서 데이터의 양이 유일한 기준이 아님은 분명합니다. 무엇보다 올바른 데이터가 필요합니다!

'올바른 데이터'란 무엇을 의미합니까?

데이터에는 기술 프로젝트 목표를 달성하는 데 필요한 관련 정보가 포함되어야 합니다. 예를 들어, 표면 거칠기 측정으로 정의된 제품 품질을 예측하기 위한 모델을 개발하려는 경우 이 변수는 데이터 세트에 표시되어야 합니다. 이후에 측정값을 저장하지 않고 측정을 수행하면 해당 모델을 개발할 수 없습니다. 이 역시 해결할 수 없는 문제는 아니지만 적절한 데이터 기반이 먼저 생성되어야 하기 때문에(예:추가 센서 기술의 도움, 관련 데이터 저장 등) 진행이 지연될 수 있습니다.

귀하의 데이터 분석 프로젝트의 성공을 누가 보장할까요?

출처:Bosch.IO

전문가들이 a), b), c)를 달성할 수 있도록 지원하기 위해 우리는 많은 성공적인 프로젝트에서 얻은 경험을 취하여 프로젝트 시작 시 제공하는 데이터 품질 지침에 통합했습니다. 또한 빠른 성공을 가져다 줄 사용 사례를 식별하여 초기 워크샵에서 이 주제를 다룹니다. 이러한 방식으로 우리는 이러한 주제에 대한 제조 전문가의 인식을 높이고, 이는 항상 프로세스의 다음 단계에서 분명한 이점으로 입증됩니다.