인공 지능과 기계 학습을 지원하기 위해 데이터 품질을 자동화할 수 있습니까?

조직에서 데이터 품질을 자동화하여 AI 및 ML을 개선할 수 있습니까?

지난 10년 동안 기업은 인공 지능(AI)과 머신 러닝(ML)이 가져올 수 있는 잠재력을 파악하고 잠금을 해제하기 시작했습니다. 아직 초기 단계에 있지만 기업은 이 기술이 가져올 수 있는 중대한 영향을 이해하기 시작하여 더 빠르고 효율적이며 더 나은 결정을 내릴 수 있습니다.

물론 AI와 ML은 기업이 혁신을 수용하는 데 도움이 되는 만병통치약이 아닙니다. 사실, 이러한 알고리즘의 성공은 기반, 특히 양질의 데이터만큼만 중요합니다.

그렇지 않으면 기업은 AI 및 ML을 설치한 목표가 실패하고 잘못된 데이터로 인해 효율성과 평판 면에서 비즈니스에 돌이킬 수 없는 피해를 입히는 예기치 않은 결과를 보게 될 것입니다.

그러나 개발을 위해 무르익은 또 다른 탐색 영역이 있습니다. 즉, 자동화 및 기계 학습 자체로 데이터 품질을 개선하고 유지할 수 있습니까?

데이터 품질 저하 위험

영화 스트리밍 서비스에서 챗봇, 슈퍼마켓에서 진열대를 정리하는 방법을 알려주고 주요 교통 허브를 안내하는 방법에 이르기까지 ML은 10년 전에는 상상할 수 없었던 방식으로 우리 삶에 영향을 미칩니다.

그러나 알고리즘이 열악한 데이터 품질을 기반으로 작동하도록 설정되면 어떻게 될까요? 미래의 위험은 당신이 좋아하지 않는 영화를 제공받는 것보다 훨씬 더 심각할 수 있습니다.

예를 들어, 의약품의 발견 및 테스트를 개선하기 위해 기계 학습을 신뢰하기 시작하면 약물이 공식화되었지만 테스트를 시뮬레이션하는 데 사용된 화합물 데이터에 오류가 있는 경우 어떻게 될까요? 그 의미는 중대할 수 있습니다.

열악한 기반 데이터의 영향을 받을 수 있는 ML의 새로운 응용 프로그램은 자율 주행 차량입니다. 지도와 주소에서 차량이 자전거 타는 사람에게 어떻게 반응하는지에 이르기까지 기계를 가르치는 데 사용되는 데이터는 소비자와 규제 기관이 채택하는 데 매우 중요합니다.

ML 알고리즘(정의된 문제를 해결하는 데 도움이 되는 규칙 및 계산 집합)은 데이터 품질 개선을 지원하거나 구성 시 잘못된 데이터의 가능성을 고려하지 않는 경우 부정확한 데이터로 인해 폐기될 수 있습니다.

자동화된 데이터 품질

모든 디지털 혁신과 마찬가지로 수동에서 자동화로 이동한 다음 '지능형' 데이터 품질 관리로 이동하려면 장기 계획이 필요합니다. Experian은 데이터 관리 성숙도 곡선이라고 하는 데이터 관리의 진행에 대해 4단계를 식별했습니다. Unaware, Reactive, Proactive 및 Optimized &Governed는 데이터 품질 전략의 전체 주기에 걸쳐 있는 4단계를 반영합니다.

조직이 보유하고 있는 데이터의 잠재력을 공개하고 더 심각하게 받아들이기 시작함에 따라 평가 결과 성숙도 곡선이 꾸준히 상승하는 것으로 나타났습니다. 가장 흥미롭게도 최적화 및 통제 단계에 있는 사람들은 '지능적으로 자동화된' 수준의 또 다른 수준의 시작을 보고 있을 수 있습니다.

'지능적으로 자동화된'이란 데이터 품질을 책임지는 사람들이 가장 우려하는 부분을 식별할 수 있도록 지원하는 시스템과 프로세스를 갖추는 것을 의미합니다. 이제 우리 모두는 데이터 품질의 추세를 식별하기 위해 정기적으로 주요 성능 메트릭을 검토해야 하며, 아마도 주요 속성의 전체 완료율을 살펴보거나 데이터 수신 또는 데이터 로드 단계와 관련된 타이밍 문제를 모니터링해야 합니다. 하지만 데이터 품질을 진정으로 이해하려면 콘텐츠를 더 깊이 살펴봐야 합니다.

예를 들어, 수집한 날짜의 상당 부분이 시스템에서 파생되어 실제 생년월일이 아닌 경우 99%의 경우 제3자 데이터 요구 사항을 충족하기 위해 생년월일을 수집했다고 말하는 것으로 충분합니까? 이는 실제 문제를 일으킬 수 있으며 의도하지 않은 결과가 의사 결정 과정에 파급될 수 있습니다.

다음 단계

대부분의 데이터 품질 프로그램에는 이미 자동화 및 테스트 및 학습 요소가 포함되어 있습니다. 이 진화의 다음 단계는 기계 학습을 사용하여 '지능적으로 자동화된' 다양한 유형의 데이터를 자동으로 인식하고 대응하는 것입니다.

예를 들어, 사전 교육이나 규칙 작성이 거의 없는 주소, 이메일, 신용 카드 번호 또는 국민 보험 번호와 같은 표준 정보를 인식할 수 있는 데이터 관리 도구는 항목을 확인하거나 규정 준수 문제에 플래그를 지정하는 등의 조치를 취합니다. 매니저.

궁극적인 목표는 시간이 지남에 따라 자체적으로 개선되는 데이터 품질을 위한 ML입니다. 이에 대한 좋은 예는 회사 이름입니다. Tesco PLC는 Tesco Stores Ltd와 동일합니까? 회사 이름에 'Tesco'라는 단어가 없는 Tesco 그룹은 어떻게 됩니까?

상업 단체를 그룹화하는 것은 이름을 찾는 것만큼 간단할 수도 있고 회사 계정, 본사 주소, CEO 이름, 웹 주소 및 기타 메타데이터의 세부 정보를 확인하여 전 세계에서 연관 관계를 찾는 더 복잡할 수도 있습니다.

이러한 종류의 가설은 강력한 데이터 전략이 지원할 수 있는 비즈니스 과제입니다. 그러나 이러한 학습을 ​​자동화하고 시간이 지남에 따라 수동 작업을 줄여 데이터 품질을 개선하여 데이터 담당자가 비즈니스를 분석하고 지원하는 데 더 많은 시간을 할애할 수 있는 곳으로 이동할 수 있습니까?

이것이 ML의 과제입니다. 데이터 품질에 대한 기본 규칙을 취하고 이를 구현한 다음 데이터의 실제 변경 사항이 예외 또는 이상값으로 표시될 때 개선 사항을 제안하는 것입니다. 이는 새롭게 떠오르는 주제이며 앞으로 몇 년 동안 많은 발전이 있을 것으로 예상되는 주제입니다.

데이터 전략

기본적으로 ML의 모든 예는 목적에 맞는 데이터에 의존합니다. 해당 데이터가 아닌 경우 결과적으로 데이터로 인해 내리는 결정은 신뢰할 수 없습니다.

이를 피하기 위해 조직은 강력한 데이터 전략을 가지고 있는지 확인해야 합니다. ML을 시작하는 이유를 생각해 보십시오. 그들이 달성하고 피하고 싶은 설명 가능한 결과는 무엇입니까?

그런 다음 데이터에 대한 초기 평가를 수행하여 이미 보유하고 있는 데이터의 품질을 감지하여 조직에서 데이터의 전반적인 품질을 개선하기 위해 필요한 조치를 취하고 계획을 세울 수 있습니다.

ML과 모든 자동화된 의사 결정 프로세스를 통해 내려진 결정을 식별하고 추적할 수 있는 것은 성공적으로 채택되고 구현되기 위해서는 매우 중요합니다.

데이터 품질에 대한 지속적인 모니터링도 중요합니다. 이렇게 하면 주의가 필요한 영역을 빠르게 식별할 수 있고 현재 및 잠재적 ML 이니셔티브에서 가능한 한 최고의 위치에 있다는 확신을 가질 수 있습니다.

그러면 조직은 ML이 데이터 품질을 보다 효율적으로 관리하여 의사 결정 프로세스를 더 빠르고 더 좋게 만들 수 있는 위치에 있게 됩니다.

논리적인 결론을 내리면 기계 학습을 사용하면 실제 문제가 될 때까지 숨겨져 있는 데이터 문제를 식별하는 데 도움이 될 수 있습니다. 결정이나 프로세스에 영향을 줄 수 있는 주요 속성을 식별하도록 모델을 훈련한 다음 변동 또는 관련 패턴을 모니터링할 수 있다면 이러한 데이터 문제가 귀하의 비즈니스에 미칠 수 있는 영향을 예측할 수도 있습니다.

예를 들어, 부동산의 침실 수가 비즈니스 의사 결정에 직접적인 영향을 미친다는 사실을 알고 있고 이 분야의 데이터가 불완전하거나 어느 정도 악화되고 있음을 확인했다면 다음을 기반으로 예측할 수 있습니까? 데이터, 임대 소득 추정, 모기지 평가 또는 난방 소비 예측이 사용되었다는 것을 알고 있습니까?

이렇게 증가하는 데이터 품질 문제의 영향은 실제 문제가 아니라 지금 바로 수정하도록 비즈니스 사례를 구축하는 데 도움이 될 수 있습니다.