데이터 품질 자동화로 AI·ML 성공 가속화

지난 10년 동안 기업들은 인공지능(AI)과 머신 러닝(ML)이 가져올 잠재력을 파악하고 풀기 시작했습니다. 아직 초기 단계지만, 기업들은 이 기술이 더 나은, 더 빠르고, 더 효율적인 결정을 내리는 데 도움을 주어 상당한 영향을 미칠 수 있다는 것을 이해하기 시작했습니다.

물론 AI와 ML은 기업이 혁신을 포용하는 데 도움이 되는 은탄환은 아닙니다. 사실, 이 알고리즘의 성공은 그들의 기초, 특히 품질 데이터만큼만 좋습니다.

그것이 없으면, 기업들은 AI와 ML을 설치한 바로 그 목적이 실패하는 것을 보게 될 것이며, 나쁜 데이터의 예기치 않은 결과가 비즈니스에 효율성과 평판 측면에서 되돌릴 수 없는 손상을 입힐 것입니다.

하지만 개발이 무르익은 또 다른 탐구 영역이 있습니다. 즉, 데이터 품질을 자동화와 머신 러닝 자체로 개선하고 유지할 수 있을까요?

나쁜 데이터 품질의 위험

영화 스트리밍 서비스부터 챗봇, 슈퍼마켓이 선반을 배열하는 방식 알림, 주요 교통 허브를 통한 안내까지, ML은 10년 전에는 상상할 수 없었던 방식으로 우리 삶에 영향을 미칩니다.

하지만 알고리즘이 나쁜 데이터 품질의 기초에서 작동하도록 설정되면 어떻게 될까요? 미래의 위험은 당신이 좋아하지 않는 영화를 제공받는 것보다 훨씬 더 심각할 수 있습니다.

예를 들어, 우리가 제약 발견 및 테스트를 개선하기 위해 머신 러닝을 신뢰하기 시작한다면, 약이 제조되었지만 화학 화합물 데이터에 시뮬레이션 테스트에 사용된 오류가 있다면 어떻게 될까요? 그 의미는 심각할 수 있습니다.

나쁜 기본 데이터로 영향을 받을 수 있는 ML의 새로운 응용 분야는 자율 주행 차량입니다. 지도와 주소부터 차량이 자전거 타는 사람에게 어떻게 반응하는지까지, 기계를 가르치는 데 사용되는 데이터는 소비자와 규제 당국의 채택에 필수적일 것입니다.

ML 알고리즘 - 정의된 문제를 해결하는 데 도움이 되는 규칙과 계산 세트 - 는 데이터 품질 개선을 지원하거나, 나쁜 데이터의 가능성을 그들의 구성에서 고려하지 않으면 부정확한 데이터에 의해 흔들릴 수 있습니다.

자동화된 데이터 품질

모든 디지털 트랜스포메이션과 마찬가지로, 수동에서 자동화된, 그리고 '지능형' 데이터 품질 관리로 이동하려면 장기적인 계획이 필요합니다. 엑스페리안(Experian)은 데이터 관리의 진행에 대해 데이터 관리 성숙도 곡선(Data Management Maturity Curve)이라고 부르는 네 단계를 식별했습니다. 무인지(Unaware), 반응적(Reactive), 사전적(Proactive), 최적화 및 거버넌스(Optimised & Governed)는 데이터 품질 전략의 전체 주기를 아우르는 네 단계를 반영합니다.

평가는 조직이 보유한 데이터의 잠재력을 깨닫고 더 진지하게 받아들이기 시작함에 따라 성숙도 곡선을 따라 꾸준한 진행을 드러냈습니다. 가장 흥미롭게도, 최적화 및 거버넌스 단계에 있는 조직들은 '지능형 자동화'라고 부를 수 있는 또 다른 수준의 시작을 볼 수 있을 것입니다.

'지능형 자동화'는 데이터 품질을 담당하는 사람들이 가장 큰 우려가 어디에 있는지 식별하는 데 도움이 되는 시스템과 프로세스를 갖추는 것을 의미합니다. 우리는 이제 모두 정기적으로 핵심 성과 지표를 검토하여 데이터 품질의 트렌드를 식별해야 합니다. 아마도 주요 속성의 전체 완료율을 보거나, 데이터 수신 또는 데이터 로드 단계의 타이밍 문제를 모니터링할 것입니다. 하지만 진정으로 데이터 품질을 이해하려면 콘텐츠를 더 깊이 들여다봐야 합니다.

예를 들어, 당신이 수집한 생년월일의 대다수가 시스템 파생이므로 실제 생년월일이 아닌 경우, 제3자 데이터 요구 사항을 충족하기 위해 99%의 경우 생년월일을 수집했다고 말하는 것으로 충분합니까? 이는 실제 문제를 일으킬 수 있으며 의도하지 않은 결과가 의사 결정 과정을 통해 파급될 수 있습니다.

다음 단계

대부분의 데이터 품질 프로그램은 이미 자동화와 테스트 및 학습 요소를 포함합니다. 이 진화의 다음 단계는 머신 러닝을 사용하여 다양한 유형의 데이터를 자동으로 인식하고 대응하는 것입니다. '지능형 자동화'.

예를 들어, 주소, 이메일, 신용카드 번호, 국민보험 번호와 같은 표준 정보를 인식하고, 사전 교육이나 규칙 작성 없이 검증하거나 준수 문제를 관리자에게 플래그하는 데이터 관리 도구.

궁극적인 목표는 시간이 지남에 따라 스스로 개선하는 데이터 품질을 위한 ML입니다. 좋은 예는 회사 이름입니다. 테스코 PLC(Tesco PLC)가 테스코 스토어즈 리미티드(Tesco Stores Ltd)와 같은가? '테스코'라는 단어가 없는 테스코 그룹의 일부는 어떤가?

상업적 엔티티를 그룹화하는 것은 이름을 찾는 것만큼 간단할 수 있고, 회사 계정 세부 사항, 본사 주소, CEO 이름, 웹 주소 및 기타 메타데이터를 살펴봄으로써 전 세계의 연관성을 찾는 것만큼 복잡할 수 있습니다.

이런 종류의 가설은 강력한 데이터 전략이 지원할 수 있는 비즈니스 과제입니다. 그러나 우리는 이 학습을 자동화하고 수동 작업을 줄이며 데이터 품질을 시간이 지남에 따라 개선하여 데이터 담당자들이 분석하고 비즈니스를 지원하는 데 더 많은 시간을 할애할 수 있는 곳으로 이동할 수 있을까요?

그것이 ML의 과제입니다. 데이터 품질을 위한 기본 규칙을 취하고, 구현하고, 실제 데이터의 변화가 예외나 이상값으로 가시화됨에 따라 개선을 제안하는 것입니다. 그것은 새로운 주제이며 앞으로 몇 년 동안 많은 개발이 있을 것으로 예상되는 주제입니다.

당신의 데이터 전략

근본적으로, 모든 ML 예시는 목적에 적합한 데이터에 의존합니다. 그렇지 않으면 그 데이터와, 그 결과로 그것 때문에 내려지는 결정들을 신뢰할 수 없습니다.

이를 피하기 위해 조직은 강력한 데이터 전략을 가지고 있는지 확인해야 합니다. ML을 착수하는 이유에 대해 생각하세요. 그들이 달성하고 피하고 싶은 설명 가능한 결과는 무엇입니까?

그런 다음, 이미 가지고 있는 데이터의 품질을 감각적으로 확인하기 위해 데이터의 초기 평가를 수행함으로써, 조직은 조치를 취하고 전체 데이터 품질을 개선하기 위해 무엇이 더 필요한지 계획할 수 있습니다.

ML을 통해 내려진 결정들 - 그리고 모든 자동화된 의사 결정 프로세스 - 을 식별하고 추적할 수 있는 것은 그들이 성공적으로 채택되고 구현되기 위해 필수적입니다.

데이터 품질의 지속적인 모니터링도 중요합니다. 이를 통해 어느 영역이 주의가 필요한지 빠르게 식별하고 현재 및 잠재적 ML 이니셔티브와 함께 최상의 위치에 있다는 것을 안심할 수 있습니다.

그러면 조직은 ML이 데이터 품질을 더 효율적으로 관리할 수 있게 하여 의사 결정 프로세스를 더 빠르고 더 좋게 만들 수 있는 위치에 있게 될 것입니다.

이를 논리적 결론까지 가져가면, 머신 러닝을 사용하여 실제 문제가 될 때까지 숨겨진 데이터 우려를 식별하는 데 도움을 받을 수 있습니다. 우리가 핵심 속성이 결정이나 프로세스에 영향을 미칠 수 있음을 식별하기 위해 모델을 훈련시킬 수 있다면, 그리고 변동이나 우려되는 패턴을 모니터링한다면, 우리는 이러한 데이터 우려가 비즈니스에 미칠 영향을 예측할 수도 있을 것입니다.

예를 들어, 부동산의 침실 수가 우리 비즈니스에서 결정에 직접 영향을 미친다는 것을 알고 있고, 이 필드에서 불완전하거나 근사치 데이터가 특정 규모로 악화되고 있다는 것을 확립했다면, 우리가 데이터가 사용되는 위치를 기반으로 임대 수입 추정, 모기지 평가, 난방 소비 예측을 예측할 수 있을까요?

이 증가하는 데이터 품질 우려의 영향은 지금 당장 수정하기 위한 비즈니스 케이스를 구축하는 데 도움이 될 수 있습니다. 실제 문제가 될 때까지 기다리는 대신 말입니다.