자동 데이터 수집 마스터하기: 핵심 통찰과 모범 사례

작성자: Ken Gifford

아이스크림을 정말 좋아하는 사람을 배스킨라빈스에 데려간 적 있나요? 제 아내를 데려갈 때마다, 그녀는 먹고 싶은 맛을 대충 정해옵니다. 하지만 엄청난 선택지 앞에서 결정을 못 내립니다. 이게 바로 오늘날 '정보 과부하(Information Overload)'라 불리는 상황입니다. 원하는 정보의 윤곽은 있지만, 제시된 모든 데이터에 감각이 포화됩니다. 소방 호스로 물을 마시는 격이죠.

미국 인터넷 기술 작가 Clay Shirky는 말합니다:

"정보 과부하가 아니다. 필터 실패다."

위키피디아는 이렇게 설명합니다: "일부 인지과학자와 그래픽 디자이너는 사고에 활용 가능한 형태의 원시 정보와 구별을 강조한다. 이 관점에서 정보 과부하는 '조직화 부족(organization underload)'으로 보는 게 낫다. 즉, 정보 양이 문제가 아니라, 원시적이거나 편향된 형태로 제시된 정보를 잘 활용하도록 식별하지 못하는 게 문제다."
저는 단순히 데이터와 정보를 구별하고 싶습니다. 데이터는 그저 가장 단순한 형태의 원시 데이터입니다. 반면 정보는 실행 가능한 것으로 정제된 데이터입니다.

산업 현장에서는 보통 트렌드(추세)로 나타납니다. 트렌드 데이터는 시간 경과에 따른 데이터 포인트를 잇는 연속선입니다. 이젤 앞에 서서 빨간 선이 위아래로 기울어진 차트를 설명하는 프레젠테이션 장면을 많이 보셨을 겁니다. 이것이 트렌드 라인의 단순한 표현입니다.

하지만 시계열 데이터 분석 시 트렌드 차트는 돌발 변화를 감지하고 정확히 언제 발생했는지 파악하는 데 매우 유용합니다. 이로써 분석가가 심층 분석할 시간 범위를 빠르게 좁힐 수 있습니다. 따라서 트렌드는 산업 데이터 수집 도구 키트의 주된 뷰입니다.
그렇다면 어떤 데이터를 수집할지가 문제입니다. 이는 매우 까다로운 질문입니다. 고객과 새 데이터 수집 프로젝트를 시작할 때 "어떤 데이터를 수집하길 원하시나요?"라고 물으면, 십중팔구 "전부 다요"라는 답이 돌아옵니다. 이는 여러 면에서 어렵습니다. 보통 최종 사용자가 공정 운전을 가장 잘 나타내는 데이터가 무엇인지 모른다는 신호입니다. 이 요청을 무효화하기 전에, 공정에 영향을 주는 평소 보이지 않는 많은 요인이 있음을 고려해야 합니다. "모든 것"을 수집하면 정말 예외적인 상황이 발생했을 때 무슨 일이 벌어지는지 이해할 기회가 생깁니다. 하지만 사용자가 필요에 따라 정보를 정렬·조회해 좋은 결정을 내릴 수 있도록, 데이터를 정말 잘 '필터링'해야 합니다.
'딥 데이터 다이브' 접근을 결정하기 전 비용도 고려해야 합니다. 수천 개 소스에서 수집하는 시스템을 구축하려면 비용이 많이 듭니다. 한 가지 접근은 '고가치' 데이터 포인트를 수집할 만큼 시스템을 크게 하되, 100개 소스 정도의 여유를 두는 것입니다. 이 여유 소스(소프트웨어 용어로 '태그')를 필요시 새 사양 테스트나 특정 설비의 반복 이슈 분석용으로 재활용할 수 있습니다. 전체 프로젝트 비용을 낮추면서 필요할 때 심층 분석 유연성을 확보하는 방법입니다.
자동 데이터 수집 시리즈를 즐겁게 읽으셨길 바랍니다. 궁금한 점이나 데이터 수집 상담이 필요하면 800-844-8405로 연락주세요.