IoT 데이터 ETL 과제 극복해 ROI 높이기

조직은 스트림 처리와 데이터 레이크 같은 ETL(추출, 전송, 적재) 기술 전문성을 개발하여 IoT 데이터를 최적화하고, 비즈니스 가치를 빠르고 비용 효율적으로 도출할 수 있습니다.

IoT의 잠재력은 결코 그 어느 때보다 큽니다. 2021년까지 IoT 지원 디바이스 투자가 두 배로 늘어날 것으로 예상되고 데이터 및 분석 부문에서 기회가 급증함에 따라, 주요 과제는 IoT 데이터 프로젝트를 둘러싼 과제를 극복하고 비용을 길들이는 것입니다.

조직은 스트림 처리와 데이터 레이크 같은 ETL(추출, 전송, 적재) 기술 전문성을 개발하여 IoT 데이터를 최적화하고, 비즈니스 가치를 빠르고 비용 효율적으로 도출할 수 있습니다.

참고: 깨끗한 데이터 레이크를 위한 4가지 원칙

많은 조직에서 이는 IT 병목, 긴 프로젝트 지연, 데이터 과학 연기로 이어질 수 있습니다. 결과: 예측 분석 데이터가 운영 효율성 개선과 혁신 촉진에 중요한 역할을 해야 하는 IoT 프로젝트가 여전히 개념 증명 단계를 넘지 못했고 확실히 ROI를 입증할 수 없습니다.

IoT가 직면한 ETL 과제 이해

다음 다이어그램은 문제를 더 잘 이해하는 데 도움이 됩니다:

데이터 소스는 왼쪽입니다. 단순한 안테나부터 복잡한 자율주행차까지 무수한 센서로 가득 찬 디바이스가 IoT 데이터를 생성하고 웹을 통해 반구조화된 데이터의 중단 없는 스트림으로 보냅니다.

오른쪽은 해당 데이터 소비가 달성해야 할 목표이며, 프로젝트 완료 시 결과 분석 제품이 포함됩니다:

• 비즈니스 인텔리전스 - 제품 사용 트렌드와 패턴에 대한 가시성 확보
• 운영 모니터링 - 실시간으로 중단 및 비활성 디바이스 확인
• 이상 징후 탐지 - 데이터의 급증이나 급락에 대한 사전 예방적 알림 획득
• 임베디드 분석 - 고객이 자신의 사용 데이터를 보고 이해할 수 있게 함
• 데이터 과학 - 예지보전, 경로 최적화, AI 개발에서 고급 분석과 머신러닝 혜택 향유

이 목표를 달성하려면 먼저 데이터를 원시 스트리밍 모드에서 SQL 및 기타 분석 도구로 쿼리할 수 있는 분석 준비 테이블로 변환해야 합니다.

ETL 프로세스는 IoT 데이터가 일반적인 관계형 데이터베이스, ETL, BI 도구와 항상 동기화되지 않는 고유한 특성 세트를 포함하기 때문에 모든 분석 프로젝트에서 가장 이해하기 어려운 부분인 경우가 많습니다. 예를 들어:

• IoT 데이터는 스트리밍 데이터입니다. 작은 파일로 지속적으로 생성되어 거대하고 방대한 데이터셋으로 누적됩니다. 이들은 기존 표 형식 데이터와 매우 다르며 조인, 집계, 데이터 강화를 수행하기 위해 더 복잡한 ETL이 필요합니다.
• IoT 데이터는 지금 저장하고 나중에 분석해야 합니다. 일반적인 데이터셋과 달리 IoT 디바이스가 생성하는 데이터의 엄청난 볼륨은 분석 전에 머물 곳이 필요합니다. 클라우드 또는 온프레미스 데이터 레이크.
• IoT 데이터는 여러 디바이스로 인해 순서가 뒤섞인 이벤트를 나타냅니다. 인터넷 연결 영역을 드나들 수 있습니다. 이는 로그가 다양한 시간에 서버에 도달하고 항상 "올바른" 순서가 아님을 의미합니다.
• IoT 데이터는 종종 저지연 접근을 요구합니다. 운영상 이상 징후나 특정 디바이스를 실시간 또는 준실시간으로 식별해야 할 수 있으므로 배치 처리로 인한 지연을 감당할 수 없습니다.

오픈소스 프레임워크로 데이터 레이크를 만들어야 할까?

데이터 분석을 위한 엔터프라이즈 데이터 플랫폼을 구축하기 위해 많은 조직은 이 일반적인 접근 방식을 사용합니다: 오픈소스 스트림 처리 프레임워크를 빌딩 블록으로 하고 Apache Spark/Hadoop, Apache Flink, InfluxDB 같은 시계열 데이터베이스를 더해 데이터 레이크를 만듭니다.

이 툴셋이 일을 할 수 있을까요? 물론입니다. 하지만 데이터 경험이 가장 많은 회사를 제외하고는 올바르게 하는 것이 압도적일 수 있습니다. 그런 데이터 플랫폼을 구축하려면 빅데이터 엔지니어의 전문 기술과 데이터 인프라에 대한 강한 관심이 필요합니다. 이는 보통 IoT 데이터와 밀접하게 작업하는 제조 및 가전 산업의 강점이 아닙니다. 늦은 납품, 가파른 비용, 엄청난 낭비된 엔지니어링 시간을 예상하세요.

조직이 고성능과 전체 기능 및 사용 사례 범위(운영 보고, 임시 분석, 머신러닝을 위한 데이터 준비)를 원한다면 적합한 솔루션을 채택하세요. 예를 들어 스트림을 분석 준비 데이터셋으로 변환하도록 목적 구축된 데이터 레이크 ETL 플랫폼을 사용하는 것입니다.

이 솔루션은 Spark/Hadoop 데이터 플랫폼만큼 경직되고 복잡하지 않습니다. 자바/스칼라의 강도 높은 코딩이 아닌 셀프서비스 사용자 인터페이스와 SQL로 구축되었습니다. 분석가, 데이터 과학자, 제품 관리자, DevOps와 데이터 엔지니어의 데이터 제공자에게 진정한 사용자 친화적 도구가 될 수 있습니다:

• IT와 데이터 엔지니어링에 의존하지 않고 데이터 소비자를 위한 셀프서비스 제공
• ETL 흐름과 빅데이터 스토리지 최적화로 인프라 비용 절감
• 완전 관리형 서비스로 조직이 인프라가 아닌 기능에 집중할 수 있게 함
• 실시간 데이터, 임시 분석, 보고를 위한 여러 시스템 유지 필요성 제거
• 데이터가 고객의 AWS 계정을 절대 떠나지 않아 완전한 보안 보장

올바른 도구만 있으면 IoT 데이터에서 혜택을 얻을 수 있습니다.