IoT 데이터의 ETL 과제 해결 및 ROI 극대화

조직은 IoT 데이터를 최적화하고 ETL(추출, 전송, 로드) 기술에 대한 전문 지식을 개발하여 비즈니스 가치를 빠르고 비용 효율적으로 파생할 수 있습니다.

IoT의 잠재력은 그 어느 때보다 높습니다. 2021년까지 IoT 지원 장치에 대한 투자가 두 배로 증가할 것으로 예상되고 데이터 및 분석 부문의 기회가 급증함에 따라 주요 과제는 과제를 극복하고 주변 비용을 줄이는 것입니다. IoT 데이터 프로젝트

조직은 스트림 처리 및 데이터 레이크와 같은 ETL(추출, 전송, 로드) 기술에 대한 전문 지식을 개발하여 IoT 데이터를 최적화하고 비즈니스 가치를 빠르고 비용 효율적으로 파생할 수 있습니다.

참조: 깨끗한 데이터 레이크를 구현하기 위한 4가지 원칙

그러나 많은 조직에서 이로 인해 IT 병목 현상, 장기간의 프로젝트 지연 및 데이터 과학이 지연될 수 있습니다. 결과:IoT 프로젝트 - 예측 분석 데이터가 운영 효율성을 개선하고 혁신을 촉진하는 데 중요한 역할을 해야 합니다. 여전히 개념 증명 임계값을 넘지 않았으며 확실히 ROI를 입증할 수 없습니다.

IoT가 직면한 ETL 과제 이해

다음 다이어그램은 문제를 더 잘 이해하는 데 도움이 됩니다.

데이터 소스는 왼쪽에 있습니다. 간단한 안테나에서 IoT 데이터를 생성하고 웹을 통해 반구조화된 데이터의 중단 없는 스트림으로 전송하는 복잡한 자율주행 차량에 이르기까지 수많은 센서로 채워진 장치입니다.

오른쪽에는 다음을 포함하여 프로젝트 종료 시 결과 분석 제품과 함께 언급된 데이터의 소비가 달성해야 하는 목표가 있습니다.

• 비즈니스 인텔리전스 제품 사용 추세 및 패턴에 대한 가시성 확보
• 운영 모니터링 정전 및 비활성 장치를 실시간으로 확인하기 위해
• 이상 탐지 데이터의 피크 또는 급격한 감소에 대한 사전 경고 수신
• 내장 분석 고객이 자신의 사용 데이터를 보고 이해할 수 있도록
• 데이터 과학 예측 유지 관리, 경로 최적화 또는 AI 개발에서 고급 분석 및 머신 러닝의 이점 활용

이러한 목표를 달성하려면 먼저 원시 스트리밍 모드의 데이터를 SQL 및 기타 분석 도구로 쿼리할 수 있는 분석 준비 테이블로 변환해야 합니다.

IoT 데이터에는 일반적인 관계형 데이터베이스, ETL 및 BI 도구와 항상 동기화되지 않는 고유한 품질 집합이 포함되어 있기 때문에 ETL 프로세스는 분석 프로젝트에서 가장 이해하기 어려운 부분입니다. 예:

• IoT 데이터는 스트리밍 데이터입니다. 계속해서 작은 파일로 생성되어 방대한 데이터 세트가 됩니다. 이러한 데이터는 기존의 테이블 형식 데이터와 매우 다르며 조인, 집계 및 데이터 강화를 수행하려면 더 복잡한 ETL이 필요합니다.
• IoT 데이터는 지금 저장해야 하고 나중에 분석해야 합니다. 일반적인 데이터 세트와 달리 IoT 장치에서 생성되는 엄청난 양의 데이터는 데이터가 분석되기 전에 클라우드 또는 사내 데이터 레이크(Data Lake)가 있어야 한다는 것을 의미합니다.
• IoT 데이터는 여러 장치로 인해 순서가 지정되지 않은 이벤트를 나타냅니다. 인터넷 연결 영역 안팎으로 이동할 수 있습니다. 이는 로그가 다양한 시간에 서버에 도달할 수 있으며 항상 "정확한" 순서로 도달할 수 있음을 의미합니다.
• IoT 데이터는 지연 시간이 짧은 액세스가 필요한 경우가 많습니다. 운영상 이상이나 특정 장치를 실시간 또는 거의 실시간으로 식별해야 할 수 있으므로 일괄 처리로 인한 지연 시간을 감당할 수 없습니다.

데이터 레이크를 생성하기 위해 오픈 소스 프레임워크를 사용해야 합니까?

데이터 분석을 위한 엔터프라이즈 데이터 플랫폼을 구축하기 위해 많은 조직에서 이 일반적인 접근 방식을 사용합니다. Apache Spark/Hadoop, Apache Flink, InfluxDB 등과 같은 시계열 데이터베이스와 함께 오픈 소스 스트림 처리 프레임워크를 빌딩 블록으로 사용하여 데이터 레이크를 만듭니다.

이 도구 집합이 작업을 수행할 수 있습니까? 물론, 하지만 데이터 경험이 가장 많은 회사를 제외하고는 올바르게 수행하는 것이 압도적일 수 있습니다. 이러한 데이터 플랫폼을 구축하려면 빅데이터 엔지니어의 전문 기술과 데이터 인프라에 대한 강한 관심이 필요합니다. 일반적으로 IoT 데이터와 밀접하게 작동하는 산업인 제조 및 소비자 전자 제품에는 적합하지 않습니다. 배송 지연, 막대한 비용, 엄청난 엔지니어링 시간 낭비가 예상됩니다.

조직에서 고성능과 전체 범위의 기능 및 사용 사례(운영 보고, 임시 분석 및 기계 학습을 위한 데이터 준비)를 원하는 경우 적절한 솔루션을 채택하십시오. 스트림을 분석용 데이터 세트로 변환하기 위해 특별히 제작된 데이터 레이크 ETL 플랫폼을 사용하는 것이 한 예입니다.

이 솔루션은 Spark/Hadoop 데이터 플랫폼만큼 엄격하고 복잡하지 않습니다. Java/Scala의 강력한 코딩이 아닌 셀프 서비스 사용자 인터페이스와 SQL로 구축되었습니다. DevOps 및 데이터 엔지니어링 분야의 분석가, 데이터 과학자, 제품 관리자 및 데이터 제공업체에게 이 도구는 다음과 같은 진정한 사용자 친화적인 도구가 될 수 있습니다.

• IT 및 데이터 엔지니어링에 의존할 필요 없이 데이터 소비자를 위한 셀프 서비스 제공
• ETL 흐름 및 빅 데이터 스토리지를 최적화하여 인프라 비용 절감
• 완전 관리형 서비스 덕분에 조직이 인프라가 아닌 기능에 집중할 수 있음
• 실시간 데이터, 임시 분석 및 보고를 위해 여러 시스템을 유지 관리할 필요가 없습니다.
• 완전한 보안을 위해 데이터가 고객의 AWS 계정을 떠나지 않도록 합니다.

IoT 데이터의 이점을 누릴 수 있습니다. IoT 데이터를 유용하게 만들기 위해서는 적절한 도구가 필요합니다.