귀하의 비즈니스를 위한 IoT 데이터 활용

Qlik의 Adam Mayer

IoE(Internet of Everything)에 대한 논의를 피할 수 없었던 때가 있었습니다. IoE는 그 자체로 우리가 필연적으로 IoT(사물 인터넷)와 함께 가야 할 여정을 상징하는 것처럼 느껴졌습니다.

Qlik 의 선임 관리자인 Adam Mayer는 새로운 기술을 발견했을 때 우리의 즉각적인 반응은 점점 더 우리가 이미 가지고 있는 것을 최대한 활용하고 있는지 반드시 확인하지 않고도. 결과적으로 조직은 투자 수익을 보기 전에 모든 조명, 문 및 화장실에 센서를 설치하도록 권장받았습니다.

이것은 빅 데이터의 많은 얼리 어답터가 수행한 유사한 여정입니다. 데이터를 시각화하고 분석하는 더 나은 방법 없이는 더 많은 데이터가 있다고 해서 반드시 개선된 결과로 이어지지 않는다는 것을 이해하는 데 시간이 걸렸습니다. 순차적으로 조직은 IoT의 가장 큰 잠재력이 이러한 장치에서 생성된 데이터를 탐색하고 조사하여 학습을 제공하고 결과를 개선하는 방법에 있다는 사실을 깨닫고 있습니다.

Google 파트너 C40 Cities가 Greater London Authority와 함께 운영하는 Breathe London Project가 그 예입니다. 런던 시민의 대기 오염 노출에 대한 조사의 일환으로 100개의 센서 포드 네트워크가 도시 전역의 가로등 기둥과 건물에 설치되었으며 Google 스트리트 뷰 자동차는 모바일 센서를 사용하여 런던 전역의 대기 질 측정값을 지속적으로 전송했습니다.

정보는 의심할 여지 없이 흥미롭지만 프로젝트의 가치는 데이터 수집 및 표현이 아니라 이러한 센서가 식별할 오염 '핫스팟'을 줄이기 위해 내려지는 정책 결정에 있습니다.

IoT 데이터 분석의 장벽

그러나 많은 조직에서 이는 말처럼 쉽지 않습니다. 분석을 위해 IoT 데이터를 통합하는 것과 관련된 중요한 문제가 있습니다.

첫째, 조직은 서로 다른 소스의 다양한 데이터를 데이터 파이프라인에 통합하는 문제를 극복해야 합니다. IDC를 통한 Qlik의 연구 서로 다른 데이터를 표준 형식으로 통합하는 것이 조직이 데이터를 분석 형식으로 변환하는 데 직면하는 가장 큰 문제 중 하나라고 밝혔습니다(37%).

IoT의 도입은 파이프라인에 공급하는 데이터 소스의 수를 빠르게 증가시킬 수 있기 때문에 이 문제를 상당히 악화시킵니다. 종종 분석을 준비하기 전에 변환해야 하는 익숙하지 않거나 구조화되지 않은 형식입니다.

문제는 두 번째 과제인 대용량 및 높은 처리 속도에 의해 더욱 악화됩니다. 많은 IoT 장치가 연속 판독을 수행함에 따라 데이터는 대부분의 것보다 훨씬 더 많은 양으로 생성됩니다. 그러면 자연스럽게 최종 장애물에 도달하게 됩니다. 데이터 파이프라인이 IoT 장치의 지속적인 데이터 흐름을 수집하고 변환할 만큼 충분히 강력하더라도 많은 시각화 및 분석 솔루션이 실시간 정보 업데이트를 제공할 수 없다는 것입니다.

즉, 병목 현상이 소프트웨어에 있는지 아니면 사용자가 출력을 검토하는 사이에 경과된 시간으로 인해 발생했는지 여부에 관계없이 데이터에서 얻은 학습은 실시간이 아닌 소급적으로만 구현할 수 있음을 의미합니다.

데이터 속도에 발맞추기

IoT를 활용하려는 조직은 다양한 소스의 데이터를 신속하게 통합하고 변환할 수 있는 데이터 공급망을 구축하여 이러한 문제를 극복할 수 있습니다.

추출, 변환 및 로드(ETL)와 같은 기존 배치 지향 방법은 IoT 데이터의 적시 분석을 통합하고 지원하기에는 너무 느리고 비효율적이며 파괴적이며 종종 무거운 코딩과 심층 스크립팅이 필요합니다. 전 세계 조직의 31%가 '데이터를 처리할 숙련된 리소스의 부족'을 데이터 분석 준비의 가장 큰 문제 중 하나로 꼽았고, 조직이 숙련된 프로그래머의 시간 낭비를 줄이는 것이 IoT 구현의 성공에 매우 중요합니다.

CDC(Change Data Capture) 기술은 분석을 위해 IoT 데이터를 빠르게 처리하려는 사람들에게 실현 가능한 현명한 대안을 제시합니다. 데이터를 다른 소스에 업로드하는 대신 CDC는 데이터 업데이트가 발생할 때 이를 식별하고 복사하여 지속적인 증분 복제를 가능하게 합니다. 이러한 방식으로 데이터를 스트리밍하면 데이터를 수집하고 분석을 위해 데이터 웨어하우스 또는 데이터 레이크로 전송하는 속도가 크게 빨라집니다.

마지막으로, 데이터 파이프라인이 거의 실시간으로 데이터를 통합할 수 있는 경우 분석 솔루션이 최신 정보를 지속적으로 시각화할 수 있을 뿐만 아니라 의사 결정을 지원하기 위한 사전 예방 계층이 내장되어 있어야 합니다. 프로세스. 실시간 알림은 통찰력을 제공할 뿐만 아니라 사용자가 빠르게 트리거할 수 있는 권장 조치를 제공합니다. 이 Active Intelligence를 제공하기 위해 인지 엔진을 활용하는 것은 차세대 BI 도구의 핵심 기능이 될 것입니다.

IoT의 약속을 전달하기 위한 데이터 파이프라인

조직은 더 많은 데이터를 확보하려는 목표가 최상의 결과를 이끌어내는 데 필요한 것을 사용하는 것보다 우선시되었던 빅 데이터 초기에 많은 사람들이 IoT와 같은 함정에 빠지지 않도록 해야 합니다. IoT의 얼리 어답터를 살펴보면 너무 많은 사람들이 결과를 변환하고 분석하여 더 나은 의사 결정을 내리는 데 필요한 조치를 취하는 것보다 실시간 업데이트를 받는 데 더 집중하고 있습니다.

IoT의 약속은 지속적으로 배우고, 행동하고, 반응할 수 있는 기회입니다. 조직의 IoT 구현이 고급 분석을 지원할 수 있는 속도와 유연성을 갖도록 하려면 먼저 전체 데이터 파이프라인이 작업에 적합한지 확인해야 합니다.

저자는 Qlik의 선임 관리자인 Adam Mayer입니다.