IoT 데이터 준비의 3대 과제

Trifacta의 Sean Kandel

사물 인터넷(IoT)은 웨어러블 및 스마트 시계에서 연결된 TV 및 스마트 가전 제품에 이르기까지 우리의 일상 생활에 이미 뿌리를 내리고 있습니다.

기업에서도 이 기술을 활용하고 있습니다. B2B 맥락에서 CTO이자 Trifacta의 공동 설립자인 Sean Kandel은 말합니다. , 연결된 장치는 기계 성능에서 유지 보수 요구 사항에 이르기까지 모든 것을 추적하는 데 사용되는 기계 및 센서를 말합니다.

예를 들어 센서 장치는 생산 라인에서 발견되어 기계의 준비 상태를 추적하고 예측 유지보수를 자동화할 수 있습니다. . 또는 병원에서 원격 환자 모니터링, 로봇 수술 또는 약물 분배를 위해 IoT 장치를 사용할 수도 있습니다.

이렇게 증가하는 모든 센서, 기기 및 기타 연결된 '사물'은 궁극적으로 더 많은 데이터를 의미합니다. 그리고 그것의 많은. 그러나 데이터가 많을수록 데이터를 준비하는 데 더 복잡한 문제가 발생합니다. IoT 및 빅 데이터의 가치를 활용하고 혁신을 주도하는 통찰력을 제공하기 위해 산업 조직은 이 모든 이질적이고 비정형적인 데이터를 신속하게 준비해야 합니다. 아래에서는 IoT 데이터를 분석에 활용할 수 있도록 준비하는 데 있어 가장 중요한 세 가지 과제 중 일부를 나열했습니다.

1. 엄청난 양의 데이터

국제 데이터 공사(IDC) 시장 조사에 따르면 IoT 장치는 2020년까지 40,000엑사바이트의 데이터를 생성할 것으로 예상합니다. 이를 고려하여 2000년에 전 세계적으로 3엑사바이트의 정보가 생성되었습니다. 이는 준비해야 할 데이터가 많고 현재 많은 프로세스에서 조직이 따라잡을 수 없습니다. 이는 제조업체 및 기타 대규모 산업 조직이 일반적으로 기계, 센서 및 내부 비즈니스 애플리케이션에서 수십억 개의 데이터 세트를 수집하는 산업 세계에서 특히 어려운 일입니다.

데이터 준비는 여전히 모든 데이터 프로젝트와 관련된 시간과 리소스의 최대 80%를 차지하며 더 많은 데이터를 추가할수록 해당 프로세스에 더 많은 시간이 소요됩니다. 조직이 새로운 IoT 데이터 이니셔티브를 수행함에 따라 이러한 엄청난 데이터 유입을 따라잡을 수 있는 새로운 기술과 프로세스를 고려하는 것이 중요합니다.

2. 복잡성

IoT 데이터 준비의 또 다른 과제는 복잡한 특성입니다. 종종 조직은 타임스탬프 또는 지오태깅 데이터를 준비할 뿐만 아니라 csv 파일과 같은 보다 구조화된 소스와 결합해야 합니다. 이 복잡성은 이 데이터가 생성되는 속도를 고려할 때만 배가됩니다.

이 문제에 대한 해결책을 찾는 것은 까다롭습니다. 이러한 복잡성을 처리할 수 있는 조직 내의 기술 리소스는 일반적으로 제한적이며 이러한 리소스를 확장하는 데 비용이 많이 듭니다. Excel과 같은 일반적인 데이터 준비 도구를 사용하면 이러한 복잡성을 처리할 수 없으므로 숙련된 분석가가 이 데이터로 작업할 수 없습니다. 오늘날의 조직은 점점 더 복잡해지는 IoT 데이터를 준비하기 위해 보유한 리소스를 활용할 방법을 찾아야 합니다.

3. 상호 운용성

하드웨어와 소프트웨어 모두 비즈니스 컴퓨터 시스템은 센서와 연결된 장치에서 가져온 방대한 양의 복잡한 정보를 교환하거나 처리하도록 만들어지지 않았습니다. 기계 생성 데이터를 Salesforce 및 Marketo와 같은 비즈니스 응용 프로그램 및 기타 데이터 저장소의 데이터와 빠르게 통합하고 강화하는 것은 어렵습니다. 따라서 오늘날의 조직은 조직의 전체 데이터를 활용할 수 있도록 데이터가 서로 더 잘 통신할 수 있는 솔루션을 찾아야 합니다.

IoT 이니셔티브를 위한 데이터 준비 플랫폼

IoT 이니셔티브를 주도하는 많은 조직이 이러한 문제를 완화하기 위해 최신 데이터 준비 플랫폼으로 전환했습니다. 지능형 데이터 준비 플랫폼을 통해 일부 Trifacta 고객은 데이터 준비에 소요되는 시간을 90%까지 단축하는 동시에 비기술적 리소스가 대량의 복잡한 데이터를 스스로 준비할 수 있도록 허용하는 것을 보았습니다. 또한 Sumo Logic과 파트너 관계를 맺었습니다. 고객에게 비즈니스 애플리케이션 데이터로 복잡한 로그 데이터를 준비하는 솔루션을 제공합니다.

예를 들어, 유럽의 한 대형 철도 회사는 유지 관리가 필요한 시기를 예측하기 위해 32,000마일의 철도 트랙에서 8,000개의 기관차를 모니터링하여 생성된 센서 데이터를 준비하기 위해 Trifacta를 사용하고 있습니다. Trifacta를 채택하기 전에 이 회사는 여러 사람과 다양한 도구를 사용하여 이 데이터를 임시로 준비하고 있었기 때문에 궁극적으로 분석과 필요한 수리에 대한 응답이 지연되었습니다. 이제 이 회사는 복잡한 센서 데이터를 100% 준비할 수 있으며 데이터 준비에 소요되는 시간을 급격히 줄였습니다.

다른 고객, Kuecker Logistics Group(KLG) 는 Trifacta 플랫폼을 사용하여 세계 최대 소매업체가 소유한 창고에서 생성된 수많은 센서 데이터를 준비하고 있습니다. 이러한 고객은 광범위하고 복잡한 공급망 운영을 갖고 있으며 체인에서 하나의 결함이 있거나 비효율적인 링크가 다운스트림에 파급 효과를 일으킬 수 있습니다.

Kuecker는 지능형 데이터 준비 플랫폼을 사용하여 값비싼 개발자를 고용하지 않고도 데이터 준비 프로세스를 확장할 수 있었고 효율성이 크게 향상되었습니다. 이제 그들은 고객 창고 데이터를 준비하고 창고 내에서 수행해야 하는 필요한 변경 사항을 보다 빠르게 식별하고 있습니다.

결론

IoT 데이터는 흥미로운 기회이지만 적절한 데이터 준비 전략이 있어야만 그 이점을 실현할 수 있습니다. 조직은 IoT 데이터의 양과 복잡성을 처리하고 이 데이터가 조직 전체의 다른 소스와 결합될 수 있고 결합될 방법을 이해할 수 있는 데이터 준비 플랫폼을 팀에 제공해야 합니다. 지능형 데이터 준비 솔루션을 채택함으로써 IoT와 빅 데이터의 세계는 더 이상 압도되지 않습니다. 센서 데이터는 혁신의 장애물이 아니라 혁신의 열쇠가 됩니다.

저자는 Trifacta의 CTO이자 공동 설립자인 Sean Kandel입니다.