스트리밍 데이터는 IoT 시대의 새로운 가능성을 열어줍니다

Hazelcast의 Kelly Herrell

디지털 이전 시대에 IT 부서는 데이터에서 가치를 추출하기 위한 다양한 기술적 접근 방식을 마스터했습니다. 데이터 웨어하우스, 분석 플랫폼 및 다양한 유형의 데이터베이스가 데이터 센터를 채우고 기록이 기록 가치를 위해 디스크에 안전하게 보존된 저장 장치에 액세스합니다.

이와 대조적으로 Hazelcast의 CEO인 Kelly Herrell은 말합니다. , 오늘날 데이터는 사물 인터넷(IoT) 장치에 의해 전례 없는 속도로 생성되고 스트리밍되고 있습니다. IoT의 "사물"은 셀 수 없이 많습니다. 센서, 모바일 앱, 연결된 차량 등 그 자체로 폭발적입니다. 거기에 가치의 정도가 연결된 사용자 수와 직접적인 상관 관계가 있는 "네트워크 효과"를 추가하면 기업이 IDC 를 좋아하는 이유를 쉽게 알 수 있습니다. IoT 시장은 내년에 7,450억 달러(6,650억 유로), 2022년에는 1조 달러(0.89조 유로)를 넘어설 것으로 예상합니다.

이 메가트렌드는 데이터 처리 패러다임을 파괴하고 있습니다. 저장된 데이터의 역사적 가치는 스트리밍 데이터의 시간적 가치로 대체되고 있습니다. 스트리밍 데이터 패러다임에서 가치는 두 가지 이유 때문에 즉각성의 직접적인 함수입니다.

차이의 개념 및 부패성 이 스트리밍 데이터 패러다임에 적용하십시오. 데이터 스트림에서 감지된 갑작스러운 변화는 실시간 안면 인식의 패턴이든, 시추 장비 진동 센서가 갑자기 이상을 등록하든 상관없이 즉각적인 조치가 필요합니다.

시간에 민감한 오늘날의 시대에 IoT와 스트리밍 데이터는 이러한 새로운 데이터 패러다임의 변화 속도를 가속화하고 있습니다. 스트림 처리 자체가 빠르게 변화하고 있습니다.

<노스크립트>

2세대, 동일한 문제

1세대 스트림 처리는 주로 복잡한 Hadoop 기반 아키텍처를 사용하는 일괄 처리를 기반으로 했습니다. 데이터가 로드된 후(생성된 후 상당한 시간이 지난 후) 데이터 처리 엔진을 통해 스트림으로 푸시되었습니다. 복잡성과 지연의 조합으로 인해 이 방법은 크게 불충분했습니다.

2세대(여전히 많이 사용됨)는 배치 크기를 "마이크로 배치"로 축소했습니다. 구현의 복잡성은 변경되지 않았으며 더 작은 배치는 시간이 덜 걸리지만 배치 설정에는 여전히 지연이 있습니다. 2세대는 차이를 식별할 수 있습니다. 그러나 변질 가능성은 다루지 않습니다. 스트림에서 변경 사항을 발견할 때는 이미 기록입니다.

3세대 스트림 처리

처음 두 세대는 IT 조직이 직면한 장애물을 강조합니다. 생성되는 순간에 데이터를 처리하면서 스트림 처리를 구현하기가 더 쉬울 수 있는 방법은 무엇입니까? 답:소프트웨어는 일괄 지향적이 아니라 단순화되어야 하며 스트림 소스에 매우 가깝게 배치할 수 있을 만큼 작아야 합니다.

스트림 처리의 처음 2세대에는 여러 구성 요소를 설치하고 통합해야 하므로 대부분의 에지 및 IoT 인프라에 너무 많은 공간이 필요합니다. 가벼운 설치 공간을 통해 스트리밍 엔진을 데이터 원본 가까이에 설치하거나 데이터 원본에 내장할 수 있습니다. 가까운 거리에 있기 때문에 IoT 스트림이 처리를 위해 네트워크를 통과할 필요가 없으므로 지연 시간이 줄어들고 부패성 문제를 해결하는 데 도움이 됩니다.

IT 조직의 과제는 스트리밍 데이터 소스를 실시간으로 수집 및 처리하여 지금 실행 가능한 정보로 데이터를 정제하는 것입니다. . 일괄 처리가 지연되면 스트리밍 데이터의 가치가 떨어집니다. 3세대 스트림 처리는 실시간 원시 데이터를 모든 규모에서 즉시 작업하여 일괄 처리에 내재된 지연 문제를 극복할 수 있습니다.

<노스크립트>

실제 스트리밍

드릴링 장비는 에너지 산업에서 가장 잘 알려진 상징 중 하나입니다. 그러나 장비의 운영 비용은 엄청나게 높으며 프로세스 전반에 걸친 가동 중지 시간은 운영자의 수익에 상당한 영향을 미칠 수 있습니다. 예방적 통찰력은 이러한 손실을 극적으로 개선할 수 있는 새로운 기회를 제공합니다.

시그마스트림 드릴링 프로세스에서 생성되는 고주파 데이터 스트림을 전문으로 하는 는 스트림 처리가 현장에서 구현되고 있는 좋은 예입니다. SigmaStream 고객 장비에는 드릴링 과정에서 가장 작은 진동을 감지하기 위해 다수의 센서가 장착되어 있습니다. 이러한 센서에서 생성된 데이터는 스트림 처리 시스템에 들어가는 고주파 데이터의 60~70개 채널에 도달할 수 있습니다.

정보를 실시간으로 처리함으로써 SigmaStream은 운영자가 이러한 데이터 스트림에서 실행하고 즉시 데이터에 조치를 취하여 장애 및 지연을 방지할 수 있도록 합니다. 데이터를 처리하고 분석하는 데 적합한 도구와 결합된 3세대 스트리밍 엔진을 통해 운영자는 장비 데이터에 대한 스트리밍 분석을 통해 거의 감지할 수 없는 진동을 모니터링할 수 있습니다. 미세 조정된 조정을 통해 SigmaStream 고객은 수백만 달러를 절약하고 현장 방문 시간을 20%까지 단축했습니다.

오늘날의 디지털 시대에서 대기 시간은 새로운 다운타임입니다. 스트림 처리는 정보를 더 빠르게 처리하고, 더 빠르게 작업을 수행하고, 도착하는 속도로 새로운 데이터를 활용하려는 조직을 위한 논리적인 다음 단계입니다. 스트림 처리를 주류 응용 프로그램으로 가져옴으로써 조직은 새로운 종류의 초고성능 응용 프로그램이 지배하는 세상에서 번창할 수 있으며 시간에 민감한 정보를 제공하여 증가하는 기대치를 충족할 수 있습니다.

저자는 Hazelcast의 CEO인 Kelly Herrell입니다.