3세대 스트림 처리: IoT 데이터를 실시간 행동으로 전환

헤이즐캐스트(Hazelcast)의 켈리 헤럴(Kelly Herrell)

디지털 이전 시대에 IT 팀은 데이터 웨어하우스, 분석 플랫폼, 다양한 데이터베이스 시스템 등 다양한 데이터 관리 도구를 활용하여 정보를 수집하고 미래 분석을 위해 보존했습니다.

오늘날 데이터는 IoT 기기에 의해 전례 없는 속도로 생성되고 스트리밍됩니다. IoT의 '사물(Things)'인 센서, 모바일 앱, 커넥티드 차량이 폭발적인 정보 볼륨을 생성합니다. 연결된 사용자 수에 따라 가치가 확장되는 네트워크 효과를 더하면, IDC가 내년 IoT 시장을 7,450억 달러(약 6,650억 유로), 2022년까지 1조 달러(약 8,900억 유로) 초과로 전망하는 이유가 명확해집니다.

이 메가트렌드에서 과거 데이터에 대한 전통적 강조는 스트리밍 데이터의 시간적 가치로 자리를 내주고 있습니다. 스트리밍 패러다임에서 가치는 두 가지 이유로 즉각성과 직접 연결됩니다:

• 차별성(Difference): 호스를 통과하는 물 분자처럼, 네트워크를 흐르는 데이터의 각 스냅샷은 고유합니다.
• 휘발성(Perishability): 데이터 생성 직후 통찰에 기반한 행동 기회가 종종 증발합니다.

이 개념은 스트림에서 감지된 갑작스러운 변화가 즉각적 행동을 요구함을 의미합니다. 실시간 안면인식 알림이든, 방치 시 치명적 고장으로 이어질 수 있는 비정상 진동을 감지하는 굴착 장치 센서이든 말입니다.

오늘날 빠르게 움직이는 세상에서 IoT와 스트리밍 데이터는 변화 속도를 가속화하여 정보 처리 방식을 재편합니다. 스트림 처리 자체도 급속히 진화하고 있습니다.

두 세대, 같은 문제

1세대 스트림 처리는 복잡한 하둡(Hadoop) 기반 아키텍처 내 배치 처리에 크게 의존했습니다. 데이터가 수집, 저장되고 지연 후 처리 엔진으로 스트리밍되었습니다. 복잡성과 지연의 조합으로 이 접근은 크게 부적절했습니다.

2세대는 마이크로 배치를 도입하여 배치 크기를 줄여 처리 시간을 단축했습니다. 그러나 근본적 복잡성은 남아 있었고, 각 마이크로 배치 설정 지연으로 변화가 이력이 된 후에야 식별되었습니다.

3세대 스트림 처리

IT 조직의 과제는 명확합니다: 어떻게 배치 지향 시스템의 오버헤드 없이 스트리밍 데이터를 실시간으로 수집하고 처리하여 원시 데이터를 '지금' 실행 가능한 통찰로 전환할 것인가? 답은 배치 중심이 아니고, 데이터 소스 가깝거나 심지어 내부에 배포할 수 있을 만큼 가볍고 작은 소프트웨어에 있습니다.

1, 2세대 엔진은 여러 구성 요소를 필요로 하여 대부분의 에지 및 IoT 환경에는 너무 큰 풋프린트를 가집니다. 가벼운 엔진은 소스 바로 옆에 배포되어 전체 스트림을 네트워크로 보내 처리할 필요를 없앱니다. 이 근접성은 지연 시간을 획기적으로 줄이고 휘발성 과제를 해결합니다.

3세대 스트림 처리는 대규모 라이브 원시 데이터를 처리하여 통찰을 즉각 제공하고, 실시간 정보의 덧없는 가치를 활용하는 행동을 가능하게 합니다.

실전 스트리밍

굴착 장치는 에너지 부문의 전형적 상징이지만, 운영 비용이 높고 다운타임은 수익에 심각한 영향을 미칠 수 있습니다. 예방적 통찰은 손실을 크게 줄일 수 있습니다.

시그마스트림(SigmaStream)은 굴착 중 생성되는 고주파 데이터 스트림을 전문으로 합니다. 이들의 장치는 미세 진동을 포착하는 수십 개의 센서로 장착됩니다. 볼륨은 60~70개의 고주파 채널이 스트림 처리 시스템으로 유입될 수 있습니다.

이 데이터를 실시간으로 처리함으로써 시그마스트림은 운영자가 즉각 행동하게 합니다. 즉석에서 굴착 파라미터를 조정하여 고장과 다운타임을 방지합니다. 3세대 스트리밍 엔진과 적절한 분석 도구와 결합하여 운영자는 거의 감지할 수 없는 진동을 모니터링할 수 있습니다. 결과: 고객이 수백만 달러를 절약하고 현장 시간을 최대 20% 단축했습니다.

디지털 시대에 지연 시간은 새로운 다운타임입니다. 스트림 처리는 정보를 더 빠르게 수집하고, 더 빠른 행동을 가능하게 하며, 실시간 데이터에 대한 증가하는 수요를 충족해야 하는 조직의 논리적 다음 단계입니다. 스트림 처리를 주류화함으로써 기업은 초고성능 애플리케이션이 지배하는 세상에서 번영하고, 상승하는 기대를 충족하는 시간 민감한 정보를 제공할 수 있습니다.

저자는 켈리 헤럴(Kelly Herrell), 헤이즐캐스트(Hazelcast) CEO입니다.