지속적 데이터를 클라우드로 백홀링하는 것이 생각보다 더 비싼 이유

실시간 의사결정에 의해 점점 더 주도되는 제조, 운송, 통신, 공공 안전 등 산업에서 데이터는 더 이상 간헐적인 배치로 생성되지 않습니다. 센서, 기계, 모바일 자산, 디지털 애플리케이션에서 지속적으로 그리고 대규모로 도착합니다. 한때 그 데이터를 분석을 위해 클라우드나 데이터센터로 중앙 집중화하는 것이 효율적으로 보였지만, 오늘날 데이터 스트림의 양, 속도, 중요성은 전통적인 백홀 우선 접근 방식의 심각한 한계를 드러냈습니다.

수년 동안 이러한 데이터 스트림을 정기적으로 다루고 실시간 인사이트를 위해 데이터를 사용하려는 조직들은 해당 데이터의 분석을 데이터가 생성되는 에지로 이동해 왔습니다. 점점 더 데이터 볼륨과 데이터 생성 속도가 증가함에 따라 많은 조직이 에지 시스템에 고급 지능을 부여하여 분석에서 도출된 실시간 및 준실시간 인사이트에 적응적으로 행동하게 하고 있습니다.

참고: 지연 시간을 넘어: 적응형 에지 인텔리전스의 다음 단계

데이터 백홀링의 한계

데이터 볼륨과 데이터 생성 속도가 적당했던 시절에는 중앙 집중식 시설로 데이터를 백홀링하는 것이 수십 년간 실용적인 적용을 가졌습니다. 데이터는 즉각적인 조치를 위해 저장되고 분석되거나 과거 추세를 이해하기 위해 분석되었습니다.

그 모델은 지속적인 스트리밍 데이터의 대용량을 가진 산업에서는 더 이상 작동하지 않습니다. 영향을 받는 일부 산업에는 다음이 포함됩니다.

• 끝없는 트랜잭션 데이터 스트림에 따라 행동하려는 금융 서비스 조직.
• 생산 라인의 장비에서 IoT 및 기타 센서 데이터를 이해하려는 제조 기업.
• 웹사이트에서 고객에게 관련 아이템을 제시하여 순간을 포착하려는 온라인 소매업체.
• 도로 장애물을 피하고 교통 법규를 준수하기 위해 비디오 스트림을 해석하려는 자율 주행 차량.

이러한 경우 및 기타 경우에서 데이터를 백홀링하는 가장 즉각적인 과제 중 하나는 네트워크 혼잡입니다. IoT 센서, HD 비디오 피드, 자율 시스템, 산업 기계 같은 고주파 데이터 소스는 시간당 기가바이트 또는 테라바이트의 데이터를 생성할 수 있습니다. 이를 중앙 위치로 퍼내려고 시도하면 가용 대역폭이 긴장되어 비용이 증가하고 전반적인 네트워크 성능이 저하됩니다. 대역폭 업그레이드는 도움이 되지만 확장성이 낮아 더 높은 비용으로 이어집니다.

그리고 지연 시간이 있습니다. 생생한 데이터가 처리를 위해 긴 거리를 이동해야 할 때 왕복 지연은 분석 시스템이 그것들에 행동할 때쯤이면 인사이트를 구식으로 만들 수 있습니다. 안전 중요 또는 시간 민감 시나리오에서, 유틸리티의 장애 탐지, 제조 라인의 품질 관리, 운송 차량의 예측 유지보수와 같은 경우 밀리초가 중요합니다. 중앙 집중식 처리 아키텍처는 단순히 결정적 성능을 보장할 수 없습니다.

또 다른 종종 간과되는 문제는 비용 비효율성입니다. 클라우드 스토리지, 데이터 전송 수수료, 컴퓨팅 리소스는 대규모 데이터셋이 지속적으로 이동할 때 비싸집니다. 많은 조직이 중복적이거나 저가치이거나 무관한 데이터를 저장하고 분석하는 데 비용을 지불하고 있음을 발견합니다. 사실, 연구들은 원시 센서 데이터의 대다수가 결코 사용되지 않음에도 불구하고 백홀될 때 전체 전송 및 스토리지 비용이 발생함을 일상적으로 보여줍니다.

보안 및 프라이버시 위험도 데이터 볼륨이 증가함에 따라 커집니다. 필터링되지 않은 데이터를 광역 네트워크를 통해 이동하면 공격 표면이 확장되고 엄격한 암호화, 모니터링, 컴플라이언스 통제가 필요합니다. 위치 정보, 운영 텔레메트리, 고객 사용 패턴 같은 민감한 데이터는 지역이나 클라우드 경계를 넘어 전송될 때 규제적 함의를 가질 수 있습니다. 일부 산업에서는 이만으로도 중앙 집중식 백홀링을 비현실적으로 만듭니다.

마지막으로 중앙 집중식 아키텍처는 복원력을 제한합니다. 연결이 끊기거나 성능이 저하되면 분석을 위해 클라우드에 의존하는 시스템은 시기적절한 결정을 내리지 못할 수 있습니다. 이는 네트워크가 복구될 때까지 작동을 중단할 수 없는 원격 채굴 작업, 해상 에너지 플랫폼, 스마트 그리드, 운송 시스템 같은 에지 환경에서 용납될 수 없습니다.

데이터 백홀링 이슈 자세히 보기

요컨대, 실시간 시스템이 확산됨에 따라 분석과 의사결정은 이벤트 소스에 더 가까워져야 하고, 상태를 유지하며, 최소 지연 시간과 완전한 일관성으로 실행되어야 합니다.

최근 Volt Active Data 블로그는 데이터 백홀링의 이슈를 조명하고 적응형 에지 인텔리전스 시스템이 어떻게 그것들을 제거하는지 논의했습니다.

블로그는 중앙 집중식 데이터 처리가 일부 관리 편의성을 제공하지만 상당한 숨겨진 비용을 수반한다고 지적했습니다. 여기에는 대규모 데이터셋 전송 및 보관으로 인한 높은 대역폭 및 스토리지 비용, 에너지 소비 증가 및 관련 탄소 발자국, 네트워크 지연 시간 및 신뢰성 문제(특히 실시간 애플리케이션의 경우), 모든 처리가 중앙 집중식 인프라에 의존할 때 단일 장애 지점의 더 큰 위험이 포함됩니다.

이러한 이슈를 극복하기 위해 조직은 인텔리전스를 에지로 이동시키고 있습니다: 데이터 소스에 더 가깝게 데이터를 처리하고 필터링하여 의미 있고 축소된 정보만 업스트림으로 전송되도록 합니다. 이러한 에지 네이티브 모델은 전송 및 스토리지 비용을 낮추고, 지연 시간을 극적으로 줄이며, 운영 복원력을 개선하고, 더 친환경적이고 지속 가능한 아키텍처를 가능하게 합니다.

마무리

조직이 에지에서 더 많은 자동화, AI, 자율 운영을 채택함에 따라 모든 것을 데이터센터로 보내는 모델은 점점 더 지속 불가능해지고 있습니다. 미래는 데이터가 로컬에서 처리되고, 소스에서 축소 또는 강화되며, 고가치 출력이나 집계만 업스트림으로 전송되는 하이브리드 및 에지 네이티브 아키텍처에 있습니다.