지속적인 데이터를 클라우드로 백홀하는 데 생각보다 비용이 많이 드는 이유

제조, 운송, 통신, 공공 안전 등 점점 더 실시간 의사 결정이 주도되는 산업에서는 데이터가 더 이상 비정기적으로 생성되지 않습니다. 센서, 기계, 모바일 자산, 디지털 애플리케이션을 통해 지속적으로 대규모로 유입됩니다. 분석을 위해 해당 데이터를 클라우드나 데이터 센터에 중앙 집중화하는 것이 한때 효율적인 것처럼 보였지만 오늘날 데이터 스트림의 볼륨, 속도 및 중요성으로 인해 기존 백홀 우선 접근 방식에서는 심각한 한계가 드러났습니다.

수년 동안 이러한 데이터 스트림을 일상적으로 처리하고 실시간 통찰력을 위해 데이터를 사용하려는 조직은 해당 데이터에 대한 분석을 데이터가 생성되는 엣지로 이동해 왔습니다. 데이터 양과 데이터 생성 속도가 증가함에 따라 많은 조직에서는 분석을 통해 얻은 실시간 및 실시간에 가까운 통찰력에 적응적으로 대처할 수 있는 고급 인텔리전스를 엣지 시스템에 제공하고 있습니다.

참조: 지연 시간을 넘어서:적응형 엣지 인텔리전스의 다음 단계

백홀링 데이터의 한계

데이터를 중앙 집중식 시설로 백홀링하는 것은 데이터 양과 데이터 생성 속도가 적당하지 않았던 수십 년 동안 실제로 적용되었습니다. 즉각적인 조치를 취하거나 과거 추세를 이해하기 위해 데이터가 저장되고 분석됩니다.

이 모델은 대량의 연속 스트리밍 데이터가 있는 산업에서는 더 이상 작동하지 않습니다. 영향을 받는 일부 산업은 다음과 같습니다:

• 끝없이 쏟아지는 거래 데이터 스트림을 활용하려는 금융 서비스 조직
• 생산 라인 장비의 IoT 및 기타 센서 데이터를 이해하려는 제조업체.
• 순간을 포착하여 웹사이트에서 고객에게 관련 항목을 제시하려는 온라인 소매업체.
• 도로 장애물을 피하고 교통법규를 준수하기 위해 비디오 스트림을 해석하려는 자율주행차

이러한 경우와 기타 경우에 데이터 백홀과 관련하여 가장 시급한 과제 중 하나는 네트워크 정체입니다. . IoT 센서, HD 비디오 피드, 자율 시스템 또는 산업 기계와 같은 고주파 데이터 소스는 시간당 기가바이트 또는 심지어 테라바이트의 데이터를 생성할 수 있습니다. 이를 중앙 위치로 집중시키려고 하면 사용 가능한 대역폭이 제한되어 비용이 증가하고 전체 네트워크 성능이 저하됩니다. 대역폭 업그레이드는 도움이 되지만 확장성이 부족하여 비용이 높아집니다.

그리고 지연 시간이 있습니다. , 이는 실시간 응답성의 조용한 살인자입니다. 원시 데이터를 처리하기 위해 장거리를 이동해야 하는 경우 왕복 지연으로 인해 분석 시스템이 작동하는 시간에 따라 통찰력이 진부해질 수 있습니다. 유틸리티의 결함 감지, 제조 라인의 품질 관리 또는 운송 차량의 예측 유지 관리와 같이 안전이 중요하거나 시간에 민감한 시나리오에서는 밀리초가 중요합니다. 중앙 집중식 처리 아키텍처는 결정적인 성능을 보장할 수 없습니다.

흔히 간과되는 또 다른 문제는 비용 비효율성입니다. . 대규모 데이터 세트를 지속적으로 이동하면 클라우드 스토리지, 데이터 전송 요금, 컴퓨팅 리소스 비용이 높아집니다. 많은 조직에서는 중복되거나 가치가 낮거나 관련성이 없는 데이터를 저장하고 분석하는 데 비용을 지불하고 있습니다. 실제로 연구에 따르면 대부분의 원시 센서 데이터는 전혀 사용되지 않지만 백홀 시 여전히 전체 전송 및 저장 비용이 발생하는 것으로 나타났습니다.

보안 및 개인정보 보호 위험 또한 데이터 볼륨이 증가함에 따라 증가합니다. 광역 네트워크를 통해 필터링되지 않은 데이터를 이동하면 공격 표면이 확대되고 엄격한 암호화, 모니터링 및 규정 준수 제어가 필요합니다. 위치 정보, 운영 원격 측정 또는 고객 사용 패턴과 같은 민감한 데이터는 지역 또는 클라우드 경계를 넘어 전송될 때 규제 관련 영향을 미칠 수 있습니다. 일부 산업에서는 이것만으로도 중앙 집중식 백홀이 실용적이지 않습니다.

마지막으로 중앙 집중식 아키텍처는 복원력을 제한합니다. . 연결이 끊어지거나 성능이 저하되면 분석을 위해 클라우드에 의존하는 시스템이 적시에 결정을 내리지 못할 수 있습니다. 이는 원격 채굴 작업, 해양 에너지 플랫폼, 스마트 그리드 또는 네트워크가 복구될 때까지 작업을 일시 중지할 수 없는 운송 시스템과 같은 엣지 환경에서는 용납될 수 없습니다.

데이터 백홀 문제 자세히 살펴보기

간단히 말해서, 실시간 시스템이 확산됨에 따라 분석 및 의사 결정은 이벤트 소스에 더 가깝게 이동하고 상태를 유지하며 최소한의 지연 시간과 완전한 일관성으로 실행되어야 합니다.

최근 Volt Active Data 블로그에서는 데이터 백홀 문제를 관점에서 살펴보고 적응형 엣지 인텔리전스 시스템이 이러한 문제를 제거하는 방법에 대해 논의했습니다.

블로그에서는 중앙 집중식 데이터 처리가 어느 정도 관리 편의성을 제공하지만 상당한 숨겨진 비용이 따른다고 지적했습니다. 여기에는 대규모 데이터 세트를 전송하고 저장하는 데 따른 고대역폭 및 저장 비용, 에너지 소비 및 관련 탄소 배출량 증가, 네트워크 대기 시간 및 안정성 문제(특히 실시간 애플리케이션의 경우), 모든 처리가 중앙 집중식 인프라에 의존할 때 단일 장애 지점이 발생할 위험이 더 커집니다.

이러한 문제를 극복하기 위해 조직은 인텔리전스를 엣지로 전환하고 있습니다. 즉, 소스에 더 가까운 데이터를 처리하고 필터링하여 의미 있고 축소된 정보만 업스트림으로 전송됩니다. 이러한 엣지 기반 모델은 전송 및 저장 비용을 낮추고, 대기 시간을 획기적으로 줄이고, 운영 탄력성을 향상시키며, 더욱 친환경적이고 지속 가능한 아키텍처를 가능하게 합니다.

마지막 말씀

조직이 엣지에서 더 많은 자동화, AI 및 자율 운영을 채택함에 따라 모든 것을 데이터 센터로 배송하는 모델은 점점 더 지속 불가능해집니다. 미래는 데이터가 로컬에서 처리되고, 소스에서 축소 또는 강화되며, 가치가 높은 출력 또는 집계만 업스트림으로 전송되는 하이브리드 및 엣지 네이티브 아키텍처에 있습니다.