비정형 데이터: 산업의 숨은 비용 – 가치로 전환하는 방법

모든 산업에서 데이터 엔지니어와 데이터 과학자들은 파일 공유 속에 숨겨진 데이터와 서로 다른 시스템에 잠긴 데이터를 더 잘 활용하려고 합니다. 이 데이터는 AI 및 분석 도구 워크플로를 생성하여 시장에 대해 더 많이 파악하고, 신제품과 서비스를 만들거나, 비즈니스 운영과 고객 관계를 개선하는 데 필요합니다.

방정식의 다른 면은 엔터프라이즈 데이터가 비즈니스에서 잘 이해되지 않고, IT 내에서도 잘 이해되지 않는 상당한 위험을 안고 있다는 것입니다. 예를 들어:

• 데이터 스토리지와 백업은 대부분의 IT 예산의 최소 30%를 차지하는데, 이 돈은 혁신, 사이버 보안, 훌륭한 고객 경험에 쓰여야 합니다;
• 대부분의 비정형 데이터는 비즈니스 가치를 위해 활용되지 않습니다;
• 비정형 데이터의 최대 80%는 거의 사용되지 않으며 비싼 스토리지 공간을 차지합니다;
• 많은 조직이 명확한 보존 및 삭제 정책이 없거나, 부서가 반발할까 봐 정기적인 데이터 정리를 수행하지 않습니다. 중복 데이터만으로도 평균 엔터프라이즈 데이터 풋프린트의 30~40%를 쉽게 구성할 수 있습니다;
• 하이브리드 IT 사일로 전반에 걸친 비관리·미지의 비정형 데이터 자산은 추가적인 보안 및 규정 준수 리스크를 만듭니다.

수년간 고객들과 비정형 데이터 관리 전략을 수립하며 얻은 여러 산업과 그들의 데이터 관리 요구사항 및 과제를 살펴보겠습니다.

의료: 중요한 데이터 액세스 없이 비용 절감

의료는 데이터의 야수입니다. 일부 추정에 따르면 의료 기관은 다양한 임상 이미지와 기계 데이터의 양에 힘입어 세계 최대의 데이터 생산자입니다. 비용 억제는 의료 분야에서 항상 절박한 명령이었으며, 메디케어 상환 변경으로 더욱 그렇습니다. 의료 기관은 엄격한 데이터 보존 규정과 법적·연구 요구사항으로 인한 데이터 삭제 어려움에도 직면해 있습니다.

16PB 이상의 NAS 스토리지를 관리하는 한 선도적 건강 시스템은 비정형 데이터 관리를 통해 콜드 데이터를 분석하고 Azure Blob으로 아카이빙하여 기본 스토리지 시스템의 압박을 줄였습니다. 사용자 중단 없이 IT 조직은 2PB 이상의 데이터를 이동하여 비용이 많이 드는 하드웨어 리프레시를 지연시키는 데 도움을 주었습니다.

의료 같은 규제 산업에서 흔한 보관 연계 요구사항이 있는 조직의 경우, 파일 위치와 메타데이터에 대한 가시성이 필수적입니다. 마지막으로, 환자 데이터의 높은 민감성을 고려할 때 규정 준수는 항상 존재하는 필요이므로, 완전한 비정형 데이터 가시성, 검색, 감사는 헬스 IT 디렉터에게 위험을 낮추기 위한 더 큰 통제권을 제공합니다.

생명과학: 데이터 혼돈을 연구 가속화로 전환

생명과학 기관도 가장 큰 데이터 생산 부문 중 하나입니다. 수백만 개의 작지만 고가치 파일, 예측 불가능한 데이터 버스트, 명확한 삭제 정책 없는 장기 보존 필요성을 다룹니다. 이러한 요인들은 IT 인프라 계획을 복잡하게 만듭니다.

바이오제약 및 바이오테크 연구실에서 과학 기기에서 나오는 TIF 이미지 파일의 폭발적 증가는 추가 과제를 만듭니다. 한 예로, 한 회사가 로컬에 저장된 연구 데이터를 중앙 집중식 NAS 어레이로 전환했습니다. 급속한 성장에 보조를 맞추기 위해 IT 팀은 Azure로 클라우드 티어링을 배포하고 데이터 분석을 사용하여 오래된 데이터를 식별하고 이동했습니다. 이는 과도한 프로비저닝을 방지하고 병목 현상 없이 연구 파이프라인을 지원하는 데 도움이 되었습니다.

엔터프라이즈 IT 팀은 일반적으로 자신의 데이터에 대한 정보를 한곳에서 볼 수 없다고 AWS의 스토리지 솔루션 전문가 Anthony Fiore는 말했습니다. 데이터 관리 소프트웨어가 제공하는 상세한 가시성은 생명과학 및 기타 부문의 IT 담당자들에게 흥미롭습니다: "한 공유 안에 많은 데이터 사일로가 있는 NAS 공유를 가진 고객들이 있는데, 이를 비즈니스 라인별로 어떻게 나눌지, 심지어 이 데이터를 신경 쓰는지조차 알기 어렵습니다. 하지만 일단 모든 메타데이터를 보면 모든 것이 어떻게 작동하는지 더 잘 이해하게 되고, 나중에 태그하고 검색할 수 있습니다."

금융 서비스: 깨끗하고 거버넌스된 데이터로 리스크 제거 및 AI 강화

금융 기관은 엄격한 규제 제약(SEC, FINRA, GDPR 등) 하에서 운영되며 수십 년간의 파일 공유 성장에 시달리는 경우가 많습니다. 데이터 스프롤, 분산된 IT 통제, 규정 준수는 파일 기반 데이터 관리를 극도로 복잡하게 만듭니다. 또한 금융 기관은 신용 리스크, 사기 탐지, 거래에 사용되는 AI 모델이 적절히 거버넌스되고 편향 및 오래된 데이터가 없도록 보장해야 합니다. 데이터를 체계적으로 이해, 정제, 분류하고 안전하고 모니터링되는 AI 데이터 워크플로를 생성하는 것이 점점 더 중요한 요구사항이 되고 있습니다.

한 다국적 보험사의 Azure 이동은 비용 절감뿐만 아니라 현대화, 분석, AI 준비성을 위한 것이었습니다. 이들은 비정형 데이터 관리를 사용하여 데이터 센터의 비싼 기본 스토리지 용량 필요성을 줄이고, 600TB 이상을 저비용 오브젝트 클라우드 스토리지로 티어링했습니다. 또한 클라우드 기반 도구를 사용하여 AI 강화 보험 상품을 개발하며, 비정형 데이터가 이러한 예측 모델의 중요한 부분을 형성합니다. AI 인제스트 전에 비정형 데이터를 분류하고 세그먼트화하는 능력은 비용 관리와 정확한 결과 제공에 필수적입니다.

참고: 실시간 시각 인텔리전스의 데이터 스토리지 함정 탈출

주 및 지방 정부: 인프라 수명 연장 및 데이터 감독 강화

공공 부문 IT 조직은 민간 부문보다 노후화된 인프라와 더 높은 레거시 애플리케이션 비율을 가집니다. 현대화를 원하지만 예산은 보통 빡빡하고, 보안 정책과 명확한 삭제 경로 없는 데이터 보존 법적 의무로 인해 클라우드 도입은 최소화되어 있습니다. IT 리더들은 엄격한 규정 준수 요구사항과 서비스 제공의 균형을 맞춰야 합니다.

주 기관의 경우, 파일을 클라우드로 아카이빙하면 노후화된 하드웨어 의존도를 줄일 수 있습니다. 마지막 수정/액세스 날짜에 대한 가시성을 통해 IT는 드물게 액세스되는 데이터만 고성능 스토리지에서 이동할 수 있습니다. 동시에 스토리지와 데이터 관리 시스템을 보안 및 규정 준수 도구와 통합하는 것은 안전하고 감사 가능한 액세스를 보장하는 데 필수적입니다. 데이터 티어링 도입은 여전히 신중하지만, 많은 기관이 보고를 사용하여 정체된 부서 데이터 주변의 비정형 데이터 수명 주기 정책, 특히 정체된 부서 데이터를 위한 사례를 구축하고 있습니다.

엔지니어링 및 건축: 숨겨진 데이터 가치 발굴로 더 많은 프로젝트 수주

엔지니어링 및 설계 회사는 CAD, GIS, 3D 모델링 파일에서 특히 대규모로 비정형 데이터를 생성합니다. 이 파일들은 크고 관리가 어렵습니다. 특히 분산된 팀과 M&A 활동으로 물려받은 레거시 시스템 전반에서 그렇습니다. 이 회사들은 참조, 책임, 재사용을 위해 과거 프로젝트 데이터를 보존해야 합니다. 6PB 이상을 관리하는 한 글로벌 회사는 비정형 데이터 관리를 사용하여 3년 이상 된 프로젝트 파일을 식별하고 Cloudian 아카이브로 이동하며 Azure에 백업합니다. 이는 활성 HPE 어레이의 성능을 유지하면서 접근성을 유지합니다. 한 사례에서 파일 데이터 스토어 전반에 걸친 쿼리는 지진 위험 지역의 프로젝트를 위한 토양 테스트 데이터를 신속하게 찾는 데 도움을 주어 시간을 절약하고 중요한 인프라 설계를 지원했습니다.

인수를 지속적으로 통합하면서, 이 회사는 분석을 사용하여 새로 물려받은 파일 서버를 평가합니다. 이 가시성을 통해 무엇을 보존, 마이그레이션, 아카이빙할지 우선순위를 정할 수 있습니다. 그들의 목표는 결국 모든 비정형 데이터를 인덱싱하여 AI 기반 모델링을 가능하게 하고 비즈니스 단위 전반의 지식 사일로를 줄이는 것입니다.

에너지: 중앙화된 데이터로 현장 효율성 및 규정 준수 개선

이 회사들은 원격 현장 제약, 가변 대역폭, 국제 안전 및 운영 규정 준수, 데이터 기반 원격 진단 및 디지털 트윈 지원이 증가하는 필요성에 직면합니다.

한 회사에서 비정형 데이터 관리 채택 결정은 수백 개의 원격 위치에 걸친 엣지 스토리지를 퇴역시킬 필요성에서 나왔습니다. 비디오 로그, 도면, 해상 유지보수 기록이 쌓이면서, 그들은 콜드 데이터를 Azure로 아카이빙하여 비정형 데이터를 중앙화하고 통제하기 시작했습니다.

차지백 모델이 마련되면서 파일 데이터 인사이트는 부서별 책임에 필수적이 되었습니다. 장기 목표는 수중 ROV 이미지 같은 조사 및 검사 데이터 워크플로를 AI 준비 환경으로 가져와 예측 유지보수와 규정 준수를 지원하는 것입니다.

반도체/제조: 고가치 IP 보호하면서 비싼 스토리지 풋프린트 절감

반도체 회사는 고가치 IP를 보호하고, 전 세계적으로 분산된 데이터를 관리하며, 엄격한 수출 통제 및 보안 요건을 준수하면서 엔지니어가 활성 데이터세트에 고성능 액세스를 할 수 있도록 해야 합니다.

한 글로벌 반도체 제조업체는 방대한 양의 독점 이미지 데이터를 생성하는 고도로 전문화된 스캐닝 장비를 사용합니다. 데이터의 97%가 여전히 온프레미스에 저장되어 있는 상황에서, IP 보호나 검색 성능을 손상시키지 않고 오래된 스캔 데이터를 효율적으로 아카이빙할 방법이 필요했습니다. 비정형 데이터 관리를 Cloudian S3 스토리지와 결합하여, 12개월 동안 액세스되지 않은 파일을 기본 서버에서 이동하는 콜드 데이터 정책을 구현했습니다. 심볼릭 링크 보존과 메타데이터 추적을 통해 회사는 내부 IP 처리 프로토콜 준수를 보장하고 비싼 기본 NAS 의존도를 줄였습니다.

결론: 비정형 데이터를 전략적 비즈니스 자산으로 전환

산업 전반에서 비정형 데이터 관리는 더 이상 단순한 비용 절감 전술이 아니라 전략적 인에이블러입니다. 보험에서 AI 워크플로 지원, 의료에서 규정 준수 유지, 제조에서 인프라 간소화 등, 조직은 데이터 거버넌스를 유연한 데이터 액세스 및 이동과 결합할 필요성을 인식하고 있습니다.