비정형 데이터:산업의 숨겨진 비용 – 이를 가치로 전환하는 방법

모든 업계에서 데이터 엔지니어와 데이터 과학자는 파일 공유 내에 숨겨져 있고 다양한 시스템 내에 잠겨 있는 데이터를 더 효과적으로 활용하기 위해 노력하고 있습니다. 시장에 대해 자세히 알아보고, 새로운 제품과 서비스를 만들거나, 비즈니스 운영과 고객 관계를 개선할 수 있도록 AI 및 분석 도구에 대한 워크플로를 생성하려면 이 데이터가 필요합니다.

이 방정식의 다른 측면은 기업 데이터가 비즈니스는 물론 IT 내부에서도 잘 이해하지 못하는 엄청난 위험을 가져온다는 것입니다. 예:

• 혁신, 사이버 보안, 우수한 고객 경험을 위해 비용을 지출해야 하는 경우 데이터 저장 및 백업은 대부분의 IT 예산에서 최소 30%를 차지합니다.
• 대부분의 구조화되지 않은 데이터는 비즈니스 가치를 위해 활용되지 않습니다.
• 구조화되지 않은 데이터의 상당 부분(80%)은 거의 사용되지 않으며 값비싼 저장 공간을 차지합니다.
• 많은 조직에서는 명확한 보관 및 삭제 정책을 갖고 있지 않으며, 부서의 반발을 우려하여 정기적인 데이터 정리 작업도 수행하지 않습니다. 중복 데이터만으로도 평균 기업 데이터 공간의 30~40%를 차지할 수 있습니다.
• 하이브리드 IT 사일로 전반에 걸쳐 관리되지 않고 알려지지 않은 구조화되지 않은 데이터 자산은 추가적인 보안 및 규정 준수 위험을 야기합니다.

다음은 비정형 데이터 관리 전략에 관해 고객과 수년간 협력하면서 수집한 여러 산업과 해당 산업의 데이터 관리 요구 사항 및 과제를 살펴보겠습니다.

의료:중요한 데이터에 대한 액세스를 차단하지 않고 비용 절감  

의료는 데이터의 짐승입니다. 일부 추정에 따르면 의료 기관은 다양한 임상 이미지와 기계 데이터의 양에 크게 좌우되는 세계 최대의 데이터 생산자입니다. 비용 절감은 의료 분야에서 항상 중요한 과제였으며, Medicare 환급이 변경된 지금은 더욱 그렇습니다. 의료 기관 역시 엄격한 데이터 보존 규정과 법률 및 연구 요구 사항으로 인해 데이터를 삭제하는 데 어려움을 겪고 있습니다. 

16PB가 넘는 NAS 스토리지를 관리하는 한 선도적인 의료 시스템은 비정형 데이터 관리로 전환하여 콜드 데이터를 분석하고 Azure Blob에 보관하여 기본 스토리지 시스템에 대한 부담을 줄였습니다. 사용자를 방해하지 않고 IT 조직은 2PB 이상의 데이터를 이동하여 값비싼 하드웨어 교체를 지연시키는 데 도움이 되었습니다. 

의료와 같은 규제 산업에서 일반적으로 발생하는 관리 연속성 요구 사항이 있는 조직의 경우 파일 위치 및 메타데이터에 대한 가시성이 중요합니다. 마지막으로, 환자 데이터에 대한 높은 민감도를 고려할 때 규정 준수는 항상 존재하는 요구 사항이므로 완전한 구조화되지 않은 데이터 가시성, 검색 및 감사를 통해 보건 IT 책임자는 위험을 낮추기 위한 더 큰 제어권을 갖게 됩니다.

생명 과학:데이터 혼란을 연구 가속화로 전환

생명 과학 조직은 또한 가장 큰 데이터 생산 부문 중 하나입니다. 그들은 종종 수백만 개의 작지만 가치가 높은 파일, 예측할 수 없는 데이터 폭증, 명확한 삭제 정책 없이 장기간 보존해야 하는 요구 사항을 처리합니다. 이러한 요인으로 인해 IT 인프라 계획이 복잡해졌습니다.

바이오의약품 및 생명공학 연구실에서는 과학 장비에서 TIF 이미지 파일이 폭발적으로 증가하면서 추가적인 문제가 발생합니다. 한 가지 예에서는 한 회사가 로컬에 저장된 연구 데이터를 중앙 집중식 NAS 어레이로 전환했습니다. 급속한 성장에 발맞추기 위해 IT 팀은 Azure에 클라우드 계층화를 배포하고 데이터 분석을 사용하여 오래된 데이터를 찾아 이동했습니다. 이를 통해 과잉 프로비저닝을 방지하고 IT가 병목 현상 없이 연구 파이프라인을 지원하는 데 도움이 되었습니다. 

AWS의 스토리지 솔루션 전문가인 Anthony Fiore는 엔터프라이즈 IT 팀은 일반적으로 한 곳에 저장된 데이터에 대한 정보를 볼 수 없다고 말했습니다. 데이터 관리 소프트웨어가 제공하는 상세한 가시성은 생명 과학 및 기타 분야의 IT 담당자에게 흥미로운 점입니다. "단일 공유에 많은 데이터 사일로가 포함된 NAS 공유를 보유한 고객이 있는데, 이를 사업 부문별로 어떻게 분할할 수 있는지 또는 이 데이터에 관심이 있는지조차 알기 어렵습니다. 그러나 모든 메타데이터를 보고 나면 모든 것이 어떻게 작동하는지 더 잘 이해할 수 있으며 나중에 태그를 지정하고 검색할 수 있습니다."

금융 서비스:깨끗하고 관리되는 데이터로 위험 제거 및 AI 강화

금융 기관은 엄격한 규제 제약(예:SEC, FINRA, GDPR) 하에서 운영되며 수십 년간의 파일 공유 증가로 인해 부담을 받는 경우가 많습니다. 데이터의 확산, 분산형 IT 제어 및 규정 준수로 인해 파일 기반 데이터 관리가 매우 복잡해졌습니다. 또한 금융 기관은 신용 위험, 사기 탐지 또는 거래에 사용되는 AI 모델이 적절하게 관리되고 편견과 오래된 데이터가 없는지 확인해야 합니다. 데이터를 이해, 정리, 분류하고 안전하고 모니터링되는 AI 데이터 워크플로우를 생성하는 체계적인 방법을 갖추는 것이 점점 더 요구되고 있습니다. 

한 다국적 보험 회사의 경우 Azure로의 전환은 비용 절감뿐만 아니라 현대화, 분석 및 AI 준비에 관한 것이었습니다. 그들은 비정형 데이터 관리를 사용하여 데이터 센터의 값비싼 기본 스토리지에 필요한 용량을 줄이고 600TB 이상을 저렴한 개체 클라우드 스토리지로 계층화했습니다. 또한 클라우드 기반 도구를 사용하여 AI로 강화된 보험 상품을 개발하며, 구조화되지 않은 데이터는 예측 모델의 중요한 부분을 구성합니다. AI 수집에 앞서 구조화되지 않은 데이터를 분류하고 세분화하는 능력은 비용을 관리하고 정확한 결과를 제공하는 데 매우 중요합니다.

참조: 실시간 시각지능으로 데이터 저장 함정 탈출

국가 및 지방 정부:인프라 수명 연장 및 데이터 감독 강화

공공 부문 IT 조직은 민간 부문보다 인프라가 노후화되고 레거시 애플리케이션의 비율이 더 높은 경향이 있습니다. 현대화를 원하지만 일반적으로 예산이 부족하고 명확한 삭제 경로 없이 데이터를 보존해야 하는 법적 의무와 보안 정책으로 인해 클라우드 도입이 최소화됩니다. IT 리더는 엄격한 규정 준수 요구 사항과 서비스 제공의 균형을 맞춰야 합니다. 

주정부 기관의 경우 파일을 클라우드에 보관하면 노후화된 하드웨어에 대한 의존도를 줄이는 데 도움이 됩니다. 마지막 수정/액세스 날짜에 대한 가시성을 통해 IT는 거의 액세스하지 않은 데이터만 고성능 스토리지 밖으로 이동할 수 있습니다. 동시에, 안전하고 감사 가능한 액세스를 보장하려면 스토리지 및 데이터 관리 시스템을 보안 및 규정 준수 도구와 통합하는 것이 중요합니다. 데이터 계층화 채택은 여전히 신중하지만 많은 기관에서는 특히 정체된 부서 데이터에 대해 구조화되지 않은 데이터 수명 주기 정책에 대한 사례를 구축하기 위해 보고를 사용하고 있습니다.

엔지니어링 및 건축:숨겨진 데이터 가치를 발굴하여 더 많은 프로젝트 수주

엔지니어링 및 설계 회사는 특히 CAD, GIS 및 3D 모델링 파일에서 대규모의 비정형 데이터를 생성합니다. 이러한 파일은 특히 분산된 팀과 M&A 활동에서 상속된 레거시 시스템 전체에 걸쳐 용량이 크고 관리하기 어렵습니다. 이들 회사는 참조, 책임 및 재사용을 위해 과거 프로젝트 데이터를 보존해야 합니다. 6PB 이상을 관리하는 한 글로벌 기업은 비정형 데이터 관리를 사용하여 3년이 넘은 프로젝트 파일을 식별하고 Azure에 백업된 Cloudian 아카이브로 이동합니다. 이는 접근성을 유지하면서 활성 HPE 어레이의 성능을 유지합니다. 한 경우에는 파일 데이터 저장소에 대한 쿼리를 통해 지진이 발생하기 쉬운 지역의 프로젝트에 대한 토양 테스트 데이터를 신속하게 찾아 시간을 절약하고 중요한 인프라 설계를 지원했습니다.

인수를 계속 통합하면서 회사는 분석을 사용하여 새로 상속된 파일 서버를 평가합니다. 이러한 가시성을 통해 무엇을 보존, 마이그레이션 또는 보관할지 우선순위를 정할 수 있습니다. 이들의 목표는 궁극적으로 모든 비정형 데이터를 색인화하여 AI 기반 모델링을 활성화하고 사업부 전반의 지식 사일로를 줄이는 것입니다.

에너지:중앙 집중식 데이터로 현장 효율성 및 규정 준수 개선

이들 기업은 원격 사이트 제약, 가변 대역폭, 국제 안전 및 운영 규정 준수, 데이터 기반 원격 진단 및 디지털 트윈 지원에 대한 필요성 증가에 직면해 있습니다.

한 회사에서는 수백 개의 원격 위치에 있는 엣지 스토리지를 폐기해야 한다는 필요성 때문에 비정형 데이터 관리를 채택하기로 결정했습니다. 비디오 로그, 도면, 해외 유지 관리 기록이 쌓이면서 비정형 데이터를 중앙 집중화하고 제어하기 위해 콜드 데이터를 Azure에 보관하기 시작했습니다.

비용 청구 모델이 마련되면서 파일 데이터 통찰력이 부서 책임에 매우 중요해졌습니다. 장기적인 목표는 예측 유지 관리 및 규정 준수를 위해 수중 ROV 이미지와 같은 측량 및 검사 데이터 워크플로우를 AI 지원 환경으로 지원하는 것입니다. 

반도체/제조:값비싼 저장 공간을 줄이면서 IP를 보호

반도체 회사는 엔지니어가 활성 데이터 세트에 대한 고성능 액세스를 보장하는 동시에 고가치 IP를 보호하고, 전 세계에 분산된 데이터를 관리하고, 엄격한 수출 통제 및 보안 요구 사항을 준수해야 합니다.

한 글로벌 반도체 제조업체는 방대한 양의 독점 이미지 데이터를 생성하는 고도로 전문화된 스캐닝 장비를 사용합니다. 데이터의 97%가 여전히 온프레미스에 저장되어 있기 때문에 IP 보호나 검색 성능을 저하시키지 않고 오래된 스캔 데이터를 보관할 수 있는 효율적인 방법이 필요했습니다. 비정형 데이터 관리를 Cloudian S3 스토리지와 결합하여 콜드 데이터 정책을 구현하여 12개월 동안 액세스하지 않은 모든 파일을 기본 서버에서 이동했습니다. 심볼릭 링크 보존 및 메타데이터 추적을 통해 회사는 내부 IP 처리 프로토콜 준수를 보장하고 값비싼 기본 NAS에 대한 의존도를 줄였습니다.

결론:구조화되지 않은 데이터를 전략적 비즈니스 자산으로 변환

산업 전반에 걸쳐 비정형 데이터 관리는 더 이상 비용 절감 전략이 아니라 전략적 조력자입니다. 보험 분야의 AI 워크플로 지원, 의료 분야의 규정 준수 유지, 제조 분야의 인프라 간소화 등 조직에서는 데이터 거버넌스와 유연한 데이터 액세스 및 이동을 결합해야 할 필요성을 인식하고 있습니다.