클라우드 데이터 레이크를 위한 파일 데이터 최적화: 실용 가이드

클라우드 데이터 레이크 전략은 클라우드로 이동하는 데이터 집약적 엔터프라이즈 IT 조직의 자연스러운 진화입니다. 클라우드를 저렴한 데이터 저장소에서 데이터가 새로운 가치를 위해 활용되고 수익화될 수 있는 장소로 격상시키기 때문입니다.

2020년과 2021년이 급속한 클라우드 가속의 해였다면, 2022년은 기업이 비정형 파일 데이터를 클라우드 데이터 레이크로 가져오기 위해 진지해지는 해가 될 것입니다. 이 트렌드 뒤에는 몇 가지 이유가 있습니다. 첫째, 조직은 페타바이트급 비정형 데이터를 보유하고 있으며, 이는 전 세계 스토리지에 있는 64 제타바이트(증가 중) 데이터의 최소 80%를 차지합니다. 대부분은 의료 영상, 스트리밍 비디오, 전기차와 IoT 제품의 센서 데이터, 모든 분야에서 협업과 비즈니스에 사용하는 문서 등 파일 데이터입니다.

둘째, 파일 데이터는 관리하기 어렵고 저장 비용이 많이 들며, CIO들은 올바른 분석 위치로 가져가는 방법만 알면 인사이트의 잠재적 금광 위에 앉아 있음을 압니다. 마지막으로, 주요 클라우드 플랫폼들이 데이터 분석/ML/AI 도구와 저렴한 오브젝트 스토리지 티어에 막대한 투자를 해 데이터 레이크 프로젝트를 지원하고 있습니다.

참고: 데이터 레이크, 시계열 데이터, 산업 분석

클라우드로의 데이터 레이크 성숙

데이터 레이크 구현은 IT 관리자들이 보안, 비용 관리, 가시성과 함께 최우선 목표로 삼는 것 중 하나입니다. 최근 우리가 수행한 연구에 따르면 그렇습니다. 클라우드는 전통적 데이터 레이크 전략을 뒤집어 놓았습니다. 이는 기업이 CSV와 로그 파일 같은 반정형 데이터를 분석하려 할 때 시작되었습니다. 2006년 하둡(Hadoop)이 탄생했고, 빅데이터 대화가 돌기 시작할 때 광범위한 채택을 얻었습니다. 하지만 하둡은 결국 예상보다 느리고 비쌌으며, 설정·확장·관리가 복잡했고 주로 배치 처리를 위해 설계되었습니다. 이 문제들을 해결하기 위해 아파치 스파크(Apache Spark)가 등장했고, 일부 워크로드에서 최대 100배 빠르며 실시간 분석에 적합했습니다. 중요하게는 데이터브릭스(Databricks) 같은 기업들이 스파크를 클라우드에서 실행하는 데 초점을 맞춘 반면, 하둡은 주로 온프레미스에 구현되었습니다.

최근 몇 년간 클라우드 기반 데이터 레이크 플랫폼이 성숙해 이제 본격 궤도에 올랐습니다. 클라우드 제공업체의 저렴한 스케일아웃 오브젝트 스토리지는 온프레미스에서는 단순히 실행 불가능한 대규모 페타바이트급 프로젝트 플랫폼을 제공합니다. 차세대 데이터 레이크는 아파치 스파크 기반으로 S3나 오브젝트 데이터 스토리지를 지원해 반정형 및 비정형 데이터 수집과 처리를 가능케 합니다. 파일 스토리지도 클라우드로 전환 중이며 클라우드 데이터 레이크의 일부로 활용되어야 하므로, 모든 데이터가 오브젝트 스토리지에 있는 것은 아닐 수 있습니다.

클라우드 데이터 레이크 전략은 클라우드로 이동하는 데이터 집약적 엔터프라이즈 IT 조직의 자연스러운 진화입니다. 클라우드를 저렴한 데이터 저장소에서 데이터가 새로운 가치를 위해 활용되고 수익화될 수 있는 장소로 격상시키기 때문입니다.

클라우드 데이터 레이크 길들이기

아직 클라우드 데이터 레이크의 초기 단계지만, 파일 데이터를 데이터 레이크에 포함하는 것은 필수적입니다. 머신러닝 모델이 의미 있는 결과를 생성하려면 대량의 파일 데이터가 필요하기 때문입니다. 하지만 이 비정형 데이터는 파일 유형 간에 표준화되어 있지 않습니다. 비디오 파일, 오디오 파일, 센서 데이터, 로그는 공통 구조를 공유하지 않습니다. 이 모든 파일 데이터를 클라우드 데이터 레이크 플랫폼에 마구잡이로 덤핑하는 것은 현명한 전략이 아니라 나중에 치워야 할 난장판입니다. 약속에도 불구하고 데이터 레이크에는 높은 관리 비용, 기술 격차, 보안과 거버넌스 우려, 클라우드와 스토리지 플랫폼 간 데이터 이동 시 이식성 이슈, 데이터가 너무 커지고 얽혀 검색과 분석이 불가능해질 때 데이터 늪(swamp)이 되는 오랜 우려 등 많은 위험이 있습니다.

파일 데이터를 클라우드 데이터 레이크로 가져올 때 스트레스를 피하거나 최소화하기 위한 몇 가지 고려사항입니다.

1. 데이터 레이크 최적화. 데이터가 분석되려면 먼저 정제, 정규화, 분류되어야 하는데, 이는 비용 초과와 느린 가치 실현 시간에 기여하는 고도로 수작업적인 프로세스일 수 있습니다. 이는 항상 데이터 웨어하우스 이니셔티브의 과제였고 데이터 레이크와 데이터 레이크하우스에도 동일하게 적용됩니다. 데이터 레이크는 데이터가 네이티브 포맷으로 수집될 수 있어 매력적이지만, 데이터를 레이크에 넣기 전에 최적화를 요구하면 이 사용 편의성이 파괴됩니다. 사용자 행동을 변경하지 않고 파일 데이터를 자동으로 최적화하려면 어떻게 해야 할까요? 핵심은 메타데이터입니다. 파일 유형, 생성일과 최종 접근일, 소유자, 프로젝트, 위치 정보. 메타데이터 속성으로 파일을 자동 인덱싱하고 태깅하는 능력은 데이터 늪 이슈를 피하고 나중에 검색과 세그멘테이션을 쉽게 만듭니다. 데이터를 비관리 상태로 방치하는 것과 대조됩니다.
2. 메타데이터 인덱싱으로 특정 니즈에 맞는 정확한 데이터셋 찾기. 온프레미스, 엣지, 클라우드 위치를 포함한 스토리지 전반에서 파일을 인덱싱하고 메타데이터를 검색할 수 있는 도구는 수십억 파일을 수천 개로 좁혀 원하는 정확한 파일만 클라우드로 보내 분석할 수 있게 합니다.
3. 데이터 이동 시 태깅으로 검색성과 사용성 개선. 필요한 파일을 찾으면 머신러닝 시스템으로 더 많은 태그로 검색을 추가 정제할 수 있습니다. 이 과정은 지속적이고 자동화되어야 하며, 시간이 지남에 따라 추가 구조가 개발되고 데이터 레이크에 더 쉬운 검색성과 더 높은 전체 품질이 생깁니다.
4. 엣지 수용. 센서 데이터, 스트리밍 데이터의 새로운 유스케이스로 엣지 컴퓨팅이 성장함에 따라 엣지에서 데이터를 스트리밍하는 것은 감당하기 어려워질 것입니다. 엣지에서 더 많은 데이터를 처리하고 클라우드 데이터 레이크에는 필요한 것만 가져가려면 어떻게 해야 할까요? 엣지 사전 처리가 엣지 데이터 볼륨 증가에 따라 더 중요해질 것입니다.
5. 산업별 분류 체계 생성. 각 산업에 표준 태깅 명칭은 없습니다. 부문별 공통 태깅 분류가 있으면 특히 연구와 생명과학 같은 협업 환경에서 데이터를 더 쉽게 검색하고 추출할 수 있습니다.
6. 데이터 이동성 해결. 진정한 이동성을 위해 데이터는 하이브리드 클라우드 환경에서 서로 다른 시스템에 상주하면서도 그 환경의 서비스를 네이티브하게 액세스할 수 있어야 합니다. 독점 스토리지 시스템에서 데이터를 해방하면 통제권이 IT로 돌아가고, 한 플랫폼에서 다른 플랫폼으로 데이터 이동 시 수수료와 번거로움이 사라집니다. 데이터가 사용되고 접근되는 방식과 가치는 시간에 따라 변합니다. 데이터를 미래에 대비시킴으로써 변화와 새 요구사항에 적응할 수 있습니다. 독립적인 데이터 이동성과 관리 솔루션이 여기서 도움이 될 수 있습니다.
7. 올바른 문화 구축. 선도 IT 조직들은 2021년 뉴 밴티지 파트너스(New Vantage Partners) 연구에 따르면 문화(사람, 프로세스, 조직, 변화 관리)를 데이터 주도 조직이 되는 데 가장 큰 걸림돌로 계속 지목합니다. 데이터 주도 문화는 분석가와 비즈니스 라인뿐 아니라 IT 인프라 팀까지 아울러야 합니다. IT 리더들은 데이터 스토리지, 서버, 네트워킹 전문가들이 책임과 일상 업무를 데이터 중심 의사결정 프레임워크로 재조정하도록 돕는 역할을 해야 합니다. 도구와 프로세스는 교차 기능적이어야 하며, 조직 데이터 자산의 전체적 시각과 그 자산들을 조직적 이익을 위해 관리하는 전략에 대한 협업을 가능케 해야 합니다.

클라우드 데이터 레이크는 데이터가 데이터 웨어하우스에 필요한 광범위한 사전 처리 없이 네이티브 포맷으로 수집될 수 있어 인기를 얻었습니다. 반면 데이터 레이크는 특히 비정형 파일 데이터에 대해 데이터 늪이 되기 쉽습니다. 이 데이터는 공통 구조가 없기 때문입니다. AI/ML 엔진 의존도 증가로 파일 데이터 분석이 더 중요해지고 있습니다. 클라우드 데이터 레이크는 파일 데이터의 자동 인덱싱, 검색, 수집, 최적화를 통해 네이티브 포맷 수집 매력을 해치지 않으면서 비정형 데이터에 최적화될 수 있습니다.