데이터 레이크 vs 데이터 웨어하우스: 모던 데이터 에스테이트 구축

2021년 7월 27일

출처: MCA 커넥트(MCA Connect) | 매뉴팩처링 투모로우(Manufacturing Tomorrow)

데이터는 여러 형태로 빠르게 우리에게 옵니다. 이 다양한 형태에는 구조화, 반구조화, 비구조화 데이터가 포함될 수 있으며, 많은 사람들이 데이터 웨어하우스와 데이터 레이크가 데이터를 다르게 처리한다는 것을 깨닫지 못합니다.

모던 데이터 에스테이트(modern data estate)는 비즈니스가 생성하는 다양한 데이터를 수집하고 저장하는 여러 방법을 제공해야 합니다. 데이터는 여러 형태로 빠르게 우리에게 옵니다. 이 다양한 형태에는 구조화, 반구조화, 비구조화 데이터가 포함될 수 있으며, 많은 사람들이 데이터 웨어하우스와 데이터 레이크가 데이터를 다르게 처리한다는 것을 깨닫지 못합니다. 이 다양한 데이터 유형을 더 자세히 살펴보겠습니다:

1. 구조화(Structured) – ERP나 CRM 시스템의 트랜잭션 데이터베이스 같은 전통적 데이터베이스, 공식적인 컬럼과 테이블 정의 보유
2. 반구조화(Semi-Structured) – 요소와 계층에 대한 태그로 자기 기술적인 XML이나 JSON 같은 파일
3. 비구조화(Unstructured) – 이미지, 비디오, 오디오, 기타 바이너리 데이터

전통적인 데이터 웨어하우스 설계는 수십 년 전부터 존재해 왔으며, 데이터 레이크라는 개념이나 적어도 용어는 다소 새로운 구성입니다. 이들 각각은 조직의 데이터 에스테이트에 자리를 가지고 있습니다.

데이터 웨어하우스

위에서 볼 수 있듯 데이터 소스는 매우 다양하고 다른 데이터 표현을 가질 수 있어 발산하는 정보로 이어질 수 있습니다. 또한 데이터 소스의 다양한 스키마와 구조가 많아 모든 비즈니스 하위 시스템에서 데이터의 완전한 스냅샷이 필요할 때 통합 정보를 얻기 어렵습니다. 일반적으로 이것이 데이터 웨어하우스 솔루션 등장의 주된 이유입니다.

데이터 웨어하우스는 공식적인 ETL(추출-변환-적재) 프로세스를 구현하는 설계 지침을 기반으로 하는 정형 설계로, 원시 구조화 데이터 세트를 소비하여 보고용으로 설계된 모델에 적재합니다. 데이터 웨어하우스는 애저 시냅스(Azure Synapse, 이전 마이크로소프트 SQL 서버) 같은 관계형 데이터베이스 위에 구축됩니다. 애저 시냅스는 전통적인 행과 열이 있는 테이블에 구조화된 데이터를 저장하도록 설계되었지만 XML과 JSON 같은 반구조화 데이터 저장 기능도 있습니다.

데이터 레이크

데이터 레이크는 ETL 개념을 뒤집어 ELT(추출-적재-변환) 프로세스를 구현합니다. 데이터 레이크에 데이터를 수집하는 것은 본질적으로 나중에 가치가 있을 수 있다고 생각하는 모든 것을 데이터 유형이나 구조에 관계없이 큰 저장 영역에 던져 넣는 것입니다. 데이터 레이크는 구조화, 반구조화, 비구조화 데이터를 저장할 수 있습니다. 마이크로소프트 애저에서 제공되는 데이터 레이크는 스토리지 계정 생성 시 데이터 레이크 스토리지 Gen2를 활성화해 구축됩니다.

데이터 레이크의 생각은 모든 데이터를 소비하고 나중에 정렬하겠다는 것이며, 데이터 웨어하우스는 상당한 투자 끝에 개발되는 수집 과정에서 가치를 미리 식별해야 합니다. 데이터 웨어하우스 개발에 일반적으로 필요한 무거운 선행 투자 때문에, 나중에 처음에 가져오지 않은 데이터가 필요하다고 판단되면 소스 데이터가 더 이상 사용 불가능해 영원히 사라질 위험이 있습니다.

목적: 미정 vs 사용 중

데이터 레이크의 개별 데이터 조각 목적은 고정되지 않습니다. 원시 데이터가 데이터 레이크로 흐르며, 때로는 특정 미래 용도를 염두에 두고, 때로는 그냥 갖고 있기 위해. 이는 데이터 레이크가 대응하는 것보다 덜 조직화되고 덜 여과된 데이터를 가진다는 뜻입니다.

처리된 데이터는 특정 용도로 사용된 원시 데이터입니다. 데이터 웨어하우스는 처리된 데이터만 보관하므로, 데이터 웨어하우스의 모든 데이터는 조직 내에서 특정 목적으로 사용되었습니다. 이는 절대 사용되지 않을 데이터에 저장 공간이 낭비되지 않음을 의미합니다.

접근성

접근성과 사용 용이성은 데이터 저장소 전체를 말하는 것이지, 그 안의 데이터가 아닙니다. 데이터 레이크 아키텍처는 구조가 없어 접근하고 변경하기 쉽습니다. 또한 데이터 레이크는 제약이 거의 없어 데이터에 대한 변경도 빠르게 할 수 있습니다.

데이터 웨어하우스는 설계상 더 구조화되어 있습니다. 데이터 웨어하우스 아키텍처의 주요 이점 중 하나는 데이터 처리와 구조가 데이터 자체를 더 쉽게 해독하게 한다는 점입니다. 구조의 제약은 데이터 웨어하우스를 조작하기 어렵고 비용이 많이 들게 만듭니다.

둘 다의 이점

데이터 레이크는 많은 소스에서 대량의 데이터를 저장하는 비용 효율적인 방법입니다. 어떤 구조의 데이터든 허용함으로써 데이터가 특정 패턴에 맞출 필요가 없어 더 유연하고 확장 가능하므로 비용이 절감됩니다. 그러나 구조화된 데이터는 더 깨끗하고 쿼리할 균일한 스키마가 있어 분석하기 쉽습니다. 데이터를 스키마로 제한함으로써 데이터 웨어하우스는 특정 데이터 의사결정을 위한 과거 데이터 분석에 매우 효율적입니다. 적절한 데이터 웨어하우스와 데이터 레이크 둘 다 조직의 미래 성공에 필수적이며 모던 데이터 에스테이트에 속합니다.

데이터 에스테이트란?

모던 데이터 에스테이트 수립은 디지털 트랜스포메이션을 위한 기초 단계입니다. 모던 데이터 에스테이트는 모든 데이터에서 시기적절한 통찰력과 의사결정을 가능하게 하고 AI를 위한 기반을 마련합니다. 데이터 에스테이트는 조직이 소유한 모든 데이터입니다. 이 데이터를 클라우드로 마이그레이션하거나 온프레미스 환경을 현대화하면 혁신을 촉진할 중요한 통찰력을 얻을 수 있습니다.

마이크로소프트 다이나믹스 365 사전 구축 데이터 웨어하우스, 데이터커넥트(DataCONNECT)

데이터 웨어하우스 구축은 소스 시스템을 제대로 검토하고, 데이터 모델을 설계하고, 이를 처리하는 데 필요한 ETL을 생성하는 데 매우 비싸고 시간이 많이 걸릴 수 있습니다. MCA 커넥트는 마이크로소프트 다이나믹스 AX, 다이나믹스 365 파이낸스, 고객 참여를 위한 데이터커넥트(DataCONNECT) 데이터 웨어하우스 솔루션을 개발했습니다. 이 솔루션은 포괄적인 데이터 웨어하우스 솔루션 제공 일정을 크게 앞당기면서 구현 비용을 줄입니다. 또한 포괄적인 데이터 에스테이트 구축을 시작하는 좋은 방법입니다.

데이터커넥트는 조직에 빠르고 정확한 정보를 공급해 정밀하게 예측, 적응, 운영을 형성할 수 있게 합니다. 검증된 데이터를 예측 모델에 빠르게 가져와 비즈니스 영역의 계획 주기를 시작할 수 있습니다. 데이터커넥트 데이터 웨어하우스나 데이터 레이크가 회사 빅데이터 저장에 어떻게 도움이 되는지 더 알고 싶으시면 연락주세요. 전문가 중 한 분이 올바른 방향으로 안내해 드릴 것입니다.

이 기사의 내용과 의견은 저자의 것이며 매뉴팩처링 투모로우의 견해를 반드시 대변하지는 않습니다.