어디서나 데이터에 대한 클라우드 네이티브 경로

Kubernetes로 설계하는 것은 데이터 분석을 매우 유연하게 만들고 비즈니스 요구 사항의 어느 지점에서나 실행하고 규모에 맞게 높은 동시성, 성능, 효율성 및 가용성으로 수행하는 필수 핵심 요소입니다.

금융 서비스 및 보험에서 제조 및 의료에 이르기까지 업종에 속한 수천 개의 기업은 데이터 관리 및 분석 요구 사항에 가장 적합한 퍼블릭 및 프라이빗 클라우드, 하이브리드 및 에지 배포가 필요하다는 사실을 깨닫고 있습니다. 따라서 분산 클라우드의 개념이 클라우드 성숙의 일부라는 것은 놀라운 일이 아닙니다. 데이터 웨어하우스, 데이터 레이크 및 고급 분석을 분산 클라우드 아키텍처로 가져오는 것이 시장이 향하는 방향입니다. 더 높은 수준의 데이터 관리 및 분석 서비스를 포함하도록 이 아키텍처를 확장하면 자연스럽게 분산 데이터 클라우드라는 아이디어가 나옵니다. . 분산 데이터 클라우드 내에서 엔터프라이즈 데이터 웨어하우스는 회사의 수백 명의 비즈니스 분석가 또는 데이터 과학자에게 분석을 제공하는 데만 사용되는 것이 아니라 궁극적으로 기업에서 직접 사용하는 실시간 분석 애플리케이션을 구동할 수 있습니다. 수만 명에 달하는 고객. 데이터는 어디에서나 즉시 액세스할 수 있고 통찰력을 얻을 수 있습니다.

참조: 2021년 클라우드 도입 동향 2022년 증폭

목적지 탐색

클라우드 네이티브는 많은 사람들이 사용하는 용어이지만 소프트웨어 아키텍처가 처음부터 분산 클라우드의 이점을 활용하도록 설계될 때 진정한 의미를 갖습니다. 완전히 실현된 클라우드 네이티브 데이터 웨어하우스는 논리적으로 분산 데이터 클라우드 아키텍처를 활용해야 합니다. 가장 넓은 의미에서, 데이터가 있는 위치에 상관없이 데이터에 대한 분석을 제공하고(반대 방향 아님), 집중 위험을 완화하고, 효율성을 극적으로 증가시키며, 통제된 지출 및 경쟁 우위를 위한 현대화를 안내합니다.

좀 더 자세히 설명하자면, 클라우드 네이티브 데이터 관리 및 분석 기술은 분산 데이터 클라우드 청사진과 일치하도록 5가지 주요 특성을 표시해야 합니다.

• 어디서나 데이터 및 분석을 프로비저닝할 수 있는 플랫폼에 구애받지 않는 런타임
• 어디서나 공통적인 사용자 경험
• 모든 배포 대상에 대한 공통 보안 및 거버넌스 기능
• 어디서나 비용 및 기술 효율성, 리소스 최소화, 강력한 비용 관리(FinOps) 및 지출 가드레일 허용
• 퍼블릭 클라우드, 온프레미스 및 네트워크 에지에서 모든 배포를 함께 묶는 단일 컨트롤 플레인

필요한 시점에 배포할 수 있는 이 패턴을 따르는 완전히 실현된 클라우드 네이티브 데이터 웨어하우스는 클라우드, 온프레미스 및 네트워크 에지 인프라의 복잡성을 최종 사용자로부터 추상화합니다. 핵심은 인프라 세부 정보에서 벗어나 분석에서 가치를 생성하고 데이터를 관리하는 데 집중하면서 클라우드의 고유한 기능을 계속 전달할 수 있도록 하는 것입니다.

올바른 가이드 선택

그렇다면 그 목적지는 어떻게 도달했는가? 오픈 소스 컨테이너 오케스트레이션 도구인 Kubernetes는 클라우드 네이티브 운영에 가장 널리 사용되는 경로를 제공합니다. Unix에서 워크로드를 파티셔닝한다는 아이디어는 1970년대부터 있었지만, 애플리케이션 개발을 보다 쉽고, 이식성 있고, 리소스 사용에 효율적으로 만들기 위해 컨테이너가 널리 구현된 것은 불과 10년 전이었습니다. 그러나 방대한 마이크로서비스 아키텍처에 수백 또는 수천 개의 애플리케이션을 배포하는 것은 매우 까다로운 일이었습니다. 다른 옵션이 존재하지만 현재 Cloud Native Computing Foundation에서 유지 관리하는 Google의 오픈 소스 Kubernetes 프로젝트는 마이크로서비스 애플리케이션 오케스트레이션을 해결하기 위해 유명해졌습니다. 따라서 애플리케이션이 일반 인프라에서 실행되고, 표준 방식으로 모니터링 및 관리되고, 다음을 사용하여 인증될 수 있습니다. 개방형 표준.

응용 프로그램에 적합합니다. 그러나 데이터의 세계는 어떻습니까? 클라우드 네이티브 데이터 웨어하우스가 퍼블릭 및 프라이빗 클라우드, 네트워크 에지, 하이브리드 및 완전히 분산된 클라우드 전반에 걸쳐 탄력성과 배포 유연성을 제공하려면 동일한 기본 컨테이너 오케스트레이션이 필요합니다.

스케일 아웃 웹 애플리케이션을 위한 클라우드 네이티브 재아키텍처는 일반적이지만 데이터베이스는 대부분 클라우드 네이티브 세계로 "리프트 앤 시프트"되었습니다. 데이터베이스를 컨테이너에 넣으면 최신 인프라에서 실행할 수 있지만 클라우드의 모든 이점을 보여주는 경험은 제공되지 않습니다. 소프트웨어는 컨테이너 환경에서 실행되고 있다는 사실을 거의 모르고 있고 탄력적 클러스터 관리와 같은 작업은 Operators 및 해킹 Helm 차트를 사용하여 데이터베이스 외부에서 수동으로 서툴게 처리해야 합니다. 여러 개의 탄력적 온디맨드 컴퓨팅 클러스터가 개체 스토리지에서 동일한 기본 데이터를 공유하도록 허용하는 것과 같은 기능을 사용할 수 없는 경우가 많습니다. 탄력적인 클라우드 기반 데이터 웨어하우스에서 비즈니스 가치를 얻으려는 사용자는 Helm 차트, 포드, 노드 또는 구성 파일에 대해 알고 싶어하지 않습니다. 데이터 웨어하우스를 프로비저닝하고 탄력적인 클러스터를 관리하며 데이터에서 통찰력을 얻고자 합니다.

Kubernetes를 통해 SQL 인터페이스를 제공하여 온디맨드로 여러 개의 탄력적 클러스터를 프로비저닝하고 DBA 및 최종 사용자로부터 Kubernetes 복잡성을 숨기는 것이 답입니다.

이러한 방식으로 다른 사용자를 할당하여 다른 컴퓨팅 클러스터에서 워크로드를 실행할 수 있으며 사용 중인 컴퓨팅 클러스터는 권한에 따라 SQL을 통해 런타임에 변경할 수 있습니다. 클러스터는 유휴 기간 후에 자동으로 일시 중단되고 요청 시 다시 회전하도록 구성할 수 있습니다. 예를 들어, 필요할 때 ETL 프로세스를 실행하기 위해 임시 BI(비즈니스 인텔리전스) 및 여러 데이터 과학 클러스터를 위한 별도의 컴퓨팅 클러스터를 만들 수 있습니다. 컴퓨팅 클러스터는 사용량이 많은 기간 동안 온라인으로 확장하거나 비용을 절약하기 위해 조용한 기간 동안 끌 수 있습니다. 클러스터는 해당 기간 동안에만 활성화되는 매일, 매주 또는 매월 일괄 보고 작업을 실행하도록 생성할 수 있습니다. 이 모델에서는 컴퓨팅 클러스터의 노드 크기와 노드 수를 모두 제어할 수 있으며 예측 가능성을 위해 인스턴스 수준에서 리소스 소비 제한을 설정할 수 있습니다. 마찬가지로 기본 데이터 웨어하우스 인스턴스에서 복제 트래픽을 수신하는 저렴한 복제 시스템을 설정할 수 있습니다. 그러면 복제를 사용해야 할 때 필요에 따라 확장할 수 있습니다.

이러한 탄력성은 쿠버네티스와의 긴밀한 통합뿐만 아니라 SQL 자체를 개발자 도구 대신 클러스터 생성, 일시 중단, 재개 및 관리를 위한 "사용자 인터페이스"로 사용하여 구현됩니다. Kubernetes는 모든 클러스터의 상태에 대한 신뢰할 수 있는 정보 소스입니다. 클러스터의 상태를 보여주는 시스템 보기는 API를 사용하여 Kubernetes에서 데이터를 제공합니다. 클러스터 관리 SQL 문이 입력되면 클라우드 네이티브 데이터 웨어하우스는 원하는 인스턴스 상태를 변경하기 위해 Kubernetes에 도달합니다. 그런 다음 Kubernetes는 필요한 변경 사항을 구현합니다. 클러스터의 노드가 비정상 상태가 되면 Kubernetes가 교체품을 온라인으로 가져옵니다.

이는 Kubernetes와의 고유한 내부 관계를 나타냅니다. Kubernetes가 클러스터 상태를 구동하는 '사용자 인터페이스'가 아니라 Kubernetes에서 관리하는 데이터베이스 자체가 사용자 인터페이스가 됩니다. 이 아키텍처는 완전히 실현된 고유한 클라우드 경험을 제공하는 공생 관계를 생성합니다. Kubernetes의 강력한 기능과 플랫폼 간 유연성은 전적으로 SQL을 통해 구동되는 데이터 웨어하우스에서 사용할 수 있습니다.

더 많은 데이터가 생성되고 더 많은 사용 사례가 배포됨에 따라 기업은 생태계가 특정 클라우드에 점점 더 자리를 잡는 악순환에 빠지기 쉽습니다. 금융 서비스 및 보험과 같이 규제가 심한 부문의 중요 IT 인프라에 너무 많은 노출을 제공하는 단일 클라우드에서 시스템적 위험이 발생할 수 있습니다. Kubernetes로 설계하는 것이 완전히 실현된 클라우드 네이티브 데이터 웨어하우스에 생명을 불어넣는 유일한 핵심 개념은 아닙니다. 분산 데이터 클라우드 패턴과 일치하는 유일한 아키텍처 구성 요소는 아닙니다. 그러나 데이터 분석을 매우 유연하게 만들고 비즈니스 요구 사항이 있는 곳이면 어디에서나 실행하고 규모에 맞게 높은 동시성, 성능, 효율성 및 가용성으로 수행하는 것은 필수 불가결한 핵심 요소입니다. 결과는 다양한 비즈니스 라인과 지리적 지역에 걸쳐 주어진 기업의 수천 명의 사용자가 거의 실시간으로 실행 중인 분석에서 매우 빠른 결정을 내리고 가치를 창출할 수 있다는 것입니다.