스마트 토크 에피소드 8: 데이터 레이크하우스에서 실시간 인사이트 확보하기

데이터 레이크하우스는 유연하고 다목적인 리포지토리로 부상했습니다. 이 스마트 토크 에피소드에서 스트라톨리(Stratola)의 CEO 디네시 챈드라세카와 게스트인 스타버스트(Starburst)의 CEO 겸 회장 저스틴 보그만은 데이터 레이크하우스의 기능을 실시간 데이터와 고성능 쿼리를 포함하도록 확장하여 거의 실시간에 가까운 인사이트를 제공하는 방법(점점 더 일반적인 사용 사례)에 대해 논의합니다. 두 가지 핵심 기술이 필요합니다: 카프카 스트림과 강력한 쿼리 엔진.

특히 흥미로운 것은 오픈소스 소프트웨어와 오픈 포맷의 중요성에 대한 그들의 관점인데, 이는 스노우플레이크(Snowflake)와 데이터브릭스(Databricks)가 아파치 아이스버그(Apache Iceberg) 지원을 발표하면서 검증되었습니다. 저스틴은 솔루션 벤치마킹에 대한 조언을 공유합니다: 기업 데이터를 사용하고, 실제 쿼리를 실행하고, 규모를 시뮬레이션하고, 마지막으로 비용을 계산하세요.

다루는 주제는 다음과 같습니다:

• 데이터 레이크하우스로 실시간 데이터 스트리밍을 위한 카프카 (4:22)
• 오픈 포맷의 이점 (5:56)
• 생성형 AI를 위한 SQL의 지원 역할 (8:53)
• 스노우플레이크, 데이터브릭스, 아이스버그 (11:56)
• 유연한 데이터 리포지토리 전략 (17:21)

게스트

저스틴 보그만, 스타버스트 CEO 겸 회장

저스틴 보그만은 빅데이터 및 분석 분야의 주제 전문가입니다. 스타버스트 설립 전, 그는 테라데이터(Teradata, NYSE: TDC)의 부사장 겸 GM으로 회사의 하둡 제품 포트폴리오를 담당했습니다. 2014년 테라데이터가 그의 회사 하답트(Hadapt)를 인수하면서 합류했으며, 이곳에서 공동 창업자이자 CEO를 역임했습니다. 하답트는 '하둡 위의 SQL'을 만들어 하둡을 파일 시스템에서 모든 BI 도구로 접근 가능한 분석 데이터베이스로 전환했습니다. 2017년 스타버스트를 설립하여 분석가들이 위치에 관계없이 다양한 데이터 세트를 분석할 수 있는 자유를 주고, 성능을 저하시키지 않는 것을 목표로 했습니다.

호스트

디네시 챈드라세카는 기술 에반젤리스트, 사고 리더, 베테랑 IT 업계 애널리스트입니다. 약 30년의 경험을 가진 디네시는 복잡한 아키텍처를 가진 고객을 위한 정교한 솔루션을 제공하고 마케팅하는 B2B 엔터프라이즈 소프트웨어 및 SaaS 제품에 종사해 왔습니다. 또한 로직모니터(LogicMonitor), 클라우데라(Cloudera), 호튼웍스(Hortonworks), CA 테크놀로지스(CA Technologies), 소프트웨어 AG(Software AG), IBM 등 다양한 회사에서 여러 고성장 제품을 시장에 출시하기 위한 매우 성공적인 GTM 전략을 정의하고 실행했습니다. 그는 다작의 연설가, 블로거, 주말 코더입니다. 디네시는 산타클라라 대학교에서 MBA 학위를, 마드라스 대학교에서 컴퓨터 응용 석사 학위를 받았습니다. 현재 디네시는 고객 중심의 비즈니스 전략 컨설팅 및 풀스택 마케팅 서비스 회사인 스트라톨리(Stratola)를 운영하고 있습니다.

리소스

스마트 토크 에피소드 7: 옵저버빌리티의 카디널리티, 통제, 비용

스마트 토크 에피소드 6: AIOps와 IT 모니터링의 미래

스마트 토크 에피소드 5: 옵저버빌리티 스택의 분해

스마트 토크 에피소드 4: 실시간 데이터와 벡터 데이터베이스

스마트 토크 에피소드 3: 모던 데이터 파이프라인과 LLM

스마트 토크 에피소드 2: 데이터 인 모션을 통한 생성형 AI 애플리케이션의 부상

스마트 토크 에피소드 1: 데이터 인 모션 생태계 환경

데이터 인 모션 생태계 지도 여기에서 보기

RTInsights에서 데이터 인 모션에 대해 자세히 알아보기 여기

대본

디네시 챈드라세카:

안녕하세요, 데이터 인 모션 리더십 시리즈인 스마트 토크의 이번 에피소드에 오신 것을 환영합니다. 저는 진행자 디네시 챈드라세카, 스트라톨리의 수석 애널리스트이자 창업자입니다. 오늘 게스트는 스타버스트의 CEO 겸 회장 저스틴 보그만입니다. 저스틴은 보안 및 데이터 분석 회사에서 탁월한 경력을 쌓았으며, 2017년 스타버스트를 설립하기 전에는 하답트라는 회사를 설립했고, 이후 테라데이터에 인수되어 수년간 부사장 겸 GM으로 재직했습니다. 저스틴, 환영합니다. 자, 스타버스트부터 시작해볼까요? 많은 분들이 스타버스트를 브랜드로 알고 계시지만, 스타버스트에 대해 더 알고 싶어하는 분들도 꽤 많습니다. 스타버스트에 대해, 특히 그 기원과 회사를 설립하게 된 동기에 대해 말씀해 주시겠어요?

저스틴 보그만:

네, 기쁩니다. 소개에서 언급했듯이 저는 약 15년 동안 데이터 분석 분야에 종사해 왔으며, 첫 번째 스타트업인 하답트까지 거슬러 올라갑니다. 물론 여러분 청중도 아시다시피, 테라데이터는 수십 년 동안 데이터 웨어하우징 분석의 리더였습니다. 그 모델은 실제로 모든 데이터를 독점 데이터베이스, 즉 엔터프라이즈 데이터 웨어하우스로 이동할 것을 필요로 했습니다. 그리고 거기서부터 빠른 분석을 실행하고 비즈니스를 이해할 수 있었습니다. 우리는 그 모델을 뒤집을 기회를 보았다고 생각합니다. 특히 두 가지 방식에서요. 첫째, 데이터 레이크에서 오픈 테이블 포맷을 활용하여 데이터 웨어하우징 성능을 제공하는 것인데, 이는 오늘날 레이크하우스 아키텍처라고도 불립니다. 또한 다른 데이터 소스에 도달하여 해당 데이터베이스에 있는 테이블을 데이터 레이크에 있는 테이블과 조인할 수 있는 능력입니다.

예를 들어, 오라클 데이터베이스나 SQL 서버 데이터베이스가 있고, 그 중 하나의 시스템에 있는 테이블을 데이터 레이크의 아이스버그 파일 포맷 테이블과 조인하고 싶을 수 있습니다. 이것이 본질적으로 우리 기술이 하는 일입니다. 기반 기술은 트리노(Trino)입니다. 오픈소스 프로젝트죠. 원래 페이스북에서 탄생했으며, 링크드인, 에어비앤비, 넷플릭스, 애플 등 가장 큰 인터넷 회사들이 자체 데이터 웨어하우징 분석을 수행하는 방식입니다. 다시 말해, 데이터 레이크가 중앙 리포지토리여서 데이터 레이크에 데이터를 저장하여 매우 낮은 소유 비용을 얻을 수 있고, 다른 테이블도 조인할 수 있는 모델입니다. 그래서 스타버스트는 본질적으로 그 오픈소스 프로젝트의 상용화입니다. 우리는 추가 보안 기능, 추가 커넥터, 추가 성능 이점, 기타 다양한 기능과 기능을 갖춘 트리노의 엔터프라이즈 버전을 제공합니다.

디네시 챈드라세카:

감사합니다. 그리고 저는 확실히 트리노와 아이스버그 등에 대해 조금 더 깊이 파고들고 싶습니다. 저는 그것들이 오늘 모두 훌륭한 주제라고 생각하지만, 조금 뒤로 물러나서 데이터 아키텍처의 진화에 대해 물어볼 수 있을까요? 전통적인 데이터베이스가 있었고 데이터 웨어하우스가 등장했고, 데이터의 폭발과 더 실시간 데이터를 처리해야 하는 필요성으로 레이크하우스 아키텍처 등이 등장했습니다. 그래서 당신의 세계에서, 데이터 아키텍처, 데이터 레이크하우스, 그리고 당신의 경우 아이스하우스(Icehouse)라는 개념도 있다고 생각하는데, 이것이 조직의 실시간 데이터를 효과적으로 처리하는 능력에 어떤 영향을 미쳤는지요?

저스틴 보그만:

좋은 질문입니다. 청중을 위해 명확히 하자면, 아이스하우스 개념은 본질적으로 아이스버그 기반 레이크하우스입니다. 데이터가 아이스버그 테이블 포맷으로 저장되고 그 위에서 데이터 웨어하우징 스타일 분석을 수행할 수 있습니다. 순수한 결과는 정말 낮은 총소유비용과 여러분이 설명한 니어 실시간 데이터를 처리하는 능력을 제공합니다. 우리가 그것에 대해 생각하는 방식은 카프카와 같은 시장에서 스트리밍 데이터 기술의 엄청난 증가를 보고 있다는 것입니다. 예를 들어, 고객들이 점점 더 그것을 사용하여 데이터를 니어 실시간으로 데이터 레이크에 스트리밍하고 있습니다.

우리의 관점에서, 그것이 우리가 개입하고 싶은 지점입니다. 우리는 '스트리밍 인제스트(streaming ingest)'라고 부르는 것을 구축했습니다. 카프카 스트림에 연결하면 자동으로 그것을 아이스버그 테이블로 변환하고 거의 즉각적으로 쿼리할 수 있게 만듭니다. 그래서 이 아키텍처의 결과로 비즈니스는 이제 데이터에 대해 훨씬 더 빠르고 신선한 인사이트를 가질 수 있습니다.

디네시 챈드라세카:

감사합니다. 그래서 레이크하우스는 배치와 실시간 분석을 위한 매우 통합된 아키텍처 접근 방식을 확실히 약속합니다. 우리가 그렇게 말할 수 있을까요? 이 아키텍처 변화가 BI와 산업 전반의 전통적인 의사결정을 어떻게 변화시키는지 어떻게 보십니까? 그것이 어떻게 변했나요?

저스틴 보그만:

네, 저는 그것이 꽤 극적으로 변화하고 있다고 봅니다. 이 아키텍처의 동인 중 하나이자 이점 중 하나는 경제성만큼 단순합니다. 결국 전통적인 데이터 웨어하우스는 매우 비싸질 수 있습니다. 그건 실제로 테라데이터 시절에 제 1순위 불만이었을 것입니다. 아무도 테라데이터가 나쁜 데이터베이스라고 말한 적이 없습니다. 사실 훌륭한 데이터베이스 시스템입니다. 단지 극도로 비싸고, 한번 들어가면 빠져나올 수 없고 일종의 종속 상태가 될 뿐입니다.

그래서 이 데이터 레이크는 오픈 포맷을 사용하기 때문에 더 큰 유연성을 제공합니다. 이는 고객이 내 데이터에 접근하기 위한 올바른 엔진이 무엇인지 선택할 수 있게 합니다. 많은 유연성을 주고, 종속성을 줄이지만, 또한 데이터를 정말 저렴한 상품 스토리지에 저장할 수 있게 합니다. 클라우드 맥락에서 이는 점점 더 S3나 구글 GCS, 애저 데이터 레이크 스토리지가 되고 있습니다. 심지어 온프렘 세계에서도 델이나 IBM 같은 회사들로부터 S3 호환 오브젝트 스토리지를 볼 수 있습니다. 기본적으로 S3를 얻을 수 있는 곳이죠. 그래서 그것이 데이터를 매우 매우 비용 효율적으로 저장하기 위한 일종의 공통 기반 레이어가 되고, 그것이 이 변화를 주도하는 부분입니다.

디네시 챈드라세카:

좋습니다. 이제 제가 생각하기에 그게 여러분 제공의 전체 동인 같은 것인데, 수년간 실시간 데이터 공간에서 매우 강력한 쿼리 엔진으로 인기를 얻어온 트리노에 대해 이야기해볼까요. 특히 아파치 아이스버그 같은 다른 오픈소스 기술들도 서로 다른 데이터 시스템 간의 상호운용성을 많이 제공하고 있다고 언급하셨는데, 이 트리노의 역할이 모던 데이터 생태계에서 어떻게 진화하고 있는지, 이런 다른 오픈소스 기술들과의 결합이 모던 데이터 생태계를 어떻게 변화시키고 있는지 어떻게 보십니까?

저스틴 보그만:

저는 그것이 데이터 웨어하우징의 '포스트그레스(Postgres)'가 되고 있다고 생각합니다. 포스트그레스는 물론 널리 배포되고 매우 인기 있는 오픈소스 데이터베이스입니다. 전통적인 단일 노드 RDBMS죠. 트리노는 MPP(대규모 병렬 처리) 데이터 웨어하우징 분석의 동등한 버전 같은 것입니다. 그래서 여러분의 빅데이터, 데이터 웨어하우징 스타일 활동에 대해, 이것은 이제 사실상의 오픈소스 선택이 되고 있습니다.

때때로 사람들은 스파크(Spark)와 비교해 묻습니다. 스파크는 훌륭한 범용 처리 엔진이지만 SQL 분석에 정말 최적화되어 있지는 않습니다. 그리고 비즈니스 인텔리전스와 의사결정에 대한 앞선 지적과 관련하여, SQL은 여전히 그런 유형의 사용 사례에서 언어입니다. BI 도구 연결, 리포팅 실행, 심지어 데이터 기반 애플리케이션 구축이든, SQL은 계속 인터페이스하기 위한 정말 중요한 언어이고, 트리노는 오늘날 시장에서 이를 위한 1번 엔진입니다.

아이스버그 같은 것과 결합하면, 앞선 지적처럼 이제 완전한 데이터 웨어하우스를 갖게 됩니다. 쿼리 엔진 부분, 스토리지 부분이 있고, 이제 완전한 오픈 데이터 웨어하우스가 됩니다. 또한 어디서든 실행할 수 있습니다. 온프렘에서 실행할 수 있고, 클라우드에서 실행할 수 있습니다. 그래서 그 스택으로 많은 유연성을 가질 수 있습니다.

디네시 챈드라세카:

조금 곁가지 질문을 드려도 될까요? SQL이 요즘 이런 데이터 스토어들의 주력 언어라고 언급하셨고, 지난 30, 40년 동안 아무것도 그것을 흔들지 못했다고 믿습니다. 하지만 생성형 AI 기술과 자연어 처리의 등장으로, 이제 사람들은 데이터 민주화에 대해 이야기합니다. 비즈니스 분석가처럼 지식이 동등하지 않을 수 있는 사람들에게도 분배하여, 자연어를 사용해 '이 특정 지역의 지난 3개월 매출을 가져와'라고 말할 수 있게 합니다.

그리고 내부적으로 분명히 그것을 SQL로 변환한 다음 엔진이나 기타 등등을 쿼리하죠. 그래서 그런 변화도 보십니까? SQL이 번성하고 생존할 것인가, 아니면 앞으로 데이터를 쿼리하는 방식을 바라보는 데 변화가 있을 것인가요?

저스틴 보그만:

정말 좋은 질문이고, 당신이 무언가를 짚었다고 생각합니다. 저는 시간이 지남에 따라 점진적으로, 생성형 AI가 인터페이스로서 매우 인기를 끌 것이라고 생각합니다. 당신의 지적대로, 그것은 솔직히 누구나 사용할 수 있도록 '덤(dumb)하게' 만들기 때문입니다. 그래서 이제 기업의 모든 데이터에 대한 일종의 구글 경험이 되고, 그것은 매우 흥미롭습니다. 사실 우리는 우리 제품에 그것의 초기 버전을 통합했고, 저는 모든 사람들이 그렇게 할 것이라고 생각합니다. 그것은 테이블 스테이크가 될 것입니다.

하지만 저는 비하인드에서 그 기술들이 실제로 엔진이 실행하기 위해 그 자연어를 SQL 구문으로 변환할 것이라고 생각합니다. 그래서 저는 그 언어가 여전히 중요할 것이라고 생각하지만, 생성형 AI 자연어 스타일 인터페이스 뒤에 구현 세부사항으로 더 많이 될 수 있습니다. 당신이 정확히 짚었다고 생각합니다. 계산기나 심지어 그래프 계산기가 발명되었을 때를 떠올리게 합니다. 갑자기 우리는 모든 공식과 장제법을 정확히 어떻게 하는지 알 필요가 없게 되었습니다. 왜냐하면 계산기가 그걸 처리해주었기 때문이죠. 저는 생성형 AI가 여기서 우리를 위해 그런 종류의 일을 할 것이라고 생각합니다.

디네시 챈드라세카:

데이터에 대한 더 쉬운 접근, 확실히 그렇습니다. 저는 우리가 그쪽으로 가고 있다고 생각합니다. 확실히 흥미로운 공간이네요. 그래서 우리가 트리노에 대해 말했으니, 기어를 바꿔서 다시 아이스버그에 대해 물어볼 수 있을까요? 그게 매우 매우 인기를 얻고 있습니다. 업계의 더 큰 거물들이 아이스버그를 채택하기 시작하는 것을 봅니다. 상호운용 가능하다고 말하고 지원한다고 말하는 매우 자연스러운 방식으로요. 조직들이 점점 더 실시간 분석을 채택함에 따라, 아이스버그가 더 효율적이고 확장 가능한 데이터 관리를 가능하게 하는 역할은 무엇입니까? 그에 대한 당신의 의견은요?

저스틴 보그만:

네, 저는 그것이 큰 문제라고 생각합니다. 저는 그것이 2024년 AI 외에 가장 큰 이야기라고 생각합니다. 그리고 제가 그렇게 말하는 이유는 그 포맷이 몇 년 전부터 있었지만, 올해 시장이 어떤 포맷이 이길지에 대한 논쟁을 정리했기 때문입니다. 세 가지 인기 있는 경쟁 포맷이 있었던 짧은 기간이 있었고, 누가 이길지 의문이었습니다.

우리의 베팅은 항상 아이스버그였습니다. 우리가 이 방향으로 갈 것이라고 예측했다고 말하고 싶지만, 저는 시장이 올 여름 스노우플레이크와 데이터브릭스가 각각 그것을 지원하겠다는 의사를 발표했을 때 일종의 합의를 보았다고 생각합니다. 그리고 그것은 논쟁을 종식시켰습니다. 아이스버그가 사실상의 표준이 되었고, 그것이 고객들에게 하는 일은, 고객들이 단연코 진정한 승자라는 것입니다. 왜냐하면 이제 그들은 자신이 소유하고, 통제하며, 이식 가능하고, 수십 년 동안 그들을 인질로 잡을 데이터베이스 공급업체의 손아귀에 있지 않은 포맷으로 데이터를 저장할 수 있기 때문입니다.

그들은 그것을 소유하고, 그것은 그들이 엔진들을 서로 경쟁시킬 수 있다는 것을 의미합니다. 그들은 '좋아, 스타버스트가 이 워크로드를 할 거야, 그게 저 워크로드에 최고의 비용 성능을 줄 거야. 아마도 스노우플레이크가 이 워크로드에 더 나을 거야. 아마도 데이터브릭스가 저 워크로드에 더 나을 거야'라고 말할 수 있고, 고객은 이들 엔진 사이에서 선택할 수 있습니다. 엔진들이 경쟁할 때, 고객으로서 당신은 이깁니다. 그리고 저는 그것이 아이스버그가 진정으로 가능하게 하는 것이라고 생각합니다.

디네시 챈드라세카:

훌륭한 요약이었습니다. 아이스버그가 기업들이 상호운용 가능해지는 모델로 표준화하면서 앞으로 중요해지는 이유를 명확히 해주었습니다. 당신이 말했듯이 고객에게 이익이 되고 특정 공급업체에 얽매이지 않고 조금 더 개방적이고 유연해질 수 있게 해줍니다. 그건 확실히 좋은 포인트입니다.

저스틴 보그만:

정확합니다.

디네시 챈드라세카:

저스틴, 고객 사례에 대해 이야기해볼까요? 트리노와 아이스버그가 오늘 대화의 중심이니까, 실제로 이것이 적용된 고객 사례 연구에 대해 말씀해 주시고, 트리노와 아이스버그를 채택함으로써 그들이 본 혜택이 어떤 종류인지 알려주시겠어요?

저스틴 보그만:

기꺼이요. 도어대시(DoorDash) 같은 선도적인 인터넷 기업부터 오랜 역사를 가진 컴캐스트(Comcast) 같은 전통적인 기업까지, 두 경우 모두 소위 전통적인 데이터 웨어하우스 플랫폼에서 워크로드를 이전하고 있습니다.

컴캐스트의 경우, 매우 전통적인 온프렘 데이터 웨어하우스였습니다. 도어대시의 경우, 저는 그것을 매우 전통적인 클라우드 데이터 웨어하우스라고 부를 것입니다. 두 경우 모두 그들이 궁극적으로 시도하는 것은 SQL 분석에 대한 더 나은 TCO를 얻고, 이 하나의 공통 포맷에서 인터페이스할 수 있는 최첨단 기술과 작업할 수 있는 유연성을 제공하는 것입니다.

다시 앞선 포인트와 관련하여, 저는 그들이 또한 시도하고 있다고 생각합니다. 이는 AI 주제와 관련이 있습니다. 그들은 이제 자신들이 모델을 훈련시키거나 궁극적으로 RAG 워크플로를 수행하여 자신들의 AI 야망을 지원하는 데 필요한 데이터에 쉽게 접근할 수 있도록 데이터 아키텍처를 제자리에 놓는 기초를 다지고 있습니다. 그리고 저는 많은 기업들이 'AI가 나를 위해 무엇을 할 수 있을까? 이것이 어떻게 경쟁 우위를 줄 수 있을까?'를 파악하는 초기 단계에 있다고 생각합니다.

그리고 그들이 그것을 파악하는 동안, 한 가지 그들이 모두 매우 명확하게 생각하는 것은 그들 자신의 독점 데이터가 경쟁 우위를 주는 데 중심이 될 것이라는 것입니다. 그래서 저비용 고성능 방식으로 당신이 필요로 하는 것에 접근할 수 있는 데이터 인프라를 설정하는 것이 그 과정에서 핵심 단계입니다.

디네시 챈드라세카:

그래서 혜택의 한 방식으로, 제가 더 자세히 물어볼 수 있을까요? 실시간 데이터, 특히 스키마 진화(소스가 변경됨에 따라 스키마 변경, 타겟이 적응해야 함)와 데이터 버저닝 같은 문제를 종종 도입합니다. 아파치 아이스버그가 이런 문제들을 모던 데이터 플랫폼에서 어떻게 해결하는지 설명해 주시겠어요?

저스틴 보그만:

버저닝과 타임 트래블을 하는 개념이 있고, 우리 플랫폼 내에서 데이터가 어떻게 진화했는지 볼 수 있습니다. 우리는 또한 데이터 계보, 데이터 품질 메트릭을 추가하여 캡처하고 사용자에게 제시함으로써, 그 데이터가 어디에서 왔는지, 어떻게 진화했는지, 어떻게 반복되었는지 이해하고, 그 가시성을 최종 사용자에게 다시 제공할 수 있습니다.

디네시 챈드라세카:

좋습니다. 그러면 트리노와 함께, 다양한 데이터 소스를 결합하고 조인 쿼리를 수행하는 방법에 대해 말씀하셨습니다. 아키텍처가 중앙화된 데이터 소스나 데이터 스토어로 더 이동하고 있는지, 아니면 그것들을 있는 그대로 두고 결합할 수 있는 능력과 소비자에게 가시성을 제공하는 것인지요? 여기서 우리가 바라보는 이상적인 상태의 아키텍처는 무엇인가요?

저스틴 보그만:

네, 좋은 질문입니다. 둘 다의 요소가 있습니다. 그리고 저는 그것이 우리가 우리 가치 제안을 명확히 하는 것을 항상 어렵게 만든 것 중 하나라고 생각합니다. 왜냐하면 사람들은 하나의 모델과 하나의 사고방식에 익숙해져 있기 때문입니다. 즉, 모든 것을 전통적인 데이터 웨어하우스에 중앙화하거나 아니면 접근할 수 없는 것입니다. 그리고 우리가 세상이 진화하는 방식이라고 보는 것은 중앙 리포지토리가 있을 것이고, 그것은 의심할 여지없이 데이터 레이크가 될 것이며, 그것은 대다수의 데이터나 가능한 한 많은 데이터를 저장할 것입니다. 왜냐하면 경제적 이점, 아이스버그 포맷으로 레이크에 가능한 한 많이 저장함으로써 얻는 성능 이점을 얻을 것이기 때문입니다. 그래서 우리는 그것이 많은 데이터에 대한 훌륭한 전략이라고 생각하지만, 또한 항상 다른 데이터 소스에 도달하고 싶은 사용 사례가 있을 것이라고 생각합니다.

아마도 탐색적 분석일 수 있습니다. 우리 비즈니스에 정말 클 수 있다고 생각하는 가설이 있는데, 아이디어를 위해, 직감을 위해 모든 ETL 파이프라인을 개발하고 그 모든 과정을 거치고 싶지 않습니다. 글쎄요, 그건 다른 곳에 있는 테이블과 당신이 가진 것을 조인할 수 있는 것이 게임 체인저가 되는 훌륭한 사용 사례입니다. 실제로 팀들이 데이터를 당신이 필요로 하는 방식으로 이동하는 데 몇 주가 걸리는 대신 몇 분 만에 그 가설을 테스트할 수 있게 해줄 수 있습니다. 그래서 저는 둘 다 가치가 있다고 생각하지만, 우리는 그것을 레이크에 다수를 두고 그 레이크를 넘어서는 것으로 생각합니다.

디네시 챈드라세카:

그래서 제가 모던 데이터 플랫폼을 찾는 제3자 기업이라고 가정해보죠. 트리노와 다른 대안들을 볼 때 제 체크리스트에 두고 싶은 중요한 성능 고려사항들은 무엇일까요? 제 우선순위가 실시간 데이터 쿼리 처리, 낮은 지연 시간 보장 같은 것이라고 해보죠. 그게 제 요구사항입니다. 제 체크리스트에 두고 싶은 고려사항들은 무엇인가요?

저스틴 보그만:

네. 제가 드릴 최고의 두 가지 조언은, 첫째, 실제로 사용하는 진짜 쿼리를 사용하라는 것입니다. 업계 벤치마크를 사용하는 것이 매우 흔한데, 그것은 아마도 매우 초보적인 단계로는 괜찮지만, 당신의 워크로드를 반영하지는 않을 것입니다. 결코 그렇지 않습니다. 모든 회사는 자신들이 하려는 고유한 것들을 가지고 있습니다. 그래서 항상 당신의 엔드 상태를 가능한 한 최상으로 시뮬레이션하는 것이 가장 좋습니다.

그리고 그것은 당신의 자체 쿼리와 자체 데이터를 당신의 자체 개념 증명(POC)을 구성하고 벤치마킹하는 동안 활용하는 것을 의미합니다. 당신은 다른 공급업체들의 벤치마크를 전적으로 신뢰해서는 안 됩니다. 심지어 우리 자신의 것도요. 우리는 그것들을 가지고 있고, 당신은 그것을 볼 수 있지만, 당신은 정말로 당신 자신의 쿼리와 당신 자신의 데이터로 이것을 스스로 테스트해야 합니다.

두 번째로 말할 것은 또한 규모를 시뮬레이션하고 있는지 확인하라는 것입니다. 규모는 중요합니다. 왜냐하면 우리가 고객들과 함께 우리의 기회를 찾는 곳이 적어도 우리가 발견한 곳은, 그들이 POC 과정에서 그 공급업체가 그들의 필요를 충족한다고 생각했지만, 실제 프로덕션 규모에 도달했을 때, 그것은 그냥 감당할 수 없었던 곳이기 때문입니다.

그리고 저는 또한 트리노 같은 오픈소스 기술을 활용하는 것에도 큰 이점이 있다고 생각합니다. 그것은 상상할 수 있는 가장 큰 규모에서 입증되었습니다. 애플이 엄청난 규모로 실행하고 있고, 페이스북도 엄청난 규모로 실행하고 있죠. 그래서 이 물건은 작동합니다. 그것은 그 규모에서 작동합니다. 그것은 당신에게 약간의 안도감을 줄 것입니다. 하지만 그래도 저는 당신 자신의 벤치마킹 과정에서 당신 스스로 그것을 시뮬레이션하여 이 다른 기술들이 프로덕션에서 당신이 가진 필요를 정말로 충족할 것인지 확인하라고 말할 것입니다. 쿨.

그리고 제가 추가할 세 번째 조각은 비용입니다. 비용도 매우 중요하죠? 비용과 성능은 정말로 동전의 양면입니다. 그리고 당신은 당신의 벤치마킹에도 그것을 고려해야 합니다. 당신은 가장 빠른 것만 선택하지 않을 것입니다. 당신은 최고의 비용 성능을 선택하고 싶을 것입니다. 그래서 그것도 중요한 구성 요소입니다.

디네시 챈드라세카:

동의합니다. 저는 그게 확실히 거기서 솔루션을 평가하는 많은 사람들에게 주요 체크리스트 항목이라고 생각합니다. 그래서 어쩌면 트렌드 관점에서 이것을 마무리해볼까요. 오늘 데이터 공간에서 많은 일이 일어나고 있죠. 데이터 웨어하우스 공급업체, 레이크하우스 공급업체, 데이터 레이크 공급업체, 그리고 여러 대안들, 실시간 분석 데이터베이스 등등. 선택은 확실히 넓고 구매자에게 혼란스럽습니다. 그래서 새로운 트렌드 관점에서, 우리가 방금 말한 실시간 데이터 처리, 데이터 레이크하우스 아키텍처, 그리고 일반적으로 오픈소스 생태계에 관해 어떤 종류의 수렴이 일어나는지 보십니까? 구매자에게 가까운 미래에 더 명확하게 만들어줄 어떤 종류의 수렴이 보이나요?

저스틴 보그만:

그렇습니다. 우리는 요즘 매우 인기 있는 패턴들이 등장하는 것을 보기 시작하고 있습니다. 이 패턴들은 종종 인터넷 하이퍼스케일러들에서 기원하고 시간이 지나면서 기업으로 번역됩니다. 그리고 저는 우리가 이제 그 지점에 있다고 생각합니다. 그것이 기업으로 들어오고 있는 것이죠. 그리고 제가 보는 패턴들은 스트리밍 부분을 위한 카프카 같은 기술들을 활용하는 것입니다. 그리고 물론 거기에는 여러 선택지가 있습니다. 컨플루언트(Confluent)를 할 수 있고, 아마존 버전을 할 수 있습니다. 이들 오픈소스 플랫폼 모두에서 선택지가 있습니다. 그것은 훌륭합니다. 저는 아이스버그가 확실히, 당신의 데이터를 저장하기 위한 포맷으로, 당신이 할 수 있는 가장 안전한 베팅이라고 생각합니다. 그리고 엔진 쪽에서, 다시, 올바른 일을 위한 올바른 엔진을 찾는 것입니다. SQL 분석이라면, 우리는 트리노와 스타버스트가 최고의 베팅이라고 말할 것이지만, 당신은 그것을 스스로 증명해야 합니다.

머신러닝 모델을 훈련시키는 것이라면, 아마도 스파크(Spark)를 사용할 것입니다. 그리고 이것들이 우리가 보는 패턴들입니다. 저는 그 네 가지 기술 모두가 앞으로 수년간 오픈소스에서 파생된 데이터 아키텍처에서 엄청나게 인기를 끌 것이라고 생각합니다. 그리고 다시, 오픈소스는 당신에게 시간이 지남에 따라 컴포넌트를 믹스 앤 매치할 수 있는 유연성을 줍니다. 그것은 당신의 아키텍처가 시간의 시험을 견디게 할 것입니다. 그리고 저는 그것이 정말로 당신이 하고 싶은 것이라고 생각합니다. 10년 후에 대체하기 정말 어려울 기술적 부채를 만들지 않는 것. 오픈소스가 당신에게 그 유연성을 줍니다.

디네시 챈드라세카:

그 포인트 좋아요. 감사합니다. 저는 그 멋진 노트로 이것을 마무리해야 할 것 같습니다. 저스틴, 오늘 우리와 함께해 주셔서 정말 감사합니다. 트리노와 아이스버그와 스타버스트가 두 세계의 최고를 결합하는 이 환상적인 플랫폼을 제공하는 방식에 대해 더 이해하는 훌륭한 대화였습니다. 정말 감사하고 여러분과 함께해 주셔서 고맙습니다.

저스틴 보그만:

감사합니다, 디네시. 제 기쁨이었습니다.