데이터 스트림 교차: 고스트버스터에서 고급 분석으로

데이터 스트림을 활용해 배치와 실시간 이벤트를 결합하면 데이터 과학자와 분석가가 정교한 문제를 해결할 수 있습니다.

개별 스트림은 특정 차원과 관련된 데이터를 제공합니다. 주가, 고객 주문, 디바이스 메트릭 등. 분석과 애플리케이션은 단일 데이터 스트림으로도 서비스될 수 있지만, 용도는 좁고 국소적입니다.

스트림을 교차하면 역사, 맥락, 관련 신호로 가득 찬 더 큰 가능성이 열립니다. 고스트버스터 영웅들(벤크만과 동료들)이 도전에 맞서(마시멜로 맨 미스터 스테이 퍼프를 물리치기 위해) 힘을 합치고 스트림을 합쳤을 때처럼, 전체는 부분의 합보다 컸습니다.

우리 커뮤니티에서 데이터 과학자, 분석가, 개발자도 유사하게 행동에 나서야 합니다. 배치와 실시간 이벤트를 결합한 데이터 스트림 활용은 정교한 문제를 해결할 힘을 줍니다. 벤크만처럼 때로는 다른 이들이 장비를 가져와 도와야 할 때도 있습니다. 스트림 교차를 성공으로 이끄는 4가지 필수 요소:

1) 데이터, 유스케이스, 사람을 한데 모으기.

혁신 가속화, 효율성 극대화, 유연성 확보는 정교한 데이터 시스템의 확립된 우선순위입니다. 민첩하고 진화하는 소프트웨어 백본이 이 목표를 실현합니다. 오픈소스 핵심 구성요소는 성공에 필수적인 장기적 민첩성과 상호운용성을 제공합니다.

도구는 진화하며, 때로는 새로운 고스트 트랩을 써야 할 때도 있습니다.

2) 오픈소스 포맷으로 데이터 스택을 미래에 대비하기.

데이터 이식성은 엔터프라이즈 데이터 팀의 오랜 신성한 요구사항이었습니다. 울타리 정원(walled garden)은 미래의 부채를 만들고, 벤더 락인(vendor lock-in)은 종종 비즈니스 드래그로 지불되는 말하지 않은 장기적 비용을 가집니다. 오픈 포맷으로 데이터를 저장하십시오.

CSV와 JSON이 수년간 주류였으며, 아브로(Avro), 프로토버프(Protobufs), 파케이(Parquet), ORC 등이 최근 인기를 얻고 있습니다. 각각 존재 이유가 있지만, 모두 하류의 컴퓨터 과학을 불가지론적이고 무관심하게 구조화된 데이터를 다양한 독립 시스템에 전달하는 원칙을 따릅니다.

데이터 규모가 확대되고 데이터 이동의 재무적·지연 비용이 복합적으로 증가함에 따라, 오픈 데이터 개념은 디스크에 지속되는 종류뿐 아니라 인메모리 포맷도 포함하게 되었습니다. 이제 데이터를 복사, 이동, 직렬화, 어떤 방식으로든 변환하도록 요구하는 것은 종종 용납되지 않습니다. 특히 아파치 애로우(Apache Arrow)는 제로카피 읽기, 대규모 빠른 액세스, 많은 언어의 다양한 데이터 처리 라이브러리에 인메모리 데이터를 최소 오버헤드로 제공하는 능력으로 상당한 커뮤니티 혜택을 누리고 있습니다.

하지만 기억하십시오. 고스트버스터에서 데이터는 모험의 시작에 불과했습니다.

3) 실시간 데이터와 정적 데이터 결합을 기본 요구사항으로 삼기.

현대 데이터 엔진은 다양한 소스의 데이터를 결합해야 합니다. 웨어하우스, 레이크, 켄타우로스 같은 레이크하우스의 전문 용어는 이제 흔한 이미지입니다. 하지만 이벤트 스트림의 인기 증가는 정적 데이터가 더 이상 전부가 아님을 암시하는 조용치 않은 카나리아입니다.

데이터는 변합니다. 현대 워크로드는 플럭스(flux) 상태에 있습니다. 실시간 데이터가 중요합니다.

데이터 엔진과 처리 라이브러리는 실시간 및 정적 데이터 워크로드 사이를 유연하게 오가며 처리할 수 있도록 아키텍처되어야 합니다. "지속적 인텔리전스(Continuous intelligence)"는 역사의 맥락과 순간의 이벤트 신호를 결합하는 시스템을 위한 트렌디한 용어입니다. 현대 데이터 시스템은 실시간 데이터, 이벤트 스트림, 기타 업데이트를 일급 역량으로 처리하도록 구축되어야 합니다. 이것들은 핵심 강점이어야 하며, 애드온이나 사후 생각이 아니어야 합니다.

고스트버스터에서 배웠듯, 게이트키퍼와 키마스터는 결합되기 전까지는 훨씬 덜 강력합니다.

4) 항상 사용자를 최우선에 두기.

오늘날 데이터 사용자는 다양한 기술, 도구, 워크플로, 우선순위를 가집니다. 공유 플랫폼을 중심으로 팀을 결속하면 개인을 지원하면서 팀을 활성화합니다. 개인의 효율성을 극대화하고 협업을 촉진하는 데이터 시스템이 비즈니스 가치를 이끕니다.

오픈 데이터 소프트웨어가 길을 밝힙니다. 오픈 프로젝트에서 협력과 경쟁의 흥미로운 조합은 비교할 수 없는 진보와 독창성의 속도를 산출합니다. 상호운용성을 장려하도록 조직된 커뮤니티 개발은 향상, 통합, 사용자 경험 업그레이드를 약속합니다. 인기 있는 경로는 포장도로가 됩니다. 그런 시스템은 사용자를 '1인 군대'로 만들면서, 적당히 복잡한 유스케이스에 필요한 상호의존적 작업 산출물을 지원합니다.

결국, 하나의 프로톤 팩은 강력하지만, 넷이 함께 작동하면 무적입니다.

난 귀신 따위 두렵지 않아.