고스트 버스팅이든 데이터 분석이든:흐름을 건너라

일괄 이벤트와 실시간 이벤트를 모두 결합하는 데이터 스트림을 활용하면 데이터 과학자와 분석가가 복잡한 문제를 해결할 수 있습니다.

개별 스트림은 특정 차원(주식 가격, 고객 주문, 장치 메트릭)과 관련된 데이터를 제공합니다. 분석 및 애플리케이션은 단일 데이터 스트림으로 제공될 수 있지만 사용 범위가 좁고 지역적입니다.

개울을 건너면 역사, 맥락 및 관련 신호로 가득 찬 더 큰 가능성이 드러납니다. Ghostbuster 영웅(Venkman과 갱단)이 도전에 맞서야 했을 때(그리고 Mr. Stay Puft를 물리쳐야 했을 때) 그들은 힘을 합쳤습니다. 전체는 부분의 합보다 컸습니다.

우리 커뮤니티에서 데이터 과학자, 분석가 및 개발자는 비슷하게 행동해야 합니다. 일괄 이벤트와 실시간 이벤트를 모두 결합하는 데이터 스트림을 활용하면 복잡한 문제를 해결할 수 있습니다. 그리고 Venkman과 마찬가지로 때때로 다른 사람들이 장비와 도움을 가져와야 합니다. 개천을 성공적으로 건너기 위한 4가지 중요한 요소는 다음과 같습니다.

1) 데이터, 사용 사례 및 사람을 모으십시오.

혁신을 가속화하고 효율성을 극대화하며 유연성을 제공하는 것은 정교한 데이터 시스템의 우선 순위입니다. 민첩하고 진화하는 소프트웨어 백본이 이러한 목표를 실현합니다. 오픈 소스 핵심 구성 요소는 성공을 위해 가장 중요한 장기적인 민첩성과 상호 운용성을 제공합니다.

도구는 진화하고 때로는 새로운 유령 함정을 사용해야 합니다.

2) 오픈 소스 형식으로 데이터 스택의 미래를 대비하십시오.

데이터 이식성은 오랫동안 엔터프라이즈 데이터 팀의 신성한 요구 사항이었습니다. 벽으로 둘러싸인 정원은 미래의 부채를 만들고 공급업체 종속은 무언의 장기적 비용을 낳습니다. 공개 형식을 사용하여 데이터를 저장합니다.

CSV와 JSON은 Avro, Protobuffs, Parquet, Orc 등 최근 인기를 얻으면서 큰 인기를 얻었습니다. 각각의 존재 이유가 있지만 각각은 구조화된 데이터를 컴퓨터 과학 다운스트림에 불가지론하고 무시하는 수많은 독립 시스템에 전달하는 것을 원칙으로 합니다.

데이터의 규모가 커지고 데이터 이동과 관련된 재정 및 대기 시간 비용이 증가함에 따라 개방형 데이터의 개념에는 이제 디스크에 지속되는 종류가 아니라 인메모리 형식이 포함됩니다. 이제 어떤 식으로든 데이터를 복사, 이동, 직렬화 또는 번역하도록 요구하는 것이 허용되지 않는 경우가 많습니다. 특히 Apache Arrow의 중요한 커뮤니티는 최소한의 오버헤드, 복사 없는 읽기 및 대규모의 빠른 액세스로 다양한 언어의 다양한 데이터 처리 라이브러리에 인메모리 데이터를 제공할 수 있다는 이점을 누리고 있습니다.

그러나 Ghostbusters에서 데이터는 모험의 시작에 불과했음을 기억합시다.

3) 실시간 및 정적 데이터 결합을 기본 요구 사항으로 만드십시오.

최신 데이터 엔진은 다양한 소스의 데이터를 함께 가져와야 합니다. 창고, 호수, 켄타우로스 같은 레이크하우스라는 전문 용어가 이제 일반적인 이미지가 되었습니다. 그러나 이벤트 스트림의 인기가 높아지면서 정적 데이터가 더 이상 전체 이야기가 아님을 시사하는 그다지 조용하지 않은 카나리아입니다.

데이터가 변경됩니다. 최신 워크로드는 유동적인 상태에 있습니다. 실시간 데이터가 중요합니다.

데이터 엔진 및 처리 라이브러리는 실시간 데이터 워크로드와 정적 데이터 워크로드 사이를 유연하게 처리하고 이동할 수 있도록 설계되어야 합니다. "지속적인 인텔리전스"는 역사의 맥락과 순간의 이벤트 신호를 결합하는 시스템에 대한 최신 유행 문구입니다. 최신 데이터 시스템은 실시간 데이터, 이벤트 스트림 및 기타 업데이트를 최고 수준의 역량으로 처리하도록 구축되어야 합니다. 이것들은 추가 기능이 아니라 나중에 생각할 수 있는 핵심 강점이어야 합니다.

결국, 고스트 버스터즈에서 배웠듯이 게이트키퍼와 키 마스터는 함께 결합될 때까지 훨씬 덜 강력합니다.

4) 항상 사용자를 최우선으로 합니다.

오늘날의 데이터 사용자는 다양한 기술, 도구, 워크플로 및 우선 순위를 가지고 있습니다. 공유 플랫폼을 중심으로 팀을 통합하면 팀에 활력을 불어넣으면서 개인에게 도움이 됩니다. 개인의 효율성을 극대화하고 협업을 촉진하는 데이터 시스템이 비즈니스 가치를 창출합니다.

개방형 데이터 소프트웨어가 길을 밝혀줍니다. 공개 프로젝트에서 흥미로운 협력과 경쟁의 조합은 비할 데 없는 속도의 진보와 독창성을 낳습니다. 상호 운용성을 장려하도록 구성된 커뮤니티 개발은 향상, 통합 및 사용자 경험 업그레이드를 약속합니다. 인기 있는 길은 포장도로가 됩니다. 이러한 시스템은 사용자를 하나로 묶는 동시에 적당히 복잡한 사용 사례에도 필요한 상호 의존적 작업 산출물을 지원합니다.

결국 하나의 양성자 팩은 강력하지만 4개가 함께 작동하면 무적입니다.

나는 유령이 두렵지 않습니다.