데이터 파이프라인 관리를 단순화하는 Ascend 미리 보기 도구

Queryable Dataflows는 오늘날 DataOps 관리와 관련된 수동 오버헤드를 크게 줄여줍니다.

IT를 다른 사람이 원하거나 감사하는 것보다 훨씬 덜 민첩하게 만들기 위해 가장 공모하는 것 중 하나는 데이터 파이프라인을 수동으로 구성하는 데 드는 모든 시간과 노력입니다. 이러한 파이프라인을 처음에 구축하는 것이 어려울 뿐만 아니라 파이프라인이 어떻게 작동하고 구현되었는지 해독하는 데 며칠, 몇 주가 걸릴 수 있습니다.

기존 데이터 파이프라인을 더 쉽게 수정할 수 있도록 Ascendis는 이제 IT 팀이 최근 출시한 Autonomous Dataflow Service를 사용하여 구축한 데이터 파이프라인에 대해 직접 쿼리를 실행할 수 있는 도구의 기술 미리보기를 제공합니다. Amazon Web Services(AWS), Microsoft 또는 Google에서 제공하는 공용 클라우드에서 호스팅되는 Apache Spark 인메모리 컴퓨팅 프레임워크입니다.

참조: DataOps:혼잡한 데이터 파이프라인에 대한 해독제

Queryable Dataflows라고 불리는 이 새로운 기능은 오늘날 DataOps 관리와 관련된 수동 오버헤드를 크게 줄여줄 것이라고 Ascend CEO Sean Knapp은 말합니다.

쿼리 가능한 데이터 흐름을 사용하면 DataOps 팀이 대규모 원시 데이터 세트를 구축하면서 점진적으로 탐색하고 프로파일링할 수 있습니다. 이 기능을 사용하면 새 파이프라인을 더 빠르게 구성할 수 있을 뿐만 아니라 데이터를 다운스트림 애플리케이션에 노출하기 전에 결과가 정확한지 확인하는 데 사용할 수도 있습니다.

파이프라인은 이제 데이터 웨어하우스에서 이러한 활동을 오프로드하는 방식으로 스테이징 및 탐색을 처리할 수 있습니다. 또한 Interactivequery는 AutonomousDataflow Service 내의 단계로 즉시 프로덕션으로 이동하여 재코딩 및 재처리를 제거할 수 있습니다.

쿼리 가능한 데이터 흐름은 운영 분석 및 보고를 최적화하는 데도 도움이 됩니다. 데이터 분석가와 과학자는 먼저 데이터를 웨어하우스에 로드할 필요 없이 파이프라인 단계에 직접 연결할 수 있습니다. 즉, 선호하는 도구를 사용하여 데이터에 액세스할 수 있습니다.

이에 비해 이전 세대의 데이터 파이프라인 관리 도구 도구는 미화되는 작업 스케줄러에 불과하다고 Knapp은 말합니다.

IT 분야로서의 DataOps는 IT 환경 내에서 발생하는 변화의 속도가 가속화됨에 따라 증가된 압력을 받고 있습니다. 부분적으로 DevOps 프로세스 및 마이크로서비스의 부상 덕분에 데이터 파이프라인을 최적화하거나 업데이트해야 하는 속도가 기하급수적으로 증가했습니다. 데이터 파이프라인에 대한 수동 업데이트는 DataOps와 DevOps 사이에 매우 예측 가능한 마찰 지점을 생성할 것이라고 Knapp은 말합니다.

Knapp은 "DataOps와 DevOps를 조화시켜야 합니다."라고 말합니다.

사실, 이러한 조화의 결여는 개발자들이 종종 오픈 소스 데이터베이스를 사용하여 내부 IT 팀을 운영하고 끝내려고 하는 원인이 됩니다. 그런 다음 내부 IT 팀과 다시 협력하여 해당 애플리케이션을 ApacheSpark 또는 기타 데이터베이스와 같은 플랫폼으로 이동해야 합니다.

DataOps와 DevOps가 언젠가는 어느 정도 수렴할지 명확하지 않습니다. 현재로서는 두 영역 모두 자체 영역으로 남아 있을 가능성이 높습니다. 그러나 데이터 파이프라인의 구성이 더 이상 IT 현대화를 가로막는 주요 병목 현상이 아닌 지점까지 DataOps 프로세스를 개선해야 한다는 점 역시 분명합니다.