어센드 프리뷰 툴: 데이터 파이프라인 관리 간소화로 더 빠르고 신뢰할 수 있는 인사이트

쿼리 가능한 데이터플로우(Queryable Dataflows)는 오늘날 데이터옵스(DataOps) 관리와 관련된 수동 오버헤드의 많은 부분을 크게 줄일 것입니다.

IT를 누구도 원하거나 감사하는 것보다 훨씬 덜 민첩하게 만드는 것 중 하나는 수동으로 데이터 파이프라인을 구성하는 데 드는 모든 시간과 노력입니다. 그 파이프라인을 처음 구성하는 것도 도전이지만, 그것들이 어떻게 작동하고 구현되었는지 해독하는 데 며칠에서 몇 주가 걸릴 수 있습니다.

기존 데이터 파이프라인을 더 쉽게 수정하기 위해, 어센드(Ascend)는 이제 회사가 최근 출시한 자율 데이터플로우 서비스(Autonomous Dataflow Service)를 사용하여 구축된 데이터 파이프라인에 대해 IT 팀이 직접 쿼리를 실행할 수 있게 하는 도구의 기술 프리뷰를 제공합니다. 이 서비스는 아마존 웹 서비스(AWS), 마이크로소프트, 또는 구글이 제공하는 퍼블릭 클라우드에서 호스팅되는 아파치 스파크(Apache Spark) 인메모리 컴퓨팅 프레임워크 인스턴스에서 선언적 도구를 사용하여 파이프라인 생성을 더 단순하게 만듭니다.

참고: 데이터옵스: 막힌 데이터 파이프라인의 해독제

쿼리 가능한 데이터플로우라고 불리는 이 새로운 기능은 오늘날 데이터옵스 관리와 관련된 수동 오버헤드의 많은 부분을 크게 줄일 것이라고 어센드 CEO 션 냅(Sean Knapp)은 말합니다.

쿼리 가능한 데이터플로우는 데이터옵스 팀이 구축하면서 대규모 원시 데이터셋을 점진적으로 탐색하고 프로파일링할 수 있게 합니다. 그 기능은 새로운 파이프라인을 더 빠르게 구성하는 것을 단순하게 할 뿐만 아니라, 데이터를 하류 애플리케이션에 노출하기 전에 결과가 정확한지 확인하는 데도 사용될 수 있습니다.

파이프라인은 이제 스테이징과 탐색을 데이터 웨어하우스에서 오프로드하는 방식으로 처리할 수 있습니다. 또한 대화형 쿼리를 자율 데이터플로우 서비스 내 단계로 즉시 이동하여 재코딩과 재처리를 제거할 수 있습니다.

쿼리 가능한 데이터플로우는 운영 분석과 리포팅 최적화에도 도움이 됩니다. 데이터 분석가와 사이언티스트들도 데이터를 웨어하우스에 먼저 로드하지 않고 파이프라인 단계에 직접 연결할 수 있어, 선호하는 도구를 사용하여 데이터에 접근할 수 있습니다.

데이터 파이프라인 관리를 위한 이전 세대 도구들은 비교하자면 조금 더 화려한 작업 스케줄러에 불과하다고 냅은 말합니다.

데이터옵스는 데브옵스(DevOps) 프로세스와 마이크로서비스의 부상 덕분에 IT 환경 내 변화율이 가속화됨에 따라 IT 분야로서 압박을 받고 있습니다. 데이터 파이프라인이 최적화되거나 업데이트되어야 하는 비율이 기하급수적으로 증가했습니다. 데이터 파이프라인에 대한 수동 업데이트는 데이터옵스와 데브옵스 사이에 매우 예측 가능한 마찰 지점을 만들 것이라고 냅은 말합니다.

"데이터옵스와 데브옵스는 조화를 이루어야 합니다."라고 냅은 말합니다.

사실 그 조화 부족이 개발자들이 내부 IT 팀을 우회하여 오픈소스 데이터베이스로 애플리케이션을 구축하려 시도하게 만들고, 시간이 지나면서 그 데이터베이스가 애플리케이션 수요를 충족하도록 확장되지 않는다는 것을 발견하게 만듭니다. 그러면 아파치 스파크나 다른 데이터베이스 같은 플랫폼으로 그 애플리케이션을 이동하기 위해 내부 IT 팀과 다시 협력해야 합니다.

데이터옵스와 데브옵스가 언젠가 수렴할지 어느 정도인지 명확하지 않습니다. 현재로서는 둘 다 각자의 영역으로 남을 가능성이 높습니다. 그러나 데이터옵스 프로세스가 데이터 파이프라인 구축이 더 이상 IT 현대화를 가로막는 주요 병목 현상이 아니도록 개선되어야 함은 풍부하게 명확합니다.