쿠버네티스(Kubernetes), AI 스타트업에 확장 가능한 컨테이너 솔루션 제공

우분투(Ubuntu) 개발사 캐노니컬(Canonical)의 AI 제품 매니저 카르미네 리미(Carmine Rimi)가 AI와 쿠버네티스의 교차점에 대한 통찰을 공유합니다.

스탠퍼드 대학 연구에 따르면 2000년 이후 AI 스타트업이 14배 증가했으며, 영국 기반 AI 개발자는 작년 한 해에만 벤처 캐피털 펀딩이 200% 급증했습니다. 이 수치는 신뢰할 수 있고 확장 가능한 AI 인프라에 대한 수요 증가를 강조합니다.

AI 애플리케이션 구축은 본질적으로 복잡합니다. 개발자는 단 한 줄의 ML 코드를 작성하기 전에 특징 추출, 데이터 수집 검증, 통계 분석, 리소스 오케스트레이션을 저글링해야 합니다. 모델을 최신 상태로 안전하게 유지하기 위해 지속적인 유지보수가 필요합니다.

컨테이너로 해결하다

이에 업계는 쿠버네티스(Kubernetes)로 눈을 돌렸습니다. 쿠버네티스는 AI 및 머신러닝 파이프라인을 포함한 컨테이너화된 워크로드의 배포와 관리를 자동화하는 무료 오픈소스 플랫폼입니다. 인프라 세부사항을 추상화함으로써 팀이 운영 오버헤드 대신 모델 개발에 집중할 수 있게 합니다.

포레스터(Forrester)는 최근 "쿠버네티스가 컨테이너 오케스트레이션 지배권 전쟁에서 승리했으며 마이크로서비스 계획의 중심에 있어야 한다"고 밝혔습니다. 컨테이너는 온프레미스 또는 클라우드 리소스 전반에서 쉽게 확장할 수 있는 경량의 휴대 가능한 환경을 제공하여 모놀리식 AI 서비스를 모듈화되고 유지보수 가능한 마이크로서비스로 분해할 수 있게 합니다.

클라우드 네이티브 컴퓨팅 재단(CNCF) 조사에 따르면 대부분의 개발자가 AI 라이프사이클의 여러 단계(훈련부터 추론까지)에서 이미 쿠버네티스를 활용하고 있습니다. 쿠버네티스는 컴퓨팅 집약적인 딥러닝 모델 확장과 일반 서버에서의 대용량 데이터셋 관리에 탁월합니다.

훈련 외에도 쿠버네티스는 엣지 디바이스와 중앙 데이터 센터 전반에 걸친 분산 추론을 지원하여, 그렇지 않으면 맞춤형 비컨테이너 솔루션이 필요했던 배포 시나리오를 단순화합니다.

초점의 전환

기업이 비용 절감, 의사결정 향상, 개인화 경험 제공을 위해 AI를 도입함에 따라 쿠버네티스 기반 컨테이너가 선호 플랫폼으로 부상했습니다. 2020년 12월 쿠버네티스 프로젝트는 쿠브플로(Kubeflow)를 도입했습니다. 이는 쿠버네티스에서 머신러닝 워크플로를 간소화하는 프레임워크입니다.

초기에는 스테이트리스 서비스를 위해 설계되었으나, 풍부한 API, 신뢰성, 성능 덕분에 복잡한 스테이트풀 AI 워크로드도 지원하게 되었습니다. 2017년에는 구글 클라우드 플랫폼의 GKE(Google Kubernetes Engine)만 쿠버네티스를 지원했지만, 오늘날 모든 주요 클라우드(마이크로소프트 애저 AKS, 아마존 EKS 등)가 관리형 쿠버네티스 서비스를 제공합니다.

기업과 클라우드 제공업체 모두에서 쿠버네티스가 빠르게 채택되는 것은 AI 애플리케이션에 반복성, 내결함성, 확장성을 제공하는 효과를 입증합니다. 쿠버네티스는 컨테이너화된 AI 워크로드 관리의 사실상 표준이 되었으며, AI 채택이 지속됨에 따라 그 이점은 더욱 커질 것입니다.

저자는 캐노니컬(Canonical)의 AI 제품 매니저 카르미네 리미(Carmine Rimi)입니다.