Neoclouds 설명: 왜 AI에 GPU 중심 클라우드 컴퓨팅이 필요한가

AI 워크로드는 사실상 모든 산업에서 주류가 되고 있습니다. 하지만 AI 수요가 증가함에 따라 인프라에 대한 부담도 커집니다. 불행히도 고성능 컴퓨트에 액세스하기 위한 전통적인 옵션들은 부족함을 드러내고 있어, 기업들이 대안을 찾게 만듭니다. 일부는 네오클라우드로 눈을 돌리고 있습니다. GPU 중심 제공을 중심으로 한 새로운 유형의 컴퓨트 서비스 제공업체입니다.

이 새로운 제공업체들은 컴퓨팅의 변화, 즉 AI를 위한 GPU 의존도 증가로 인해 관심을 얻고 있습니다. GPU는 AI 훈련과 추론의 병렬 처리 니즈를 처리하는 데 적합하지만, 악명 높게 비싸고 공급이 부족합니다. 고급 GPU는 수만 달러가 들며, 그것도 회사가 구할 수 있을 때 이야기입니다. 조달 주기는 길고, 리드 타임은 예측 불가능하며, 엔터프라이즈 IT 팀은 수요를 충족할 충분한 용량을 확보하는 데 자주 어려움을 겪습니다.

AWS, Google Cloud, Azure 같은 하이퍼스케일 클라우드 제공업체들은 GPU 인스턴스와 GPU-as-a-Service를 제공하여 격차를 메우려 했습니다. 많은 조직에 이 모델은 작동하지만, 한계가 있습니다.

클라우드 기반 GPU 인스턴스는 유연성, 확장성, 빠른 배포를 제공합니다. 하지만 사용량이 늘어나면 청구서도 늘어납니다. 종량제 모델은 특히 LLM(대형 언어 모델) 훈련, 미세 조정, 기업 애플리케이션 전반의 실시간 추론 같은 지속적 워크로드에서 규모가 커지면 빠르게 비용 금지적이 됩니다.

그 결과 많은 조직이 바위(희소하고 비싼 온프레미스 인프라)와 단단한 곳(높은 퍼블릭 클라우드 GPU 비용) 사이에 끼게 됩니다.

네오클라우드 등장

이 환경에서 새로운 카테고리의 컴퓨트 제공업체가 등장하고 있습니다: 네오클라우드 제공업체. 네오클라우드 인프라 제공업체는 더 저렴한 요금으로(적어도 그들 주장에 따르면) GPU에 중점을 둔 고성능 컴퓨트를 제공합니다. 그들은 비전통적 기원, 새로운 경제 모델, 다른 인프라 전략을 활용하여 이를 달성합니다.

예를 들어, 일부 네오클라우드는 암호화폐 채굴로 뿌리를 거슬러 올라갑니다. 지난 10년간 암호화폐 붐 동안 전 세계 수천 명의 채굴자들이 채굴 작업에 최적화된 GPU 서버를 갖춘 데이터 센터를 구축했습니다. 암호화폐 시장이 식고 채굴이 덜 수익성이 되자, 이 운영자들은 대량의 유휴 GPU 용량을 갖게 되었습니다. 이 하드웨어가 창고에서 감가상각되도록 두는 대신, 일부는 장비를 AI 워크로드용으로 재용도화했고, 그렇게 네오클라우드가 탄생했습니다.

이 분야의 다른 이들은 하이퍼스케일러의 오버헤드를 우회하고 가격-성능에 최적화하여 더 비용 효율적인 대안을 제공할 기회를 본 목적 구축 스타트업입니다. 일부는 오픈소스 소프트웨어 스택을 기반으로 구축하고 저비용 데이터 센터에 코로케이션합니다. 다른 이들은 분산 네트워크를 통해 초과 GPU 용량을 집계하여 기업이 더 낮은 비용으로 활용할 수 있는 일종의 "GPU 스팟 마켓"을 형성합니다.

네오클라우드 모델의 이점

터무니없는 비용 없이 AI 컴퓨트 파워를 찾는 기업들에게 네오클라우드 제공업체들은 몇 가지 이점을 제공할 수 있다고 주장합니다:

GPU 시간당 낮은 비용: 네오클라우드는 비교 가능한 GPU 인스턴스에 대해 하이퍼스케일러가 청구하는 것의 일부만 청구하는 경우가 많습니다. 그들은 그들의 린 운영 모델과 하드웨어 재사용 전략이 실제 절감으로 이어진다고 주장합니다.

전용 액세스: 많은 경우 네오클라우드 제공업체는 GPU에 대한 전용 베어메탈 액세스를 제공하여 경합을 줄이고 예측 가능한 성능을 보장합니다.

빠른 가용성: 유연한 조달 및 프로비저닝 프로세스로 네오클라우드 제공업체는 기존 벤더보다 훨씬 빠르게 용량을 제공할 수 있다고 주장하며, 팀이 지연 없이 AI 모델을 반복하고 배포할 수 있게 돕습니다.

분산화와 복원력: 일부 네오클라우드는 지리적으로 다양한 데이터 센터나 독립 운영자 네트워크에서 컴퓨트를 조달하는 분산 모델로 운영됩니다.

지속 가능성: 특히 암호화폐 산업에서 기존 하드웨어를 재용도화하면 전자 폐기물을 줄이고 더 지속 가능한 IT 관행을 촉진합니다. 일부 네오클라우드는 재생 에너지로 구동되는 시설에 코로케이션하여 탄소 발자국을 더욱 낮춥니다.

참고: GPU 시장 변화: 암호화폐 채굴 몰락 활용

GPU-as-a-Service, 재구상

핵심적으로 네오클라우드는 GPU-as-a-Service 모델에 대한 새로운 접근입니다. 네오클라우드 제공업체로 간주되는 기업에는 CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai 등이 포함됩니다.

그들은 GPU를 독점 서비스와 번들링하는 데 덜 집중하고, 대규모 AI를 더 많은 기업에 실행 가능하게 하는 가격대에서 원시 고성능 컴퓨트를 제공하는 데 더 관심이 있습니다.

저렴한 GPU에 대한 접근을 민주화함으로써, 네오클라우드 제공업체들은 AI 애플리케이션을 구축하거나 확장하려는 기업의 진입 장벽을 낮출 수 있다고 믿습니다. 작은 스타트업은 시드 펀딩을 다 태우지 않고 커스텀 모델을 훈련할 수 있습니다. 기업은 독점 데이터로 LLM을 미세 조정할 때 통제권을 양도하거나 과도한 지출 없이 할 수 있습니다. 연구 기관은 예산 제약 없이 시뮬레이션과 실험을 실행할 수 있습니다.

이러한 이점에도 불구하고, 네오클라우드 제공업체들은 GPU-as-a-Service 마켓플레이스에서 당분간 하이퍼스케일러들과 경쟁할 가능성이 높습니다. 그 시장은 2023년 32.3억 달러로 평가되었으며, Fortune Business Insights에 따르면 2032년까지 498.4억 달러로 성장하여 36% 성장률을 나타낼 것으로 예상됩니다(이 추정에는 하이퍼스케일러와 네오클라우드 모두 포함).

마무리 생각

AI에 대한 컴퓨트 요구사항은 계속 증가하고 있습니다. 네오클라우드 제공업체들은 이러한 니즈를 충족하는 것을 목표로 하는 차세대 AI 중심 클라우드 인프라 제공업체입니다. 그들은 최적화된 GPU 가용성, 유연한 가격, AI/ML 워크로드를 위한 특화된 성능 등 주요 기능에서 전통적인 하이퍼스케일러(AWS, Azure, GCP 등)와 차별화됩니다.