Neoclouds 설명:AI에 GPU 중심 클라우드 컴퓨팅이 필요한 이유

AI 워크로드는 거의 모든 산업에서 주류가 되고 있습니다. 그러나 AI에 대한 수요가 증가함에 따라 인프라에 대한 부담도 커지고 있습니다. 안타깝게도 고성능 컴퓨팅에 액세스하기 위한 기존 옵션은 부족하여 기업에서는 대안을 모색하고 있습니다. 일부는 GPU 중심 제품에 중점을 둔 새로운 유형의 컴퓨팅 서비스 제공업체인 네오클라우드(neocloud)로 눈을 돌리고 있습니다.

이러한 새로운 공급자는 컴퓨팅의 변화로 인해 관심을 얻고 있습니다. AI용 GPU에 대한 의존도가 높아지는 것이 특징입니다. GPU는 AI 교육 및 추론의 병렬 처리 요구 사항을 처리하는 데 매우 적합하지만 가격이 비싸고 공급이 부족합니다. 고급 GPU는 수만 달러의 비용이 들 수 있으며 이는 회사가 GPU를 찾을 수 있는 경우에만 가능합니다. 조달 주기는 길고, 리드 타임은 예측할 수 없으며, 기업 IT 팀은 수요를 충족할 수 있는 충분한 용량을 확보하는 데 종종 어려움을 겪습니다.

AWS, Google Cloud, Azure와 같은 대규모 클라우드 제공업체는 GPU 인스턴스와 GPU를 서비스로 제공하여 격차를 메우려고 노력해 왔습니다. 많은 조직에서 이 모델이 작동하지만 어느 정도까지만 유효합니다.

클라우드 기반 GPU 인스턴스는 유연성, 확장성 및 신속한 배포를 제공합니다. 하지만 사용량이 늘어나면 요금도 늘어납니다. 종량제 모델은 특히 LLM(대형 언어 모델) 교육, 미세 조정 또는 엔터프라이즈 애플리케이션 전반의 실시간 추론과 같은 지속적인 워크로드의 경우 규모에 따라 비용이 너무 많이 들기 시작합니다.

그 결과, 많은 조직이 바위(희귀하고 값비싼 온프레미스 인프라)와 어려운 곳(높은 퍼블릭 클라우드 GPU 비용) 사이에 갇히게 되었습니다.

네오클라우드 입력

이러한 환경에서는 네오클라우드 제공업체라는 새로운 범주의 컴퓨팅 제공업체가 등장하고 있습니다. Neocloud 인프라 제공업체는 GPU 중심의 고성능 컴퓨팅을 보다 저렴한 가격으로 제공합니다(적어도 이들에 따르면). 이들은 비전통적인 기원, 새로운 경제 모델, 다양한 인프라 전략을 활용하여 이를 달성합니다.

예를 들어 일부 네오클라우드의 뿌리는 암호화폐 채굴로 거슬러 올라갑니다. 지난 10년간의 암호화폐 붐 동안 전 세계적으로 수천 명의 채굴자들이 채굴 작업에 최적화된 GPU 서버를 갖춘 데이터 센터를 구축했습니다. 암호화폐 시장이 냉각되고 채굴 수익성이 떨어지면서 이들 운영자는 많은 양의 유휴 GPU 용량을 갖게 되었습니다. 이 하드웨어를 창고에 넣어두는 대신 일부는 장비를 AI 워크로드에 맞게 용도 변경하여 네오클라우드가 탄생했습니다.

이 분야의 다른 기업들은 가격 대비 성능을 최적화하고 레거시 클라우드 운영의 오버헤드를 우회함으로써 하이퍼스케일러에 대한 보다 비용 효율적인 대안을 제공할 수 있는 기회를 본 특수 목적의 스타트업입니다. 일부는 오픈 소스 소프트웨어 스택을 기반으로 구축하고 저렴한 데이터 센터에 공동 배치합니다. 다른 사람들은 분산형 네트워크 전반에 걸쳐 초과 GPU 용량을 모아 기업이 저렴한 비용으로 이용할 수 있는 일종의 "GPU 현물 시장"을 형성합니다.

네오클라우드 모델의 이점

엄청난 비용 없이 AI 컴퓨팅 성능을 원하는 기업을 위해 네오클라우드 제공업체는 다음과 같은 여러 가지 이점을 제공할 수 있다고 주장합니다.

GPU 시간당 비용 절감 :Neocloud는 유사한 GPU 인스턴스에 대해 하이퍼스케일러가 수행하는 비용의 일부만 청구하는 경우가 많습니다. 그들은 린 운영 모델과 하드웨어 재사용 전략이 실질적인 비용 절감으로 이어진다고 주장합니다.

전용 액세스 :많은 경우 네오클라우드 제공업체는 GPU에 대한 전용 베어메탈 액세스를 제공하여 경합을 줄이고 예측 가능한 성능을 보장합니다.

빠른 가용성 :네오클라우드 제공업체는 유연한 조달 및 프로비저닝 프로세스를 통해 기존 공급업체보다 훨씬 빠르게 용량을 제공할 수 있어 팀이 지체 없이 AI 모델을 반복하고 배포할 수 있다고 주장합니다.

분권화 및 탄력성 :일부 네오클라우드는 분산 모델로 운영되며, 지리적으로 다양한 데이터 센터나 독립 운영자 네트워크에서 컴퓨팅을 소싱합니다.

지속가능성 :특히 암호화폐 산업의 기존 하드웨어를 재활용하면 전자 폐기물이 줄어들고 보다 지속 가능한 IT 관행이 촉진됩니다. 일부 네오 클라우드는 재생 에너지로 구동되는 시설에 함께 배치되어 탄소 배출량을 더욱 낮춥니다.

참조: GPU 시장 변화:암호화폐 채굴의 몰락을 활용

서비스형 GPU의 재구성

핵심적으로 네오클라우드는 GPU-as-a-Service 모델에 대한 새로운 해석을 나타냅니다. 네오클라우드 제공업체로 간주되는 회사로는 CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai 등이 있습니다.

GPU와 독점 서비스를 번들로 묶는 것보다는 더 많은 비즈니스에서 대규모 AI를 실행할 수 있는 가격으로 원시 고성능 컴퓨팅을 제공하는 데 더 관심이 있습니다.

저렴한 GPU에 대한 액세스를 민주화함으로써 네오클라우드 제공업체는 AI 애플리케이션을 구축하거나 확장하려는 기업의 진입 장벽을 낮출 수 있다고 믿습니다. 소규모 스타트업은 초기 자금을 소진하지 않고도 맞춤형 모델을 교육할 수 있습니다. 기업은 통제권을 양도하거나 과도한 지출을 하지 않고도 독점 데이터에 대한 LLM을 미세 조정할 수 있습니다. 그리고 연구 기관에서는 예산 제약 없이 시뮬레이션과 실험을 실행할 수 있습니다.

이러한 장점에도 불구하고 네오클라우드 제공업체는 가까운 미래에 GPU-as-a-Service 시장에서 하이퍼스케일러와 경쟁할 가능성이 높습니다. Fortune Business Insights에 따르면 이 시장의 가치는 2023년에 32억 3천만 달러로 평가되었으며 2032년까지 498억 4천만 달러로 성장하여 36%의 성장률을 나타낼 것으로 예상됩니다. (이 추정치에는 하이퍼스케일러와 네오클라우드가 모두 포함됩니다.)

최종 생각

AI에 대한 컴퓨팅 요구 사항은 계속 증가하고 있습니다. Neocloud 제공업체는 이러한 요구 사항을 충족하는 것을 목표로 하는 차세대 AI 중심 클라우드 인프라 제공업체입니다. 최적화된 GPU 가용성, 유연한 가격 책정, AI/ML 워크로드를 위한 특화된 성능 등의 주요 기능에 중점을 두어 기존 하이퍼스케일러(예:AWS, Azure, GCP)와 차별화됩니다.