AI 칩이 클라우드 서비스를 통해 온라인으로 전환됩니다

이제 Groq의 TSP(텐서 스트리밍 프로세서) 실리콘을 사용하여 클라우드에서 고객의 AI 워크로드를 가속화할 수 있습니다. 클라우드 서비스 제공업체 Nimbix는 이제 "선택된 고객"만을 위한 주문형 서비스로 Groq 하드웨어에서 기계 학습 가속을 제공합니다.

데이터 센터용 AI 실리콘을 구축하는 여러 신생 기업이 있지만 Groq은 이제 고객이 클라우드 서비스의 일부로 사용할 수 있도록 상업적으로 이용 가능한 가속기를 갖춘 유일한 두 곳으로 Graphcore에 합류했습니다. Graphcore는 이전에 Microsoft Azure의 일부로 가속기를 사용할 수 있다고 발표했습니다.

Nimbix의 CEO인 Steve Hebert는 "Groq의 단순화된 처리 아키텍처는 고유하며 컴퓨팅 집약적인 워크로드에 대해 전례 없는 결정적 성능을 제공하며 우리의 클라우드 기반 AI 및 딥 러닝 플랫폼에 흥미로운 추가 기능을 제공합니다"라고 말했습니다.

Groq는 하드웨어를 클라우드에서 사용할 수 있도록 한 두 번째 AI 가속기 스타트업입니다(이미지:Groq)

지난 가을 출시된 Groq의 TSP 칩은 엄청난 1,000TOPS(초당 1페타 연산)를 처리할 수 있습니다. 회사에서 발표한 최근 결과에 따르면 이 칩은 ResNet-50 v2 추론에 대해 초당 21,700개의 추론을 달성할 수 있으며, Groq에 따르면 이 성능은 오늘날 GPU 기반 시스템의 두 배 이상입니다. 이러한 결과는 Groq의 아키텍처가 가장 빠르지는 않더라도 상업적으로 이용 가능한 가장 빠른 신경망 프로세서 중 하나임을 시사합니다.

Groq의 공동 창립자이자 CEO인 Jonathan Ross는 "이 ResNet-50 결과는 기계 학습 가속화에 대한 Groq의 고유한 아키텍처와 접근 방식이 경쟁사보다 훨씬 더 빠른 추론 성능을 제공한다는 검증입니다."라고 말했습니다. "시뮬레이션이나 하드웨어 에뮬레이션이 아닌 업계 표준 벤치마크를 기반으로 하는 이러한 실제 증거는 Groq의 기술로 가능해진 기계 학습 및 인공 지능 응용 프로그램의 측정 가능한 성능 향상을 확인합니다."

Groq은 자사 아키텍처가 기존 CPU 및 GPU 아키텍처의 동기화 오버헤드 없이 딥 러닝 가속에 필요한 대규모 병렬 처리를 달성할 수 있다고 말합니다. 제어 기능은 Groq의 소프트웨어 중심 접근 방식의 일부로 실리콘에서 제거되고 대신 컴파일러에 제공되었습니다. 이것은 컴파일러에 의해 조정되는 완전히 예측 가능하고 결정적인 작업으로 이어지며 컴파일 시간에 성능을 완전히 이해할 수 있습니다.

주목해야 할 또 다른 주요 기능은 Groq의 성능 이점이 처리량을 개선하기 위해 한 번에 여러 데이터 샘플을 처리하는 데이터 센터의 일반적인 기술인 일괄 처리에 의존하지 않는다는 것입니다. Groq에 따르면 해당 아키텍처는 실시간으로 도착하는 데이터 스트림에서 작동할 수 있는 추론 응용 프로그램의 일반적인 요구 사항인 배치 =1에서도 최고 성능에 도달할 수 있습니다. Groq의 TSP 칩은 대규모 배치 크기에서 GPU에 비해 ​​중간 정도의 2.5배 지연 시간 이점을 제공하지만 배치 =1에서는 이점이 17배에 가깝습니다.