Esperanto, 데이터센터 추론용 1,093코어 RISC-V AI 가속기 공개

스타트업 Esperanto가 데이터센터 환경의 M.2 가속기 소켓용으로 설계된 1,093코어 RISC-V AI 가속기 ET-SoC-1을 발표했습니다. Hot Chips 컨퍼런스에서 데뷔한 이 칩은 단일 Glacier Point 카드 위의 6개 모듈에서 800 TOPS 성능을 제공하면서 120W 전력 엔벨로프 내에 머뭅니다.

설계 하이라이트

ET-SoC-1은 AI 워크로드를 실행하는 1,088개의 ET-Minion 코어, 4개의 고성능 ET-Maxion 코어, RISC-V 서비스 프로세서를 포함합니다. 아키텍처는 에너지 효율을 중심으로 구축되었습니다: 1GHz 클럭, 0.4V 전압, 7nm TSMC 공정으로 칩당 20W의 '스위트 스팟'을 제공하며, 10W~60W 사이에서 유연하게 동작 가능합니다.

타겟 유스케이스: 추천 추론

하이퍼스케일 운영자들은 추천 엔진에 10ms 이하의 추론 레이턴시를 요구합니다. 이 칩은 PCIe 병목 현상을 피하기 위해 가속기 카드 상에 100MB 온칩 메모리와 100GB 오프칩 용량을 모두 탑재하여 이를 해결합니다. INT8, FP16, FP32 지원이 중요한 곳에 정밀도를 유지합니다.

코어 아키텍처

각 64비트 인오더 코어는 AI에 최적화된 벡터 및 텐서 유닛을 실행하여 GHz당 128 GOPS를 제공합니다. 커스텀 멀티사이클 텐서 명령어는 사이클당 64,000개 이상의 연산을 실행하여 명령어 트래픽을 줄입니다. 8개 코어가 '이웃(neighbourhood)'을 형성하여 L2 캐시를 공유하고 협력적 로드를 가능하게 하며, 4개 이웃이 'Minion Shire'를 구성합니다. 칩은 1,088개 코어(수율 향상을 위해 1,024개 옵션도 제공)와 Arm A-72에 견줄 4개 ET-Maxion 코어를 제공합니다.

메모리 시스템

4개의 64비트 DDR 인터페이스(각각 4개의 16비트 채널 구성)가 96×16비트 대역폭을 제공합니다. 칩은 LPDDR4x를 사용하여 비트당 에너지가 HBM과 비슷하면서, 6칩 스택으로 100GB 오프칩 캐시에 도달합니다.

경쟁 포지셔닝

거대하고 전력 소모가 큰 TPU나 Inferentia와 달리, Esperanto의 저전력 멀티칩 접근법은 오픈 컴퓨트 생태계를 활용합니다. 표준화되고 비용 효율적인 가속기를 찾는 하이퍼스케일 운영자들에게 Esperanto의 솔루션은 매력적입니다.

미래 전망

향후 이터레이션은 축소된 ET-SoC-1로 에지 유스케이스를 타겟으로 할 수 있습니다. 현재 버전은 향후 몇 달 내 출시를 앞두고 있습니다.

출처: Esperanto 및 EE Times의 Dave Ditzel 인터뷰(1980년 RISC 논문 공동 저자).