MLCommons, MLPerf 추론 벤치마크 2024 공개: 에지·데이터센터·모바일·노트북 결과

MLPerf 벤치마크 제품군을 큐레이팅하는 독립 기구 MLCommons가 최신 MLPerf 추론 점수를 발표했습니다. 새로운 결과는 데이터센터, 에지, 모바일, 노트북의 네 가지 디바이스 클래스로 깔끔하게 나뉘어 구매자, 벤더, 연구자가 실제 워크로드 전반에서 성능을 비교하기 쉽게 만듭니다.

디바이스 클래스 세분화

점수를 디바이스 클래스별로 분리하는 것은 각 시장을 특징짓는 고유한 폼 팩터와 성능 프로필을 반영합니다. MLCommons 사무총장 David Kanter는 EE Times에 "노트북 이야기를 하면 아마도 Windows를 실행 중일 것이고, 스마트폰 이야기를 하면 iOS나 Android를 실행 중일 것입니다."라고 말했습니다. 모바일과 노트북 결과를 분리함으로써 벤치마크는 각 사용 사례에 가장 관련 있는 가속기의 역량에 대한 더 명확한 통찰을 제공합니다.

최첨단 모델

이전 라운드가 주로 비전 작업에 초점을 맞춘 것과 달리, 현재 벤치마크는 다섯 가지 현대적이고 프로덕션급 모델을 포함합니다:

• DLRM – 대규모 추천 엔진
• 3D-UNet – MRI 스캔에서 종양 감지용 의료 영상 모델
• RNN-T – 음성-텍스트 엔진
• BERT – 자연어 처리 트랜스포머
• MobileNetEdge, SSD-MobileNetv2, Deeplabv3, Mobile BERT – 위 모델들의 모바일 최적화 변형

이 선택들은 추천, 의료 영상, 음성 도메인의 업계 전문가를 포함한 자문 위원회에 의해 주도되었으며, 오늘날 프로덕션에서 가장 까다로운 워크로드를 반영하도록 벤치마크를 보장합니다.

데이터센터 성능

예상대로 Nvidia GPU가 데이터센터 클래스를 지배합니다. 실제로 총 제출의 85%가 Nvidia 하드웨어로 구동되었으며, 회사는 참여한 모든 카테고리를 휩쓸었습니다. 벤치마크는 확대되는 성능 격차를 보여줍니다. 기본 컴퓨터 비전 모델에서 Nvidia A100은 Intel Cooper Lake CPU의 약 30배 처리량을, 추천 시스템 워크로드에서는 비교 가능한 CPU보다 237배 빠릅니다. Nvidia 제품 관리 수석 디렉터 Paresh Kharya는 단일 DGX-A100이 추천 작업에서 1,000노드 CPU 클러스터의 성능과 맞먹어 규모 면에서 엄청난 가치를 제공한다고 강조합니다.

이 클래스에서 유일한 비CPU, 비GPU 참가자는 Mipsology의 Zebra 가속기로, Xilinx Alveo U250 FPGA에서 실행됩니다. Zebra는 서버 모드에서 4,096 ResNet 쿼리/초를 달성해 Nvidia T4의 5,563과 비교했으며, 오프라인에서는 5,011 샘플/초로 T4의 6,112와 비교했습니다.

연구개발 카테고리에서 대만 기업 Neuchips의 RecAccel(DLRM용 FPGA 기반 가속기)은 Intel Cooper Lake CPU와 동등하거나 낮은 성능을 보였고 Nvidia 결과에는 미치지 못했습니다. 이러한 초기 단계 프로토타입은 아직 상용화되지 않았더라도 새로운 AI 하드웨어의 폭을 보여줍니다.

에지 티어 결과

에지 시스템은 주로 Nvidia의 A100, T4, AGX Xavier, Xavier NX 칩으로 구동되었습니다. 독자 x86 프로세서와 별도 AI 코프로세서를 탑재한 Centaur Technology의 레퍼런스 디자인은 단일 스트림 ResNet 지연에서 Nvidia Tesla T4를 이겼지만 처리량에서는 뒤처졌습니다. 영국 컨설팅사 dividiti는 라즈베리 파이부터 Nvidia AGX Xavier까지 광범위한 점수를 제시하며 운영체제 선택과 온칩 가속기 사용이 결과에 어떻게 영향을 미치는지 강조했습니다.

연구개발 풀에서 새로운 참가자로 러시아 기업 IVA Technologies와 한국 스타트업 Mobilint가 포함되었습니다. 둘 다 획기적인 성능은 달성하지 못했지만, 그들의 포함은 프로토타입 가속기가 상용 솔루션과 벤치마킹할 만한 소프트웨어 성숙도에 도달했음을 보여줍니다.

모바일 및 노트북 벤치마크

모바일 클래스에서는 세 가지 비교 가능한 제출이 있었습니다: MediaTek Dimensity 820(Xiaomi Redmi 10X 5G), Qualcomm Snapdragon 865+(Asus ROG Phone 3 테스트), Samsung Exynos 990(Galaxy Note 20 Ultra 사용). Samsung이 이미지 분류와 NLP에서 선두, MediaTek이 객체 감지에서 우수, Samsung이 다시 이미지 세그멘테이션에서 우위를 보였습니다. 결과는 어떤 단일 SoC도 모든 작업에서 지배하지 못함을 보여주며 워크로드별 최적화의 중요성을 강조합니다.

노트북 카테고리에는 차세대 Xe-LP GPU를 탑재한 단일 Intel 레퍼런스 디자인이 포함되었습니다. 제한된 데이터셋으로 자세한 비교는 어렵지만, Xe-LP는 최고 모바일 SoC 대비 이미지 세그멘테이션(DeeplabV3)에서 2.5배 높은 처리량, 객체 감지(SSD-MobileNetv2)에서 1.15배 우위를 달성했습니다.

앞으로의 전망

Kanter는 MLCommons의 벤치마크 생태계 다양성에 대한 의지를 강조합니다. 이 조직은 비Nvidia, 비Intel, 소규모 기업의 참여를 장려하며, 어떤 네트워크나 모델도 테스트할 수 있는 오픈 디비전을 운영합니다. "다음 라운드에 전력 측정 차원을 추가하는 작업도 진행 중입니다."라고 Kanter는 말하며 커뮤니티에 필요한 툴링 개발을 돕도록 초대했습니다.

완전하고 상세한 MLPerf 추론 결과 목록은 여기를 클릭하세요.

출처: EE Times

에지 결과는 Jetson Xavier NX 포함 Nvidia GPU가 지배