퀄컴, 클라우드 AI 100 공개… 5G·에지 AI용 전력 효율 가속기, 2021년 상반기 출하

2019년 4월 최초 공개 후 약 18개월 만에 퀄컴은 클라우드 AI 100 실리콘이 양산 단계에 진입했으며 2021년 상반기 출하될 것이라고 확인했다. 카드 폼팩터와 성능 벤치마크도 공개돼 에지 AI 워크로드 대비 준비성을 입증했다.

퀄컴은 스냅드래곤 라인으로 스마트폰 시장을 오랫동안 지배해왔지만, 앞서 서버급 센트리크(Centriq) 라인은 2018년 중단됐다. 클라우드 AI 100은 퀄컴의 니어에지 서버 시장 전략적 진입으로, 뛰어난 전력 효율로 고처리량 AI 추론을 제공한다.

퀄컴의 클라우드 AI 100은 5G 인프라 및 엔터프라이즈 데이터센터 같은 니어에지 AI 워크로드를 위해 설계되었습니다.

폼팩터와 성능

퀄컴은 클라우드 AI 100을 세 가지 카드 형식으로 처음 제공한다:

• 듀얼 M.2 에지(DM.2e) – 15W에서 50 TOPS 이상
• 듀얼 M.2(DM.2) – 25W에서 200 TOPS
• PCIe – 75W에서 최대 400 TOPS

이 수치는 이론적 '원시' TOPS로 실제 애플리케이션 오버헤드는 고려되지 않았다. 그럼에도 퀄컴 자체 성능 곡선은 PCIe 버전이 많은 선도 솔루션을 능가하면서 전력의 일부만 소모함을 보여준다.

ResNet-50 추론 처리량 대 전력 소모. 퀄컴 카드가 전력 효율에서 선도 (배치 크기 8, 엔비디아 A100 제외).

"모바일 플랫폼에서 10년 이상 AI R&D를 이 새로운 코어로 가져왔습니다. 아키텍처는 스냅드래곤과 다르지만, 전문성과 와트당 성능은 명백합니다."라고 퀄컴 제품 관리 수석 디렉터 존 켈리(John Kehrli)는 말했다.

칩 아키텍처

클라우드 AI 100은 7nm 핀펫(FinFET) 공정 기반 추론 가속기다. 최대 16개 AI 코어를 탑재해 INT8, INT16, FP16, FP32 정밀도를 지원한다. 다이는 144MB 온칩 SRAM(128MB 공유, 코어당 1MB)을 포함하며 최대 32GB LPDDR4x DRAM(4×64 LPDDR4x, 2.1GHz)과 인터페이스해 AI 워크로드에 필수적인 고대역폭 메모리를 제공한다.

타깃 애플리케이션

가속기는 컴퓨터 비전, 음성 인식, 자율주행, 언어 번역, 추천 엔진 등 광범위한 에지 유스케이스에 맞춰졌다. 퀄컴은 클라우드 AI 100을 네 가지 주력 시장으로 포지셔닝한다:

• 클라우드 에지의 데이터센터
• 첨단 운전자 보조 시스템(ADAS)
• 5G 에지 박스(스마트시티 및 엔터프라이즈용 온프레미스 독립형 디바이스)
• 5G 인프라(AI 기반 빔포밍 및 기지국 최적화)

자율주행 분야에서 클라우드 AI 100 파생칩은 퀄컴 스냅드래곤 라이드(Snapdragon Ride) 플랫폼을 구동하며, 동일한 아키텍처와 소프트웨어 스택을 활용한다.

레퍼런스 디자인 & 개발 키트

퀄컴은 클라우드 AI 100으로 구동되는 5G 에지 박스 레퍼런스 디자인을 갖춘 새로운 개발 키트를 선보였다. 키트는 가속기를 스냅드래곤 865 호스트 프로세서와 짝지어 최대 24개 풀HD 비디오 디코드 스트림을 지원하는 전체 비디오 파이프라인을 제공한다. 사전 인증된 스냅드래곤 X55 5G 모뎀도 포함된다.

"이 키트로 고객은 데모 애플리케이션을 즉시 실행할 수 있습니다. ResNet-50이 사전 컴파일돼 있어 에지 AI 솔루션의 퀵 스타트를 제공합니다."라고 켈리는 강조했다.

배포 타임라인

퀄컴은 초기 상용 배포가 스마트시티, 리테일 분석, 제조 등 에지 시나리오에 집중될 것으로 예상한다. 인증 주기가 짧기 때문이다. 클라우드 AI 100 샘플링은 선별 고객사와 이미 진행 중이며, 개발 키트는 다음 달 제한된 대상에 샘플링될 예정이다.

참고: 본 기사는 원래 EE Times에 게재되었습니다.