소프트웨어 도구는 AI 애플리케이션을 위해 GPU 코드를 FPGA로 마이그레이션합니다.

AI 소프트웨어 스타트업 Mipsology는 Xilinx와 협력하여 FPGA가 단일 추가 명령만 사용하여 AI 가속기 애플리케이션에서 GPU를 대체할 수 있도록 합니다. Mipsology의 "무 노력" 소프트웨어인 Zebra는 GPU 코드를 변환하여 코드 변경이나 재교육 없이 FPGA의 Mipsology AI 컴퓨팅 엔진에서 실행됩니다.

Xilinx는 오늘 데이터 센터용 Alveo U50 카드의 최신 빌드와 함께 Zebra를 출하한다고 발표했습니다. Zebra는 이미 Alveo U200 및 Alveo U250을 비롯한 다른 Xilinx 보드에서 추론 가속을 지원합니다.

Xilinx의 Alveo U50 데이터 센터 가속기 카드의 최신 빌드에는 이제 GPU AI 코드를 FPGA에서 실행하도록 변환하기 위한 Mipsology의 Zebra 소프트웨어가 함께 제공됩니다(이미지:Xilinx)

자일링스의 마케팅 부사장인 라미네 로안(Ramine Roane)은 “Zebra가 Alveo 카드에 제공하는 가속화 수준은 CPU 및 GPU 가속기를 부끄럽게 만듭니다. "Zebra와 결합된 Alveo U50은 AI 워크로드의 유연성 및 성능 요구 사항을 충족하고 모든 배포에 높은 처리량과 짧은 지연 시간 성능 이점을 제공합니다."

플러그 앤 플레이

FPGA는 역사적으로 비전문가를 위해 프로그래밍하기 어려운 것으로 악명이 높았지만 Mipsology는 FPGA를 CPU 또는 GPU만큼 사용하기 쉬운 플러그 앤 플레이 솔루션으로 만들고자 합니다. 다른 유형의 가속에서 FPGA로 가능한 한 쉽게 전환할 수 있도록 하는 것이 아이디어입니다.

Mipsology의 CEO Ludovic Larzul은 "[Mipsology]를 보는 가장 좋은 방법은 NVIDIA가 Cuda CuDNN을 사용하여 GPU를 AI 사용자에게 완전히 투명하게 만든 것과 같은 방식으로 FPGA를 투명하게 만드는 것입니다."라고 말했습니다. , EE Times와의 인터뷰에서 .

결정적으로 전환을 위해 모델을 재교육할 필요가 없기 때문에 심층 AI 전문 지식이나 FPGA 기술 없이 비전문가도 수행할 수 있습니다.

Larzul은 "사람들의 AI 프로젝트를 볼 때 신경망을 설계하는 AI 팀에 액세스할 수 없는 경우가 많기 때문에 사용 편의성이 매우 중요합니다."라고 말했습니다. “일반적으로 누군가가 로봇 시스템이나 비디오 감시 시스템을 배치한다면... 그들은 신경망을 개발하고 훈련시키는 다른 팀이나 다른 당사자가 있습니다. 그리고 [훈련된 모델]을 얻은 후에는 전문 지식이 없기 때문에 변경하기를 원하지 않습니다.”

Zebra의 스택입니다. 이 기술은 데이터 센터, 에지 및 임베디드 애플리케이션 전반에 적용 가능합니다(이미지:Mipsology)

Vitis와 비교

데이터 과학자와 소프트웨어 개발자(즉, Vitis)가 FPGA에 액세스할 수 있도록 하는 포괄적인 솔루션이 이미 Xilinx에 있는데 왜 Xilinx가 타사 소프트웨어를 지원할까요?

"한 문장으로 표현하자면 우리가 더 잘하고 있습니다."라고 Larzul이 말했습니다. "또 다른 문장은 다음과 같습니다. 우리의 작품입니다."

Mipsology는 Vitis의 어떤 부분도 사용하지 않거나 어떤 식으로든 연결하지 않으며 Xilinx의 신경망 가속기 엔진인 XDNN도 사용하지 않습니다. Mipsology는 Larzul이 많은 데모를 지원하지만 사용자 지정 신경망에는 적합하지 않다고 말한 XDNN과 달리 Zebra 내에 자체 컴퓨팅 엔진을 가지고 있어 고객의 기존 CNN(컨볼루션 신경망) 모델을 지원합니다. 그는 이것이 XDNN으로 사용자 지정 네트워크를 시작하고 실행하는 것을 “고통”하게 만들었다고 말했습니다. XDNN은 GPU의 위협이 없는 애플리케이션에서 경쟁할 수 있지만 Zebra는 성능, 비용 및 사용 편의성을 기반으로 FPGA가 GPU와 정면 대결할 수 있도록 하기 위한 것입니다.

Zebra의 스택에 대한 자세한 내용입니다. 목표는 하드웨어를 최대한 숨겨서 AI 가속을 위해 GPU 또는 CPU에서 FPGA를 더 간단하게 전환하는 것입니다(이미지:Mipsology)

대부분의 고객이 GPU 솔루션에서 변경하려는 동기는 비용이라고 Larzul은 말했습니다.

"그들은 하드웨어 비용을 낮추고 싶지만 신경망을 다시 설계해야 하는 것은 원하지 않습니다."라고 그는 말했습니다. "GPU를 투명하게 교체할 수 있고 신경망을 재교육하거나 수정할 필요가 없기 때문에 [피할 수 있는] 비반복적인 비용이 있습니다."

또한 FPGA는 부분적으로 실리콘 공간에 덜 공격적이며 GPU를 포함한 다른 가속기 유형보다 종종 더 차갑게 실행되기 때문에 부분적으로는 안정성을 제공한다고 Larzul에 따르면, 이는 장기 유지 관리 비용이 중요한 데이터 센터에서 특히 중요합니다.

"총 소유 비용은 단순히 보드 가격이 아닙니다."라고 Larzul이 말했습니다. "시스템이 제대로 작동하는지 확인하는 데에도 대가가 있습니다."

Zebra는 또한 FPGA가 성능면에서 경쟁하도록 하는 것을 목표로 하고 있습니다. FPGA는 일반적으로 다른 가속기보다 더 적은 TOPS(초당 테라 연산)를 제공하지만 Zebra의 신중하게 설계된 컴퓨팅 엔진 덕분에 이러한 TOPS를 더 효율적으로 사용할 수 있다고 Larzul은 말했습니다.

"AI를 가속화하는 대부분의 ASIC 신생 기업이 잊어버린 것입니다. 그들은 더 많은 TOPS를 포장하기 위해 매우 큰 실리콘 부분을 수행하고 있지만 효율적으로 네트워크를 매핑하는 방법에 대해서는 생각하지 않았습니다. ," 그는 Zebra의 FPGA 기반 엔진이 6배의 TOPS를 갖춘 GPU보다 초당 더 많은 이미지를 처리할 수 있다고 언급했습니다.

이것은 어떻게 달성됩니까? Larzul은 정확한 세부 사항을 제공하지 않았지만, 정확도 감소가 너무 커서 재교육 없이는 수용할 수 없기 때문에 가지치기에 의존하지 않는다고 말했습니다. 같은 이유로 극단적인 양자화(8비트 미만)를 사용하지 않습니다.

Zebra의 엔진은 오늘날 이미지 및 비디오 처리 애플리케이션에서 주로 사용되는 CNN을 가속화하지만 Zebra는 유사한 수학적 개념을 사용하는 BERT(Google의 자연어 처리 모델)에도 적용할 수 있습니다. Zebra의 향후 반복은 LSTM(장기 단기 기억) 및 RNN(재귀 신경망)을 포함한 다른 유형의 신경망을 다룰 수 있지만 RNN은 수학적으로 더 다양하기 때문에 달성하기가 더 어렵습니다.

EVE의 팀

Mipsology는 2015년에 설립되었으며 프랑스에서는 약 30명이 R&D를 담당하고 있으며 캘리포니아에서는 주로 비즈니스 개발을 담당하는 소규모 팀으로 구성되어 있습니다. 이 회사는 총 700만 달러의 자금을 지원받았으며 이 중 200만 달러는 2019년 프랑스 정부 혁신 대회에서 상금을 받았습니다.

Mipsology의 핵심 팀은 2012년 Synopsys가 ZeBu(Zero Bug) 하드웨어 지원 검증 제품을 위해 인수한 ASIC 에뮬레이터 회사인 EVE에서 왔습니다. 당시 Cadence의 Palladium 검증 플랫폼의 경쟁업체였습니다. Larzul에 따르면 EVE 기술은 거의 모든 주요 ASIC 회사에서 설계 주기 동안 ASIC을 검증하는 데 사용되었습니다. 이 기술은 ASIC 동작을 재현하기 위해 함께 연결된 수천 개의 FPGA에 의존했습니다.

Mipsology는 12개의 특허를 출원 중이며 Xilinx와 긴밀하게 협력할 뿐만 아니라 Western Digital 소형 폼 팩터(SFF U.2) 카드 및 Vega-4001과 같은 Advantech 카드와 같은 타사 가속 카드와도 호환됩니다.

>> 이 기사는 원래 다음 날짜에 게시되었습니다. 자매 사이트인 EE Times.