Quadric, 하이브리드 데이터플로·폰노이만 칩으로 AI와 비전 워크로드 가속화

새로운 하이브리드 데이터플로와 폰노이만 아키텍처가 신경망, 머신러닝, 컴퓨터 비전, DSP, 기본 선형대수 서브프로그램을 포함한 워크로드를 가속화할 수 있습니다.

실리콘밸리 스타트업 Quadric은 로봇, 공장 자동화, 의료 영상 같은 에지 디바이스에서 AI 추론과 전통적인 컴퓨터 비전 알고리즘을 모두 가속화하는 가속기를 개발했습니다. 이 하드웨어의 독특한 하이브리드 설계는 데이터플로와 폰노이만 원리를 통합하여 신경망, 머신러닝, DSP, 선형대수 루틴의 효율적인 실행을 가능하게 합니다.

"처음부터 우리는 에지 디바이스가 AI 이상의 것을 필요로 한다는 것을 인식했습니다."라고 CEO Veerbhan Kheterpal이 EE Times에 말했습니다. "개발자들은 클래식한 고성능 컴퓨팅 알고리즘과 AI를 함께 실행할 수 있는 단일 시스템이 필요합니다."

Kheterpal은 이 아키텍처가 개별 가속기의 모음이 아니라, AI 추론을 포함한 다양한 워크로드를 가속화할 수 있는 단일 데이터 병렬 명령어 세트임을 강조했습니다.

"최근 연구에서 전체 레이어를 빠른 푸리에 변환(FFT)으로 대체하면 트랜스포머를 크게 가속화할 수 있음이 밝혀졌습니다."라고 최고제품책임자 Daniel Firu가 말했습니다. Quadric은 이러한 워크로드 가속화에 대비하고 있으며, 트랜스포머 인코더의 셀프 어텐션 서브레이어를 FFT로 교체하여 BERT 벤치마크에서 92% 정확도를 달성하고 GPU에서 최대 7배, TPU에서 2배 빠르게 학습했다는 Google 논문을 인용했습니다.

Quadric의 개발자 키트, Q16 프로세서와 4GB 외부 메모리를 탑재한 M.2 카드 (출처: Quadric)

포도밭 로봇에서 시작된 여정

창업자들(Veerbhan Kheterpal, Daniel Firu, Nigel Drego)은 이전에 Coinbase에 인수된 비트코인 채굴 회사 21을 설립했습니다. Quadric의 초기 초점은 나파 밸리 포도밭을 누비며 관개 누수와 해충을 감지하는 농업용 로봇이었습니다. 그러나 드론 기반 솔루션의 높은 비용이 팀을 커스텀 가속기 탐색으로 이끌었습니다.

Veerbhan Kheterpal (출처: Quadric)

"드론 기반 시스템은 5~10만 달러지만, 트랙터 기반 플랫폼은 대형 GPU와 수많은 카메라로 5천만 달러를 넘을 수 있습니다. 이 통찰이 우리에게 필요한 가속기 칩을 설계하게 만들었습니다."라고 Kheterpal은 설명했습니다.

2017년 시드 라운드와 자동차 티어원 Denso가 주도한 1,300만 달러 시리즈 A에 힘입어 Quadric은 지금까지 1,800만 달러를 조달했습니다.

튜링 완전한 설계

Quadric의 명령어 주도 아키텍처는 데이터플로와 폰노이만 개념을 혼합하여 이기종 에지 시스템을 단일 유연한 솔루션으로 대체합니다. 튜링 완전한 Vortex 코어는 프로그래머빌리티를 유지하면서 가속화를 제공합니다. 확장 가능한 어레이와 7nm 또는 5nm 공정 호환성으로 수백 mW에서 20W까지의 전력 예산을 가진 에지 디바이스에 적합합니다.

Q16 칩은 16×16 어레이의 Vortex 코어를 호스팅합니다. 각 코어는 행렬 곱셈과 AI 연산을 수행할 수 있으며, 로직, 리덕션, 시프트 등을 위한 다기능 ALU를 포함합니다. 소프트웨어는 LSTM 활성화 함수부터 if-then-else 문을 사용한 어레이 전체의 커스텀 제어 흐름까지 넓은 알고리즘 스펙트럼을 노출하여 세밀한 희소성을 활용합니다.

모든 코어는 이웃에 단일 사이클 접근이 가능하고 4Kb 인코어 메모리를 가지며, 온칩 메모리는 낮은 레이턴시의 결정론적 데이터 접근을 제공합니다.

코어들은 '단일 명령어, 다중 디코드' 모드로 실행됩니다: 매 사이클 같은 명령어가 브로드캐스트되지만, 동적 런타임 데이터로 개별 코어가 다르게 해석하여 동질적 어레이 내에서 이기종 기능을 가능하게 합니다.

전용 브로드캐스트 버스는 신경망 가중치 같은 상수를 모든 코어로 동시에 효율적으로 스트리밍합니다. 정적, 소프트웨어 제어 로드-스토어 유닛은 결정론적 커널 런타임을 가능하게 하며, 동시 듀얼 에지 로드와 트리플 에지 스토어로 실행 시간을 단축합니다.

Daniel Firu (출처: Quadric)

"한쪽에서 로드하고 다른 쪽에서 스토어하면 하드웨어 레벨에서 데이터 리매핑과 이미지 회전을 수행할 수 있습니다."라고 Firu는 말했습니다.

캐시가 아닌 온칩 정적 메모리가 대용량 데이터 구조를 위한 충분한 공간을 제공합니다. Q16의 8GB 메모리는 여러 HD 프레임 버퍼나 전체 신경망 가중치 세트를 보유할 수 있습니다.

소프트웨어 스택

Quadric은 실리콘 이전에 소프트웨어 스택을 구축하여 개발자가 시뮬레이터나 FPGA에서 프로토타이핑할 수 있게 했습니다. 이 스택은 LLVM 기반 컴파일러와 C++ API를 통해 아키텍처를 추상화합니다. 소스 모드(Source Mode)는 C++ 제어로 아키텍처 기능에 대한 데이터 병렬 알고리즘을 지원하며, AI 모델이 더 복잡해짐에 따라 커스텀 연산을 표현할 수 있습니다.

Quadric의 소프트웨어 스택 (출처: Quadric)

향후 제공될 그래프 모드(Graph Mode)는 TensorFlow나 ONNX 모델을 위한 노코드 인터페이스를 제공하며, TVM 기반 DNN 컴파일러가 코드를 자동 생성합니다.

"대부분의 플랫폼은 자체 AI 컴파일러로 제한하지만, 우리는 어떤 연산이든 실행할 수 있는 완전한 튜링 완전한 코어를 제공합니다."라고 Kheterpal은 설명했습니다. "이 유연성 덕분에 개발자는 제한 없이 커스텀 알고리즘이나 지원되지 않는 연산자를 배포할 수 있습니다."

칩 로드맵

Q16은 16nm 실리콘에서 제작된 16×16 어레이의 256개 Vortex 코어를 제공하며, 4 INT8 DNN TOPS를 달성합니다. 224×224 이미지에서 ResNet-50을 초당 200회 추론하며 평균 2W를 소모합니다.

Quadric의 로드맵에는 2세대 아키텍처와 Q32 칩(1,000개 코어 어레이)이 포함되며, 7nm 제조를 목표로 합니다. Q32는 호스트 프로세서 역할을 위해 ARM 또는 RISC-V 코어도 통합할 수 있습니다.

Q16 프로세서와 4GB 외부 메모리를 탑재한 M.2 개발자 키트가 현재 이용 가능합니다.

>> 이 기사는 자매 사이트인 EE Times에 원래 게재되었습니다.

관련 콘텐츠:

• 하드웨어 가속기, AI 애플리케이션 지원
• DSP가 하드웨어 가속기를 이길 때
• 적절한 RISC-V 커스텀 명령어로 애플리케이션 가속화 가이드
• 최적화된 메모리 서브시스템 설계로 추론 칩 성능 구축
• 새로운 AI 가속 모듈로 에지 성능 향상
• 에지 AI, 메모리 기술에 도전

더 많은 Embedded 콘텐츠를 위해 Embedded 주간 이메일 뉴스레터를 구독하세요.