멀티 칩 추론 아키텍처로 성능 최적화하기

지난 2년간 추론 칩 설계에서 혁신의 물결이 일었다. 새로운 솔루션이 거의 매주 등장하지만, 신뢰할 수 있는 벤치마크가 부족하여 많은 기업이 이들을 비교하는 데 어려움을 겪는다. 지금까지 벤더들은 모델, 배치 크기, 동작 조건을 상세히 설명하지 않고 TOPS나 TOPS/Watt만 광고해 왔으며, 널리 쓰이는 ResNet-50 벤치마크는 대부분의 실제 워크로드에는 너무 단순하다.

추론 칩의 성능을 측정할 때 진정으로 중요한 것은 높은 MAC 활용도, 낮은 전력 소비, 그리고 콤팩트한 실리콘 풋프린트다. 이러한 지표를 이해한 후 다음 논리적 단계는 단일 설계에 여러 칩을 배포할 때의 이점과 함정을 탐구하는 것이다.

여러 칩이 선형적 이득을 제공하는 이유

칩이 병렬성을 위해 설계되었다면, 2개, 4개 또는 그 이상의 유닛으로 확장이 이론적으로 처리량을 비례적으로 증가시킬 수 있다. 마치 1차선 고속도로를 다차선 도로로 확장하는 것과 같다. 핵심은 올바른 칩을 선택하고 신경망을 올바르게 분할하여 트래픽 병목 현상을 피하는 것이다.

신경망을 칩 간에 분할하기

신경망은 레이어로 구성된다. 각 레이어는 이전 레이어의 출력 활성화를 소비한다. ResNet-50(50 레이어) 또는 YOLOv3(100개 이상의 레이어) 같은 깊은 모델에서 초기 레이어는 가장 큰 활성화를 생성하며, 네트워크가 진행됨에 따라 점차 줄어든다.

모델을 여러 칩에 분할하려면 활성화 크기와 레이어당 곱셈-누적(MAC) 연산 수를 모두 검토해야 한다. 목표는 워크로드 균형: 각 칩이 비슷한 수의 MAC과 유사한 데이터 볼륨을 처리해야 한다. 한 칩이 대부분의 작업을 처리하고 다른 칩이 유휴 상태라면 전체 처리량은 더 느린 유닛에 의해 제한된다.

또한 모델의 분할 지점은 칩 간에 전송되어야 할 데이터를 결정한다. 활성화 크기가 최소인 분할 지점을 선택하면 칩 간 대역폭 요구사항과 레이턴시를 줄여 통신 링크가 성능 병목이 되는 것을 방지한다.

예시: 두 칩 vs 네 칩에서의 YOLOv3

Winograd 컨볼루션 알고리즘을 사용하는 2메가픽셀 이미지에서 실행되는 YOLOv3의 누적 MAC 연산과 활성화 출력 크기는 아래에 나와 있다. 2칩 구성은 일반적으로 50% MAC 지점 근처에서 워크로드를 분할하여 칩 간에 ~1-2MB 활성화를 전달한다. 4칩 설정에서는 분할 지점이 대략 25%, 50%, 75%에 위치하며, 가장 이른 분할은 종종 4-8MB 데이터 전송을 요구한다.

더 큰 이미지 보기

YOLOv3/Winograd/2M픽셀 이미지의 활성화 출력 크기(파란 막대)와 누적 MAC 연산(빨간 선), 여러 칩 간 워크로드 분포 예시 (이미지: Flex Logix)

성능 모델링 도구 활용

현대 성능 도구는 단일 칩 및 멀티 칩 구성을 모두 모델링할 수 있다. 레이어별 MAC 수, 활성화 크기, 데이터 전송 대역폭의 영향을 고려한다. 정확한 모델링은 필수적이다. 칩 간 대역폭이 부족하면 이론적 속업 효과가 상쇄될 수 있기 때문이다.

4칩 파이프라인의 경우, 활성화가 가장 큰 초기 레이어가 모든 유닛 간에 공유되어야 하므로 대역폭 요구사항이 증가한다. 더 높은 대역폭은 더 많은 칩을 지원하지만, 개별적으로 배포되더라도 모든 칩이 감당해야 할 오버헤드를 추가한다.

결론

여러 추론 칩을 배포하면 상당한 성능 향상을 얻을 수 있지만, 신경망이 지능적으로 분할되고 선택된 칩 아키텍처가 높은 MAC 활용도와 효율적인 데이터 이동을 지원할 때만 가능하다. TOPS나 ResNet-50 점수 같은 헤드라인 벤치마크보다 처리량을 우선시하고, 네트워크를 칩의 강점에 맞게 설계하라. 올바른 전략으로 단일 차선 추론 파이프라인을 고용량, 저지연 시스템으로 전환할 수 있다.

— 제프 테이트(Geoff Tate), Flex Logix CEO