엣지에서 AI 가속화:특수 프로세서와 메모리의 중요한 역할

AI는 더 이상 단순한 유행어가 아닙니다. 오늘날 컴퓨팅 플랫폼의 설계를 주도하는 세계적인 필수 요소입니다. GPU가 데이터 센터의 대규모 언어 모델 훈련을 지원하는 반면, AI의 개척지는 이제 IoT 센서, 보안 카메라, 자율 로봇과 같이 전력이 제한된 장치의 엣지에 있습니다.

수십억 개의 엔드포인트를 단순한 클라우드 에이전트에서 자율적인 온디바이스 추론 엔진으로 전환하려면 컴퓨팅과 메모리를 모두 최적화해야 합니다. 정말로 중요한 지표는 와트당 초당 테라 연산(TOPS/W)의 효율성입니다.

실시간 엣지 AI에 대한 과제

기초 모델이 수십억 개의 매개변수로 성장함에 따라 데이터 센터 인프라의 비용과 에너지 사용량이 급격히 증가합니다. 그러나 데이터 소스에서 지연 시간이 짧은 실시간 추론에 대한 수요는 여전히 그 어느 때보다 강력합니다. 따라서 Edge AI는 원시 컴퓨팅 밀도를 뛰어넘어 제한된 전력 예산과 엄격한 비용 목표라는 두 가지 제약 조건을 해결해야 합니다.

실제로 이는 원시 처리량(TOPS)과 메모리 대역폭 및 대기 시간의 균형을 맞추는 것을 의미합니다. GPU와 같은 최신 가속기는 전례 없는 컴퓨팅 성능을 제공하지만 데이터가 메모리에 들어오고 나가는 속도에 따라 성능이 제한됩니다. 메모리 병목 현상이 가속기에 영향을 미치므로 더 높은 컴퓨팅 용량의 이점이 무효화됩니다.

메모리 대역폭 제약은 임베디드 엣지 AI에서 가장 중요한 성능 제한 요인이 되었습니다. 모델이 더욱 복잡해짐에도 불구하고 느린 메모리 경로로 인해 실시간 추론이 불가능해질 수 있습니다.

추론은 원시 센서 데이터로 시작하여 사전 처리를 거쳐 양자화된 신경망에 데이터를 제공하고 실행 가능한 결과를 제공하는 사후 처리로 끝나는 파이프라인입니다. 이 체인의 링크 중 하나라도 약하면(낮은 대역폭 메모리 버스이든 느린 전처리 루틴이든) 전체 시스템에 문제가 발생합니다.

또한 SoC(시스템 온 칩) 설계에 신경 처리 장치(NPU) 또는 가속기 코어를 추가하면 BOM(Bill-of-Material)이 증가하고 유연성이 감소할 수 있습니다. 해결책은 높은 TOPS/W와 컴팩트한 저전력 메모리 인터페이스를 결합한 특수 목적의 ASIC 가속기에 있습니다.

전용 ASIC은 다양한 이점을 제공합니다. 신경망의 산술 패턴에 최적화되어 있고 다양한 모델에 맞게 조정될 수 있으며 자율 농기계, 감시 카메라, 창고 로봇 등 엣지 배포에 최고의 에너지 효율성을 제공합니다.

컴퓨팅과 메모리의 시너지 효과

엣지 플랫폼과 원활하게 통합되는 보조 프로세서는 전력 소비와 비용을 낮게 유지하면서 실시간 딥 러닝 추론을 실현합니다. 비전 변환기부터 대규모 언어 모델까지 다양한 워크로드를 지원합니다.

이러한 시너지 효과를 보여주는 대표적인 사례는 Hailo 간의 파트너십입니다. 의 엣지 AI 가속기와 Micron 의 저전력 DDR(LPDDR) 메모리. 이들은 함께 엄격한 에너지 및 예산 범위 내에서 유지하는 데 필요한 균형 잡힌 컴퓨팅 메모리 조합을 제공합니다.

Micron의 LPDDR 기술은 전력 효율성을 저하시키지 않으면서 고속, 고대역폭 데이터 전송을 제공합니다. 스마트폰, 노트북, 자동차 전자 장치 및 산업용 제어 장치에 사용되는 LPDDR은 빠른 I/O와 낮은 대기 시간을 요구하는 AI 워크로드에 이상적입니다.

LPDDR4/4X는 최대 x64 버스 폭으로 핀당 최대 4.2Gb/s를 지원합니다. Micron의 LPDDR5/5X는 이를 핀당 9.6Gb/s로 향상하고 LPDDR4X보다 20% 향상된 전력 효율성을 제공하여 가장 까다로운 엣지 AI 모델에 필요한 대역폭을 제공합니다.

AI 실리콘 분야의 선두주자인 Hailo는 이 메모리 파트너십을 활용하여 Hailo‑10H와 같은 프로세서를 제공합니다. , 이는 최대 40TOPS를 달성합니다. 데이터 흐름 아키텍처는 신경망의 통계적 속성과 일치하므로 에지 장치에서 비용을 낮게 유지하면서 복잡한 모델을 전체 규모로 실행할 수 있습니다.

솔루션 적용

Hailo‑15 VPU SoC는 스마트 카메라 및 비전 집약적 애플리케이션에 맞게 제작되었습니다. Hailo의 추론 엔진과 고급 컴퓨터 비전 파이프라인을 결합하여 전력 효율적인 단일 패키지로 프리미엄 이미지 품질과 정교한 비디오 분석을 제공합니다.

자동차, 산업 및 기업 환경에서 엄격한 테스트를 거친 Micron의 LPDDR4X는 Hailo‑15 VPU와 완벽하게 결합됩니다. 그 결과 극한의 온도 범위에서도 높은 대역폭, 짧은 대기 시간, 탁월한 전력 효율성을 제공하는 솔루션이 탄생했습니다.

우승조합

생태계가 발전함에 따라 개발자는 수백만, 심지어 수십억 개의 장치를 완전 자율형 엣지 AI 플랫폼으로 재구성해야 합니다. 성공은 신경 워크로드를 가속화하기 위해 처음부터 구축된 프로세서와 데이터의 원활한 이동을 유지하는 저전력, 고성능 메모리에 달려 있습니다.

프로세서와 메모리가 함께 최적화되면 엣지 AI는 자율 농업 장비부터 실시간 비디오 감시 및 로봇공학에 이르기까지 새로운 애플리케이션으로 확장될 수 있습니다.

후원 기사

X:@IoTNow_를 통해 이 기사에 댓글을 달고 IoT Now 홈페이지를 방문하세요.