에지 AI를 구동하는 메모리 기술: 도전과 기회

에지 AI는 메모리에 대한 사고방식을 재정립하고 있다. AI 워크로드가 클라우드에서 사용자 가까운 디바이스로 이동함에 따라, 메모리 시스템은 대용량, 고대역폭, 저지연, 에너지 효율을 제공하면서 비용 효율성과 신뢰성을 유지해야 한다.

단일 '에지 AI' 사양은 없다. 이 용어는 중앙 클라우드 외부의 AI 지원 전자제품을 광범위하게 아우른다. 엔터프라이즈 데이터센터부터 자율주행차, 스마트시티 인프라, IoT 엔드포인트까지 포함한다.

대표적 에지 시나리오는 자율주행차용 컴퓨터 비전, 제조 게이트웨이에서의 AI 추론으로 제품 결함 감지, 전신주 상 5G 에지 박스로 교통 모니터링, 스냅챗 필터나 음성 비서를 적용하는 모바일 폰 등이다.

메모리의 역할은 이들 애플리케이션 전반에서 동일하다: 뉴럴 네트워크 가중치, 모델 코드, 입력 데이터, 중간 활성화 저장. 과제는 각 배포의 고유 제약을 충족하면서 용량, 대역폭, 전력, 비용의 균형을 맞추는 데 있다.

에지 데이터센터

에지 데이터센터는 의료 영상, 고빈도 금융, 자율주행차 제어 등 지연에 민감한 도메인을 지원한다. 이 사이트는 기존 서버와 동일한 메모리 제품군(고성능 DRAM, 대용량 RDIMM, NVDIMM 같은 비휘발성 옵션)을 사용한다.

"AI 모델 훈련과 개발에는 저지연 DRAM이 필수적입니다."라고 스마트 모듈러 테크놀로지스 솔루션 아키텍트 페콥 구프타(Pekon Gupta)는 말했다. "대용량 데이터셋은 고용량 RDIMM이나 LRDIMM을 요구하며, NVDIMM은 캐싱과 체크포인팅 같은 쓰기 집약적 워크로드를 가속화합니다."

통신사들도 유사한 경로를 따라 에지 서버에 메모리와 컴퓨트를 추가하고 있다. 구프타는 인텔 옵테인(Intel Optane), 즉 DRAM과 플래시 사이를 잇는 3D 크로스포인트(XPoint) 비휘발성 메모리를 AI 워크로드에 지속적 고용량 메모리가 유리한 경우 매력적 선택지로 꼽았다.

"옵테인 DIMM과 NVDIMM은 서로 다른 목적을 가집니다: 옵테인은 인메모리 데이터베이스와 대용량 지속적 AI 데이터셋에 뛰어나며, NVDIMM은 저지연 티어링과 캐싱을 제공합니다."라고 구프타는 설명했다.

인텔의 크리스티 만(Kristie Mann)은 옵테인이 이미 이커머스 추천 엔진, 비디오 개인화, 실시간 금융 분석을 구동한다고 보고했다. 듀얼 인텔 제온 스케일러블 프로세서와 옵테인 지속 메모리 장착 서버는 최대 6TB 사용 가능 메모리를 호스팅해 올-DRAM 구성의 비용 효율적 대안이 된다.

GPU 가속

고성능 에지 데이터센터에서는 GPU가 AI 컴퓨트를 주도한다. 메모리 선택지로는 고대역폭 GPU용으로 설계된 GDDR과 다중 메모리 다이를 GPU 패키지에 직접 적층한 다이 스택 솔루션 HBM(고대역폭 메모리)이 있다.

HBM2E는 레인당 최대 3.6Gbps를 제공해 스택당 460GB/s 대역폭을 달성하며, 두 스택으로 거의 1TB/s에 접근한다. 이 성능과 낮은 전력 소모로 HBM은 엔비디아 데이터센터 GPU의 메모리 선택지가 됐다.

반면 GDDR6는 레인당 18Gbps, 72GB/s 대역폭을 제공한다. 4개 GDDR6 칩으로 거의 300GB/s를 달성해 에지 추론 워크로드의 최적 지점이 된다. 램버스 IP 코어 제품 마케팅 수석 디렉터 프랭크 페로(Frank Ferro)는 LPDDR이 엔드포인트 추론에 비용 효율적이지만 최신 AI 모델의 대역폭 요구를 충족할 수 없어 설계자들이 GDDR6로 이동한다고 지적했다.

아크로닉스 스피드스터7t(Achronix Speedster7t) FPGA 같은 다른 가속기도 GDDR 대역폭을 활용해 HBM과 GDDR 모두 에지 AI에서 역할을 맡음을 입증한다.

파 에지(Far Edge)

가장 먼 에지(모바일 폰, 웨어러블, 센서 노드)에서는 AI가 주로 추론이다. 신티언트(Syntiant)의 음성 제어 칩과 기르팔콘(Gyrfalcon)의 카메라 이펙트 가속기는 아날로그 컴퓨트 기법을 사용해 메모리 셀에 직접 행렬 곱셈을 임베딩한다.

미식(Mythic)의 플래그십 IP는 플래시 메모리 트랜지스터를 가변 저항으로 활용해 8비트 곱셈-누적 연산을 수행, 놀라운 밀도와 에너지 효율을 달성한다. 노이즈 캔슬레이션 캘리브레이션으로 아날로그 변동성에도 신뢰성 있는 8비트 추론을 구현한다.

초저전력 추론용 맞춤 ASIC은 분산 SRAM, 벌크 SRAM, 오프칩 DRAM을 결합한다. 플렉스 로직스(Flex Logix)의 제프 테이트(Geoff Tate)는 인퍼X X1(InferX X1)이 단일 x32 LPDDR4 DRAM과 10MB SRAM으로 933MHz에서 7.5 TOPS를 달성해 속도, 면적, 비용의 균형을 맞춘다고 설명했다.

메모리 경제성이 진화함에 따라 LPDDR은 대역폭, 단순성, 최소 실리콘 풋프린트 덕분에 에지 추론의 지배적 선택지로 남을 전망이다.

신흥 메모리

확립된 기술 외에도 여러 비휘발성 메모리가 AI에 새로운 역량을 제공한다.

MRAM(자기저항 RAM)은 자석 방향 비트 저장으로 저전압 동작과 제어된 스토캐스틱 행동을 가능하게 한다. 이 랜덤성은 비나리화 뉴럴 네트워크(BNN)에 활용될 수 있으며, 높은 비트 에러율을 견디면서 정확도를 유지한다. 스핀 메모리(Spin Memory)의 앤디 워커(Andy Walker)는 MRAM이 극한 정밀도를 요구하지 않는 에지 AI 작업에서 성능을 유지하며 전력 소모를 대폭 줄일 수 있다고 언급했다.

MRAM의 비휘발성은 임베디드 플래시와 SRAM을 모두 대체하는 통합 메모리 아키텍처의 문을 열어 다이 면적과 정적 전력을 절감한다.

뉴로모픽 ReRAM

저항 RAM(ReRAM)은 시냅스 가소성을 도입해 제자리 학습이 가능한 뉴로모픽 시스템을 구현한다. 폴리테크니코 밀라노(Politecnico Milano)와 위빗 나노(Weebit Nano)의 협업은 비지도 학습을 위한 ReRAM 잠재력을 입증했으며, 에지 디바이스가 처음부터 재훈련 없이 변화하는 환경에 적응할 수 있게 한다.

요약하자면, 메모리 기술은 에지 AI 수요를 충족하기 위해 급속히 진화하고 있다. GDDR, HBM, 옵테인 같은 기존 메모리가 데이터센터 에지를 지배하는 반면, LPDDR과 온칩 SRAM이 파 에지에서 주도권을 쥐고 있다. MRAM과 ReRAM 같은 신흥 비휘발성 메모리는 전례 없는 에너지 효율과 적응 능력을 제공하며 차세대 AI 지원 디바이스를 형성할 태세다.

— 본 기사는 자매 사이트인 EE Times에 원문 게재되었습니다.