아날로그 인메모리 컴퓨팅: 전력 효율적인 에지 AI 추론

머신러닝과 딥러닝은 이제 일상 기술에 깊이 스며들었습니다. 자연어 비서부터 실시간 객체 감지까지 AI는 점점 더 많은 소비자 및 산업 디바이스를 구동합니다. 하지만 이러한 애플리케이션 대부분은 클라우드 기반 추론 엔진에 의존합니다. 이는 프라이버시, 전력 소비, 지연시간, 비용에 대한 우려를 제기합니다.

AI를 에지에서 로컬로 배포하면 이러한 문제를 해결할 수 있습니다. 주요 걸림돌은 기존 디지털 신경망 가속기의 메모리 주도 전력 소모입니다. 가중치와 활성화가 DRAM이나 SRAM에서 페치될 때 데이터 이동만으로 산술 연산보다 2-3배 더 많은 에너지를 소비합니다. 아날로그 인메모리 컴퓨팅은 비휘발성 메모리 어레이 내부에서 곱셈-누산(MAC) 연산을 직접 수행하여 이 병목현상을 해결합니다.

클라우드 기반 AI: 고통 포인트

에지 디바이스가 원시 데이터를 원격 서버로 전달할 때 여러 문제가 발생합니다:

1. 프라이버시 및 보안 – 개인 또는 기밀 정보가 데이터 센터로 전송되고 저장됩니다.
2. 불필요한 전력 사용 – 무선으로 전송되고 클라우드에 저장되며 재검색되는 모든 비트가 에너지를 소모합니다.
3. 소량 배치 추론의 지연시간 – 응답에 100ms 이상 소요되어 사용자가 지각할 수 있습니다.
4. 데이터 경제 비효율성 – 센서가 거대한 스트림을 생성합니다. 모든 것을 업로드하는 것은 경제적이지도 지속 가능하지도 않습니다.

이러한 과제를 극복하기 위해 훈련된 모델은 먼저 고성능 플랫폼(클라우드, GPU 팜 등)에서 구축됩니다. 결과 가중치는 로컬에서 연산을 수행하는 경량 추론 엔진에 매핑됩니다.

신경망의 MAC-집약적 특성

경량 모델조차 MAC이 지배적입니다. 예를 들어 224×224 입력을 가진 MobileNet-v1은 420만 파라미터를 가지며 추론당 5억 6,900만 MAC을 요구합니다. 곱셈과 누산은 밀집 행렬-벡터 곱에서 수행됩니다.

디지털 컴퓨팅이 고전하는 이유

기존 가속기에서 가중치와 활성화는 DRAM/SRAM에 저장되며 산술 논리 유닛(ALU)으로 페치되어야 합니다. 그림 3은 메모리 병목을 보여줍니다: 데이터 이동 에너지(전송당 50-100pJ)가 MAC 연산당 250fJ를 압도합니다. 적극적인 데이터 재사용 기법에도 폰 노이만 아키텍처는 전력 효율에 하드 한계를 부과합니다.

그림 3: 머신러닝 연산의 메모리 병목. (출처: Y.-H. Chen, J. Emer, V. Sze, "Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks," ISCA, 2016.)

아날로그 인메모리 컴퓨팅의 구원

연산을 메모리 어레이 자체에 임베드함으로써 가중치를 셔틀링할 필요가 사라집니다. 남은 데이터 전송은 일반적으로 센서 출력인 입력 신호로 제한됩니다. 서브스레숄드 영역에서 동작하는 플래시 셀은 서브-나노암페어 전류를 소비하여 능동 전력을 무시할 수 있게 합니다. 대기 시 비휘발성 셀이 전력 소모 없이 데이터를 유지합니다.

Silicon Storage Technology(Microchip 자회사)의 memBrain™ 플랫폼이 이 접근법을 구현합니다. SuperFlash®(ESF3) 메모리 기술 기반으로 각 비트셀은 정확한 임계 전압(Vt)으로 프로그래밍되어 가중치를 나타내는 컨덕턴스를 설정합니다. 입력 전압이 인가되면 셀을 통한 전류가 입력과 저장된 가중치의 곱과 같습니다.

멀티레벨 메모리 아키텍처

그림 4는 ESF3 비트셀의 단면을 보여줍니다. 셀은 5개 단자(Control Gate, Word Line, Erase Gate, Source Line, Bitline)를 포함합니다. 고전압 EG가 플로팅 게이트를 프로그래밍하고, 다른 단자의 저전압 바이어싱으로 셀을 읽거나 씁니다.

그림 4: SuperFlash ESF3 셀. (출처: Microchip Technology)

미세한 프로그래밍으로 플로팅 게이트 Vt를 조정하여 특정 I-V 곡선을 생성합니다. 그림 5는 고정된 CG 전압 인가 시 4개의 뚜렷한 Vt 레벨이 4개의 별도 전류 응답을 산출하는 2비트 예제를 보여줍니다.

그림 5: ESF3 셀의 Vt 레벨 프로그래밍. (출처: Microchip Technology)

메모리 어레이에서의 MAC

각 셀의 컨덕턴스 gm은 훈련된 가중치를 구현합니다. 전류 Iout = gm · Vin이 곱셈 단계를 구현합니다. 많은 셀을 병렬로 배선하면 컬럼 전류가 자연스럽게 합산되어 누산 연산을 생성합니다. 그림 6은 2×2 어레이가 두 MAC과 한 누산을 수행하는 것을 시각화합니다.

그림 6: ESF3 어레이로 곱셈-누산 연산 (2×2). (출처: Microchip Technology)

더 큰 규모에서 가중치 행렬을 단일 메모리 어레이에 매핑할 수 있습니다. 그림 7은 완전 연결 레이어의 행렬 레이아웃을 보여줍니다.

그림 7: 추론용 가중치 행렬 메모리 어레이. (출처: Microchip Technology)

추론 흐름은 간단합니다: 센서 데이터가 디지털화되고, DAC로 아날로그 전압으로 변환되어 어레이에 공급되고, 결과 컬럼 전류가 ADC로 디지털화되어 후속 활성화와 풀링 단계로 전달됩니다.

모듈성과 확장성

memBrain 타일은 스택되도록 설계되었습니다. 그림 8은 여러 타일이 공통 아날로그-디지털 상호연결을 공유하는 3×4 구성을 보여줍니다. 데이터는 공유 버스를 통해 타일 간 이동하여 단일 모놀리식 다이 없이 깊은 네트워크 구축을 가능하게 합니다.

그림 8: memBrain™은 모듈식입니다. (출처: Microchip Technology)

소프트웨어 개발 키트(SDK)

동반 SDK는 프레임워크 불가지론적입니다. TensorFlow, PyTorch, 다른 라이브러리에서 훈련하든 SDK는 모델 양자화, 매핑, memBrain 하드웨어 배포를 처리합니다. 그림 9는 훈련부터 추론까지 워크플로를 개괄합니다.

그림 9: memBrain™ SDK 흐름. (출처: Microchip Technology)

핵심 장점

1. 초저전력 – 인메모리 연산으로 데이터 이동 제거, 플래시 셀 서브스레숄드 동작, 대기 전력 불필요. 아키텍처는 희소성도 활용: 제로 가중치나 입력이 셀을 유휴 상태로 둠.
2. 콤팩트한 풋프린트 – 1.5-트랜지스터 분할 게이트 셀이 4비트 값을 저장하는 반면, 6-트랜지스터 SRAM은 같은 데이터에 24 트랜지스터 필요. 결과적으로 다이 면적이 극적으로 작아짐.
3. 개발 비용 절감 – 성숙한 플래시 공정 활용과 초고밀도 지오메트리 불필요로, 에지 AI용 ASIC 대비 마스크 세트 비용과 리드타임 대폭 감소.

에지 AI는 변혁적 애플리케이션을 약속하지만 전력과 비용이 여전히 제한 요소입니다. 검증된 멀티레벨 플래시 기술로 뒷받침되는 아날로그 인메모리 컴퓨팅은 지능형 추론을 센서 바로 옆으로 가져올 실용적이고 저비용의 경로를 제공합니다.