자기 신경모방 컴퓨팅, AI 효율성을 인간 수준으로 끌어올리다

자석의 확률적 특성, 뇌의 뉴런 동작과 닮아

뉴런의 전기적 역학은 나노 자석의 스위칭 역학과 매우 유사합니다. 자기 터널 접합 소자의 스위칭 행동은 확률적(stochastic)인 특성을 띠는데, 이는 뉴런의 시그모이드(sigmoid) 스위칭 행동을 나타내므로 시냅스 가중치를 저장하는 데 활용할 수 있습니다.

퍼듀대 연구팀, 자기장과 뇌형 네트워크 결합

퍼듀대학교 연구진은 자석의 이러한 독특한 특성을 이용해 인공지능(AI) 기반 로봇이 물체를 인식하는 데 인간 수준의 효율을 달성할 수 있는 방법을 개발했습니다. 이 방법은 자기장과 뇌형 네트워크를 결합해 드론, 자율주행차, 로봇 같은 기계가 여러 물체에 대해 더 잘 일반화할 수 있도록 가르칩니다.

새로운 알고리즘: ReStoCNet

스파이킹 신경망(SNN)은 기존 신경망보다 적은 계산 자원으로 지능형 신경모방 시스템을 구현할 수 있는 유망한 대안입니다. 이 네트워크는 데이터를 희소한 스파이크 사건 형태로 인코딩하고 전송합니다.

이 연구에서 연구진은 스파이크 타이밍 의존적 가소성(STDP)을 이용해 '확률적-STDP(Stochastic-STDP)'라는 새로운 확률적 학습 알고리즘을 개발했습니다. 이는 바이너리 커널로 구성된 깊은 잔차 컨볼루션 SNN인 'ReStoCNet'으로, 메모리 효율적인 신경모방 컴퓨팅을 가능하게 합니다.

참고: Frontiers | doi:10.3389/fnins.2019.00189 | 퍼듀대학교

연구진은 자석의 고유한 확률적 행동을 이용해 새로운 알고리즘에 기반해 자화 위상을 확률적으로 전환했습니다. 그런 다음 추론 단계에서는 나노 자석의 자화 위상에 결정적으로 인코딩된 훈련된 시냅스 가중치를 사용했습니다.

STDP 기반 확률적 학습 규칙은 헤비안(Hebbian)과 안티-헤비안(anti-Hebbian) 학습 접근법을 통합해, ReStoCNet을 구성하는 바이너리 커널을 계층적 입력 특징 추출을 위해 레이어별 비지도 방식으로 훈련합니다.

출처: 퍼듀대학교

연구팀은 높은 에너지 장벽을 가진 자석을 사용해 콤팩트한 확률적 기본 요소를 구현하고, 동일한 소자를 안정적인 메모리 요소로도 사용할 수 있게 했습니다.

두 가지 공개 데이터셋에서 ReStoCNet의 효율성을 검증한 결과, 잔차 연결이 깊은 컨볼루션 레이어가 가치 있는 고수준 입력 특징을 학습하고 잔차 연결이 없는 SNN에서 발생하는 손실을 최소화함을 보였습니다.

어떤 점에서 유용한가?

이 새로운 네트워크는 뉴런과 시냅스를 모두 표현하면서 뇌 계산과 유사한 작업을 수행하는 데 필요한 에너지와 메모리 양을 줄일 수 있습니다.

이러한 뇌형 네트워크는 그래프 색칠 문제, 외판원 문제(traveling salesman problem) 같은 어려운 최적화 문제를 해결할 수 있습니다. 이 연구에서 제시된 확률적 소자는 '자연스러운 어닐러(natural annealer)' 역할을 해 알고리즘이 국소 최솟값에서 빠져나오도록 돕습니다.

더 구체적으로, 메모리 효율적인 확률적 학습과 이벤트 구동 컴퓨팅을 갖춘 ReStoCNet은 CMOS 및 확률적 신소자 기술(상변이 메모리, 저항성 램 등) 기반 신경모방 하드웨어 구현에 적합하며, 배터리 구동 기기의 메모리 효율을 높여줍니다.