AI 선구자 경고: "현재 AI 하드웨어 초점은 잘못된 방향"

Facebook의 수석 AI 과학자인 Yann LeCun이 NeurIPS 기조연설에서 이국적인 하드웨어에 집중하는 것이 실수라고 경고했습니다. 그는 신경망용 특수 칩의 진화를 조사하고, Facebook의 현재 작업을 공유하며, 딥러닝 하드웨어에 대한 예측을 제시했습니다.

오랜 역사

1980년대부터 AI의 선구적 인물인 LeCun은 Bell Labs 시절 전용 신경망 프로세서를 개발한 최초의 과학자 중 한 명이었습니다. 행렬 곱셈을 수행하기 위해 저항 어레이로 구축된 تلك 초기 장치들은 이후 발전의 기초가 되었습니다.

신경망이 1990년대 후반과 2000년대 초반에 인기를 잃으면서, LeCun은 이 분야를 살아있게 유지한 소수 과학자 중 한 명이었습니다. 기조연설에서 그는 그 시대의 하드웨어 교훈을 반영했습니다.

Facebook 수석 AI 과학자 Yann LeCun

첫째, 도구가 중요합니다. 90년대에는 LeCun을 포함한 소수의 연구자들만 신경망을 훈련시킬 수 있는 소프트웨어를 가졌습니다. 팀은 수년을 들여 오늘날 딥러닝 프레임워크라 불리는 것, 즉 고수준 코드를 효율적인 훈련 루틴으로 변환하는 유연한 계층을 구축했습니다. 이 돌파구는 모델이 자동 미분 가능한 모듈로부터 조립되는 TensorFlow와 PyTorch 같은 현대 프레임워크의 기초를 마련했습니다.

올바른 도구는 LeCun 팀에게 '슈퍼파워'를 주었고 재현 가능한 연구를 가능하게 했습니다. 그는 확실한 결과는 재현 가능해야 한다고 강조했습니다. 그렇지 않으면 커뮤니티는 회의적으로 남습니다.

하드웨어 성능도 마찬가지로 중요합니다. LeCun은 연구 하드웨어의 역량이 연구 의제를 형성한다고 지적했습니다. "종종 아이디어가 포기되는 이유는 사용 가능한 하드웨어가 부족하기 때문입니다."라고 그는 말했습니다. "연구 야망과 하드웨어 현실 사이의 불일치는 유망한 방향을 탈선시킬 수 있습니다."

LeCun은 기존 컴퓨팅 생태계와 통합되지 못하는 이국적인 제조 방법을 쫓는 것을 경고했습니다.

그는 또한 오늘날 가속기들의 핵심 불일치를 강조했습니다: 대부분은 현대 이미지 및 음성 처리 네트워크의 핵심 연산인 컨볼루션이 아닌 행렬 곱셈에 최적화되어 있습니다. "주류 접근법은 전력 수요가 증가함에 따라 점점 더 잘못 정렬될 것입니다."라고 그는 경고했습니다. "사이클의 95%가 컨볼루션에 소비된다면, 하드웨어는 근본적으로 부적합합니다."

킬러 앱

앞을 내다보며, LeCun은 컨볼루션 신경망이 장난감부터 진공청소기, 의료 장비까지 일상 기기에 스며들 것을 봅니다. 그러나 소비자 기기에서 AI의 가치를 열어줄 단일 '킬러 앱'은 증강현실 헤드셋입니다.

Facebook은 AR 안경용 하드웨어를 적극적으로 개발 중입니다. 과제는 저지연, 배터리 구동 연산을 제공하는 데 있습니다. "사용자가 움직일 때, 가상 객체는 헤드셋이 아닌 세상에 고정되어야 합니다."라고 LeCun은 설명하며 실시간 추적의 필요성을 강조했습니다.

Facebook은 음성 명령과 제스처 기반 핸드 트래킹에 반응하는 AR 안경을 구상합니다. 이러한 역량은 오늘날 존재하지만 전력, 성능, 폼팩터 면에서 부족합니다. LeCun은 격차를 좁히기 위한 몇 가지 실용적인 트릭을 개괄했습니다.

예를 들어, 같은 신경망이 비디오의 모든 프레임(물체 탐지 등)을 처리할 때, 프레임 간 시간적 일관성을 강제할 수 있으므로 프레임당 부정확성을 용인할 수 있습니다. 이는 공급 전압을 낮춤으로써 달성 가능한, 간헐적 비트 플립을 경험할 수 있는 초저전력, 불완전한 하드웨어 사용을 허용합니다.

신경망 발전

신경망 아키텍처의 급속한 진화는 하드웨어 설계에 도전을 제기합니다. 많은 NLP 모델처럼 순차적 패턴을 학습하는 동적 네트워크는 런타임 그래프 최적화를 필요로 하고 배칭에 어려움을 겪습니다. LeCun은 기존 하드웨어 대부분이 배치 크기 >1을 가정한다고 지적하며, 이는 연구자들이 모델의 최적 설정보다 더 큰 배치를 처리하도록 강제합니다.

그는 하드웨어 커뮤니티에 배치 크기 1에서도 추론과 훈련 모두에서 잘 작동하는 아키텍처를 만들 것을 촉구했습니다. 이상적인 배치 크기는 종종 1이기 때문입니다.

자기 지도 학습

LeCun은 학습 패러다임이 극적으로 변화할 것이라고 경고했습니다. 인간과 동물은 명시적 레이블이나 강화 신호가 아닌 관찰을 통해 학습합니다. 그는 이를 자기 지도 학습이라 부르며, 이제는 트랜스포머 기반 NLP에서 표준이 되었습니다. 이 방식은 모델이 입력 데이터의 마스크된 부분을 예측하도록 훈련시킵니다.

자기 지도 학습은 매우 효과적이지만 메모리 요구사항을 증가시킵니다. 오늘날 가장 큰 트랜스포머 모델은 최대 50억 개의 파라미터를 포함하며 단일 GPU에 들어가지 않아 모델 분할이 필요합니다.

"자기 지도 학습이 미래입니다."라고 LeCun은 단언했습니다. "풍부한 레이블 없는 데이터로 점점 더 큰 모델을 훈련시키면서 막대한 메모리와 컴퓨팅 자원을 요구할 것이고, 하드웨어 경쟁은 격화될 것입니다."

하드웨어 트렌드

LeCun은 아날로그 컴퓨팅, 스핀트로닉스, 광학 시스템 같은 새로운 하드웨어 개념을 주시하고 있습니다. 그는 새로운 하드웨어와 주류 시스템 간의 신호 변환인 통신 병목이 주요 장애물이라고 지적했습니다. 아날로그 설계는 희소 활성화에 의존하여 에너지 소비를 줄이지만, 희소성 유지가 가능한지는 불확실합니다.

그는 스파이킹 신경망과 뉴로모픽 칩 같은 미래적 접근법에 회의적입니다. "칩을 만들기 전에 알고리즘이 스스로를 증명해야 합니다."라고 그는 말했습니다. "알고리즘 성숙에 앞서 하드웨어 설계를 주도하는 것은 위험합니다."

신경망 처리 타임라인

1980년대 후반: 저항 어레이로 행렬 곱셈 수행. 1980년대 후반까지 어레이 주변에 증폭기와 컨버터가 추가되었지만 여전히 오늘날 기준으로는 꽤 원시적. 한계는 데이터를 칩에 얼마나 빨리 공급할 수 있는가.
1991: 컨볼루션 신경망(CNN)을 위해 설계된 첫 칩 제작. 디지털 시프트 레지스터로 외부 트래픽을 최소화하여 컨볼루션 속도 향상, 바이너리 데이터에서 320 GOPS 달성. 학계 외에서는 사용되지 않음.
1992: ANNA, 아날로그 신경망 ALU 칩 데뷔. 6비트 가중치, 3비트 활성화의 CNN용으로 설계. 0.9µm CMOS에서 180,000 트랜지스터 포함. 필기체 텍스트 광학 문자 인식에 사용.
1996: ANNA의 디지털 버전인 DIANA 출시. 하지만 1990년대 중반 신경망이 인기를 잃으면서 DIANA는 결국 휴대폰 타워의 신호 처리로 용도 변경.
2009-2010: 연구자들이 FPGA(Xilinx Virtex 6)에서 하드웨어 신경망 가속기 시연. 자동 주행을 위한 시맨틱 세그멘테이션 데모 실행, 약 0.5W에서 150 GOPS 달성. Purdue University 팀이 이 작업을 기반으로 ASIC 제작 시도했으나 실패. (출처: Yann Le Cun/Facebook)