AI 선구자에 따르면 현재 AI 하드웨어 초점이 잘못되었다고 합니다.

페이스북 수석 AI 과학자 얀 르 쿤(Yann Le Cun)은 NeurIPS에서 기조연설을 통해 청중에게 “이색적인 하드웨어로는 성공하기가 정말 어렵습니다. 12월 캐나다 밴쿠버에서 AI 전문가들이 모인 글로벌 모임에서 Le Cun은 신경망 워크로드를 처리하기 위한 특수 컴퓨팅 칩의 역사를 조사하고 Facebook이 어떤 작업을 하고 있는지 엿볼 수 있으며 딥러닝의 미래에 대한 몇 가지 예측을 했습니다. 학습 하드웨어.

고대 역사

Le Cun은 1980년대와 1990년대에 신경망 연구의 최전선에 있었던 AI 분야의 저명한 선구자입니다. 1980년대 후반 Bell Labs 연구원으로서 그는 저항 어레이로 구성되고 행렬 곱셈을 수행하는 데 사용되는 초기 유형의 전용 신경망 프로세서와 함께 작업했습니다. 1990년대 후반과 2000년대 초반에 신경망이 인기를 끌면서 Le Cun은 이 분야에서 계속 연구한 소수의 과학자 중 한 명이었습니다. 기조연설에서 그는 그 동안 딥 러닝을 위한 하드웨어에 대해 배운 몇 가지를 공유했습니다.

Facebook 수석 AI 과학자 Yann Le Cun

첫째, 도구가 정말 중요합니다. 90년대에 (일시적으로) 신경망을 죽인 것은 Le Cun을 포함한 소수의 사람들만이 이를 훈련할 수 있는 도구를 가지고 있었기 때문입니다. Le Cun과 그의 동료들은 이제 딥 러닝 프레임워크라고 하는 것을 구축하는 데 많은 시간을 할애했습니다. 프론트 엔드 언어를 해석하는 유연한 소프트웨어 조각으로 연구자는 신경망을 훈련하고 실험할 수 있습니다. 연구원들의 연구는 딥 러닝 시스템이 미분 가능한 모듈에서 조립된 다음 자동으로 차별화될 수 있다는 개념을 발전시켰습니다. 당시에는 참신했지만 지금은 이것이 일반적인 관행입니다.

올바른 도구는 Le Cun의 팀에 "초능력"을 부여했으며 재현 가능한 결과를 생성하는 데 중요한 요소이기도 하다고 그는 말했습니다. "좋은 결과만으로는 충분하지 않습니다. 좋은 결과를 얻더라도 사람들은 여전히 ​​회의적입니다."라고 그는 말했습니다. "이러한 결과를 재현 가능하게 만드는 것은 처음부터 실제로 결과를 생성하는 것만큼이나 중요합니다."

Le Cun은 하드웨어 제한이 전체 연구 방향에 영향을 미칠 수 있으므로 올바른 도구와 함께 하드웨어 성능이 연구 커뮤니티에 매우 중요하다고 말했습니다.

"[무엇] 하드웨어 커뮤니티가 연구나 교육을 위해 구축하는 것은 실제로 사람들이 생각하는 아이디어에 영향을 미칩니다."라고 그는 말했습니다. "좋은 아이디어라도 하드웨어가 충분히 강력하지 않다는 이유로 모든 아이디어를 포기할 수 있습니다."

그는 새롭고 참신한 형태의 컴퓨팅에 답이 있지 않을 수도 있다고 말했습니다. 그는 많은 이국적인 제조 기술이 기존 컴퓨팅 환경에 맞지 않을 때 성공하지 못했다는 점에 주목했습니다.

오늘날 AI 가속을 위한 하드웨어 솔루션에 대한 Le Cun의 불만 중 하나는 대부분이 오늘날 대부분의 이미지 처리 및 음성 인식 신경망에서 사용되는 핵심 수학 연산인 합성곱이 아닌 행렬 곱셈을 위해 구축되었다는 것입니다. 그는 "우리가 권력에 대한 요구 사항이 점점 더 많아진다는 의미에서 [우세한 접근 방식]은 점점 더 잘못될 것"이라고 말했다. "사이클의 95%가 컨볼루션을 수행하는 데 사용되는 일반 하드웨어를 구축하면 제대로 작동하지 않습니다."

킬러 앱

Le Cun이 설명했듯이 미래에는 장난감에서 진공 청소기, 의료 장비에 이르기까지 모든 것에 CNN(컨볼루션 신경망)이 사용됩니다. 그러나 소비자 기기에 대한 AI의 가치를 입증할 유일한 애플리케이션인 킬러 앱은 증강 현실 헤드셋입니다.

Facebook은 현재 AR 안경용 하드웨어를 개발 중입니다. 배터리로만 구동되는 짧은 대기 시간에 필요한 처리량으로 인해 엄청난 하드웨어 문제입니다. Le Cun은 "움직일 때 세계의 오버레이된 개체는 사용자가 아니라 세계와 함께 움직여야 하므로 상당한 계산이 필요합니다."라고 말했습니다.

Facebook은 음성으로 작동되고 실시간 손 추적을 통해 제스처로 상호 작용하는 AR 안경을 구상하고 있습니다. 이러한 기능은 오늘날 가능하지만 전력 소비, 성능 및 폼 팩터 측면에서 우리가 할 수 있는 것 이상입니다. Le Cun은 도움이 될 수 있는 몇 가지 "비법"을 언급했습니다.

예를 들어, 비디오의 모든 프레임에서 동일한 신경망을 실행할 때(아마도 물체를 감지하기 위해) 한 프레임의 결과가 잘못된 경우에도 문제가 되지 않습니다. 왜냐하면 우리는 그 전후의 프레임을 보고 일관성을 확인할 수 있기 때문입니다. .

“따라서 완벽하지 않은 초저전력 하드웨어를 사용하는 것을 상상할 수 있습니다. 다시 말해 비트 플립을 가끔씩 [견인]할 수 있습니다.”라고 Le Cun이 말했습니다. "전원 공급 장치의 전압을 낮추면 쉽게 할 수 있습니다."

신경망 개발

신경망의 급속한 발전은 하드웨어 설계의 주요 과제입니다. 예를 들어, 순차적 또는 시변 패턴을 학습하도록 훈련될 수 있는 메모리가 있는 동적 네트워크는 특히 자연어 처리(NLP)에서 인기를 얻고 있습니다. 그러나 그들은 현재 하드웨어에 의해 만들어진 많은 가정과 다르게 동작합니다. 컴퓨트 그래프는 컴파일 타임에 최적화할 수 없습니다. 런타임에 수행해야 합니다. 또한 성능을 향상시키기 위해 한 번에 둘 이상의 샘플을 처리하는 인기 있는 기술인 일괄 처리를 구현하는 것이 다소 어렵습니다.

"우리가 처리할 수 있는 가장 일반적인 하드웨어는 모두 일괄 처리가 가능하다고 가정합니다. 왜냐하면 하나 이상의 샘플이 포함된 배치가 있는 경우 컨볼루션 및 완전 연결된 네트를 포함한 모든 연산을 행렬 곱셈으로 전환할 수 있기 때문입니다."라고 말했습니다. 르쿤. "[그것은] 하드웨어 커뮤니티가 배치 크기 =1을 사용하여 성능을 잃지 않는 아키텍처를 만드는 도전입니다. 그것은 물론 훈련에도 적용됩니다. 훈련을 위한 최적의 배치 크기는 1입니다. 우리는 하드웨어에서 그렇게 해야 하기 때문에 더 많이 사용합니다."

자가 지도 학습

Le Cun에 따르면 하드웨어의 또 다른 과제는 현재 우리가 사용하는 학습 패러다임이 변경될 것이며 이는 곧 일어날 것이라는 점입니다.

그는 "기계가 인간과 동물처럼 더 많이 배우도록 하기 위해 많은 작업이 진행되고 있으며 인간과 동물은 지도 학습이나 강화 학습으로도 배우지 않습니다."라고 말했습니다. "그들은 내가 자기 지도 학습이라고 부르는 것으로 주로 관찰을 통해 배웁니다."

Le Cun은 샘플의 일부가 마스킹되고 시스템이 사용 가능한 샘플의 일부를 기반으로 마스킹된 조각의 내용을 예측하도록 훈련되는 자체 지도 학습에 대한 일반적인 접근 방식을 설명했습니다. 이것은 이미지의 일부가 제거된 이미지와 하나 이상의 단어가 비어 있는 텍스트에 일반적으로 사용됩니다. 지금까지의 작업은 NLP에 특히 효과적인 것으로 나타났습니다. 사용되는 네트워크 유형인 변압기에는 자체 지도 학습을 사용하는 교육 단계가 있습니다.

하드웨어 관점에서 볼 때 문제는 NLP용 변압기 네트워크가 엄청날 수 있다는 것입니다. 오늘날 가장 큰 네트워크는 50억 개의 매개변수를 가지고 있으며 빠르게 성장하고 있다고 Le Cun은 말했습니다. 네트워크가 너무 커서 GPU 메모리에 맞지 않고 여러 조각으로 나누어야 합니다.

"자기 지도 학습은 미래입니다. [그것에 대해] 의문의 여지가 없습니다."라고 그는 말했습니다. “그러나 이것은 메모리 요구 사항이 절대적으로 방대하기 때문에 하드웨어 커뮤니티에 대한 도전입니다. 이러한 시스템은 레이블이 지정되지 않은 데이터로 훈련되기 때문에 데이터 측면에서 매우 큰 네트워크를 훈련할 수 있습니다. 최종 시스템의 하드웨어 요구 사항은 현재보다 훨씬 더 커질 것입니다. 하드웨어 경쟁은 곧 멈추지 않을 것입니다.”

하드웨어 동향

아날로그 컴퓨팅, 스핀트로닉스 및 광학 시스템과 같은 기술을 사용하는 새로운 하드웨어 아이디어가 Le Cun의 레이더에 있습니다. 그는 통신의 어려움(새로운 하드웨어와 나머지 필요한 컴퓨팅 인프라 간의 신호 변환 문제)을 큰 단점으로 언급했습니다. 그는 아날로그 구현이 에너지 소비의 이점을 얻기 위해 활성화를 극도로 희박하게 만드는 것에 의존한다고 말했습니다. 그는 이것이 항상 가능한지 의문을 제기했습니다.

Le Cun은 자신을 스파이크 신경망 및 일반적으로 뉴로모픽 컴퓨팅과 같은 미래 지향적인 새로운 접근 방식에 대해 "회의적"이라고 설명했습니다. 그는 알고리즘을 위한 칩을 구축하기 전에 알고리즘이 작동하는지 증명할 필요가 있다고 말했습니다.

Le Cun은 "누군가 이 하드웨어를 사용할 알고리즘을 내놓을 것이라고 기대하면서 하드웨어를 통해 이러한 시스템의 설계를 주도하는 것은 아마도 좋은 생각이 아닐 것입니다."라고 말했습니다.

신경망 처리 타임라인

1980년대 후반 :저항 배열은 행렬 곱셈을 수행하는 데 사용됩니다. 1980년대 후반까지 어레이는 주변에 증폭기와 컨버터를 갖게 되었지만 오늘날의 표준으로는 여전히 매우 원시적입니다. 한계는 데이터가 칩에 공급될 수 있는 속도입니다.
1991 :CNN(Convolutional Neural Networks)용으로 설계된 최초의 칩이 구축되었습니다. 이 칩은 이진 데이터에서 초당 320기가 연산(GOPS)을 수행할 수 있으며 디지털 시프트 레지스터는 컨볼루션을 수행하는 데 필요한 외부 트래픽의 양을 최소화하여 작업 속도를 높입니다. 칩은 학계 이외의 용도로 사용되지 않습니다.
1992 :아날로그 신경망 ALU 칩 ANNA 출시. 6비트 가중치와 3비트 활성화가 있는 CNN용으로 설계된 ANNA는 0.9μm CMOS에 180,000개의 트랜지스터를 포함합니다. 필기 텍스트의 광학 문자 인식에 사용됩니다.
1996 :ANNA의 디지털 버전인 DIANA가 출시됩니다. 그러나 1990년대 중반까지 신경망이 인기를 끌면서 DIANA는 결국 휴대폰 기지국의 신호 처리용으로 용도가 변경되었습니다.
2009–2010 :연구원들이 FPGA(Xilinx Virtex 6)에서 하드웨어 신경망 가속기를 시연하고 있습니다. 자동 운전을 위한 의미론적 분할을 위한 데모를 실행하고 약 0.5W에서 150GOPS가 가능합니다. Purdue University의 팀은 이 작업을 기반으로 ASIC을 만들려고 시도하지만 프로젝트는 실패로 판명되었습니다. (출처:Yann Le Cun/Facebook)