혁신적인 AI 칩은 트랜지스터의 한계를 뛰어넘어 엄청난 컴퓨팅 성능을 제공합니다.

전자 및 센서 내부자

프린스턴 연구진은 현대 AI 워크로드를 위한 칩을 구축하기 위해 컴퓨팅 물리학을 완전히 재구상했습니다. 그리고 새로운 미국 정부의 지원을 통해 그들은 이 칩이 얼마나 빠르고 컴팩트하며 전력 효율적인지 알게 될 것입니다. 초기 프로토타입이 위 사진에 나와 있습니다. (이미지 :홍양 지아 / 프린스턴 대학교)

국방부 최대 연구 기관은 인공 지능을 위한 첨단 마이크로칩을 개발하기 위해 프린스턴 대학이 주도하는 노력과 제휴했습니다.

전기 및 컴퓨터 공학 교수인 Naveen Verma에 따르면, 새로운 하드웨어는 오늘날의 가장 발전된 반도체보다 훨씬 적은 에너지를 사용하여 강력한 AI 시스템을 실행할 수 있는 현대 워크로드용 칩을 재구성합니다. 프로젝트를 이끌게 될 베르마(Verma)는 이러한 발전이 크기, 효율성, 확장성 등 AI용 칩을 방해하는 주요 장벽을 돌파했다고 말했습니다.

더 적은 에너지를 필요로 하는 칩을 배치하여 노트북, 휴대폰, 병원, 고속도로, 지구 저궤도 및 그 너머에 이르기까지 보다 역동적인 환경에서 AI를 실행할 수 있습니다. 오늘날 가장 진보된 모델을 구동하는 칩 종류는 소형 장치에서 실행하기에는 너무 크고 비효율적이므로 주로 서버 랙과 대규모 데이터 센터로 제한됩니다.

이제 DARPA(Defense Advanced Research Projects Agency)는 Verma 연구실의 주요 발명품을 기반으로 한 Verma의 작업을 1,860만 달러의 보조금으로 지원할 것이라고 발표했습니다. DARPA 기금은 새로운 칩이 얼마나 빠르고, 작고, 전력 효율적일 수 있는지 탐구하게 될 것입니다.

Verma는 “최고의 AI가 데이터 센터에 있는 것만으로도 매우 중요한 한계가 있습니다.”라고 말했습니다. "그것으로부터 잠금을 해제하고 AI로부터 가치를 얻을 수 있는 방법이 폭발적으로 증가합니다."

이번 발표는 차세대 AI 컴퓨팅을 위한 "과학, 장치 및 시스템의 혁명적인 발전"에 자금을 지원하기 위한 DARPA의 광범위한 노력의 일환으로 이루어졌습니다. OPTIMA라고 불리는 이 프로그램에는 여러 대학과 회사의 프로젝트가 포함됩니다. 프로그램 제안 요청에 따르면 총 자금은 7,800만 달러로 추산되지만, DARPA는 현재까지 기관의 전체 목록이나 프로그램이 지원한 총 자금 금액을 공개하지 않았습니다.

프린스턴이 주도하는 프로젝트에서 연구원들은 Verma의 스타트업인 EnCharge AI와 협력할 예정입니다. 캘리포니아주 산타클라라에 본사를 둔 EnCharge AI는 Verma가 2016년까지 전기 공학 대학원생과 공동 집필한 여러 주요 논문을 포함하여 Verma의 연구실에서 발견한 내용을 바탕으로 기술을 상용화하고 있습니다.

Verma는 2022년에 전 IBM 연구원이었던 Kailash Gopalakrishnan 및 반도체 시스템 설계 분야의 리더인 Echere Iroaga와 함께 EnCharge AI를 공동 창립했습니다.

Gopalakrishnan은 AI가 계산 능력과 효율성에 대한 엄청난 새로운 수요를 창출하기 시작한 바로 그 순간에 기존 컴퓨팅 아키텍처의 혁신과 실리콘 기술의 개선이 둔화되기 시작했다고 말했습니다. 오늘날의 AI 시스템을 실행하는 데 사용되는 최고의 그래픽 처리 장치(GPU)조차도 업계가 직면한 메모리 및 컴퓨팅 에너지의 병목 현상을 완화할 수 없습니다. "GPU는 오늘날 사용할 수 있는 최고의 도구이지만 AI의 잠재력을 활용하려면 새로운 유형의 칩이 필요하다는 결론을 내렸습니다."

프린스턴 대학교 엔지니어링 교육 혁신을 위한 켈러 센터 소장이기도 한 Verma에 따르면 2012년부터 2022년 사이에 AI 모델에 필요한 컴퓨팅 성능의 양은 약 100만% 증가했습니다. 수요를 충족시키기 위해 최신 칩은 수백억 개의 트랜지스터로 구성되며 각 트랜지스터는 작은 바이러스 너비만큼 분리되어 있습니다. 그러나 칩의 컴퓨팅 성능은 여전히 현대적인 요구 사항을 충족할 만큼 밀도가 낮습니다.

대규모 언어 모델과 컴퓨터 비전 및 기타 기계 학습 접근 방식을 결합한 오늘날의 주요 모델은 각각 1조 개가 넘는 변수를 사용하여 개발되었습니다. AI 붐을 불러일으킨 엔비디아가 설계한 GPU는 매우 가치가 높아져 주요 기업들이 장갑차를 통해 이를 운반하는 것으로 알려졌습니다. 이러한 칩을 구매하거나 임대하기 위한 밀린 잔고가 소실점까지 늘어납니다.

Nvidia가 2조 달러 가치 평가를 달성한 세 번째 회사가 되었을 때, Wall Street Journal은 회사의 매출 증가 중 급격히 증가하는 부분이 훈련이라고 불리는 모델 개발이 아니라 이미 훈련된 AI 시스템을 사용할 수 있게 해주는 칩에서 나왔다고 보고했습니다. 기술자들은 이 배포 단계를 추론이라고 부릅니다. 추론은 Verma가 자신의 연구가 중장기적으로 가장 큰 영향을 미칠 것이라고 말하는 부분입니다.

“이것은 AI를 분산화하여 데이터 센터에서 활용하는 것입니다.”라고 그는 말했습니다. "데이터 센터에서 우리와 우리에게 중요한 프로세스가 컴퓨팅에 가장 많이 액세스할 수 있는 곳, 즉 휴대폰, 노트북, 공장 등으로 이동해야 합니다."

콤팩트하거나 에너지가 제한된 환경에서 최신 AI 작업 부하를 처리할 수 있는 칩을 만들기 위해 연구원들은 기존 제조 기술로 제조할 수 있고 중앙 처리 장치와 같은 기존 컴퓨팅 기술과 잘 작동하는 하드웨어를 설계 및 패키징하면서 컴퓨팅 물리학을 완전히 재구상해야 했습니다.

Verma는 "AI 모델의 크기가 폭발적으로 증가했습니다. 이는 두 가지를 의미합니다."라고 말했습니다. AI 칩은 수학 작업과 데이터 관리 및 이동 측면에서 훨씬 더 효율적이 되어야 합니다.

그들의 접근 방식은 세 가지 핵심 부분으로 구성됩니다.

거의 모든 디지털 컴퓨터의 핵심 아키텍처는 1940년대에 처음 개발된 믿을 수 없을 정도로 단순한 패턴을 따랐습니다. 즉, 한 곳에 데이터를 저장하고 다른 곳에 계산을 수행하는 것입니다. 이는 메모리 셀과 프로세서 간의 정보 이동을 의미합니다. 지난 10년 동안 Verma는 계산이 메모리 셀에서 직접 수행되는 인메모리 컴퓨팅이라는 업데이트된 접근 방식에 대한 연구를 개척했습니다. 그것은 1부입니다. 인메모리 컴퓨팅을 통해 대량의 데이터를 이동하고 처리하는 데 드는 시간과 에너지를 줄일 수 있을 것으로 기대됩니다.

그러나 지금까지 인메모리 컴퓨팅에 대한 디지털 접근 방식은 매우 제한적이었습니다. Verma와 그의 팀은 아날로그 계산이라는 또 다른 접근 방식으로 전환했습니다. 2부입니다.

Verma는 “인메모리 컴퓨팅의 특별한 경우에는 효율적으로 컴퓨팅을 수행해야 할 뿐만 아니라 매우 작은 메모리 셀에 들어가야 하기 때문에 매우 높은 밀도로 수행해야 합니다.”라고 말했습니다. 일련의 0과 1로 정보를 인코딩하고 기존 논리 회로를 사용하여 해당 정보를 처리하는 대신 아날로그 컴퓨터는 장치의 풍부한 물리학을 활용합니다. 기어의 곡률. 전하를 유지하는 전선의 능력.

디지털 신호는 1940년대에 아날로그 신호를 대체하기 시작했는데, 그 이유는 주로 컴퓨팅의 기하급수적 성장에 따라 바이너리 코드가 더 잘 확장되었기 때문입니다. 그러나 디지털 신호는 장치의 물리학에 깊이 관여하지 않으므로 결과적으로 더 많은 데이터 저장 및 관리가 필요할 수 있습니다. 그런 식으로는 효율성이 떨어집니다. 아날로그는 장치의 본질적인 물리학을 사용하여 더 미세한 신호를 처리함으로써 효율성을 얻습니다. 하지만 이는 정밀도 측면에서 균형을 이룰 수 있습니다.

"핵심은 매우 잘 제어되고 대규모로 제조될 수 있는 장치에서 작업에 적합한 물리학을 찾는 것입니다."라고 Verma는 말했습니다.

그의 팀은 정확한 정밀도로 스위치를 켜고 끄도록 특별히 설계된 커패시터에서 생성된 아날로그 신호를 사용하여 매우 정확한 계산을 수행하는 방법을 찾았습니다. 세 번째 부분입니다. 트랜지스터와 같은 반도체 장치와 달리 커패시터를 통해 이동하는 전기 에너지는 재료의 온도 및 전자 이동도와 같은 가변 조건에 의존하지 않습니다. "그들은 기하학에만 의존합니다"라고 Verma는 말했습니다. "그들은 하나의 금속 와이어와 다른 금속 와이어 사이의 공간에 의존합니다." 그리고 기하학은 오늘날 가장 진보된 반도체 제조 기술이 매우 잘 제어할 수 있는 것 중 하나입니다.

출처