혁신적 AI 칩, 트랜지스터 한계 넘어 막대한 연산 성능 제공

프린스턴대 연구진, 컴퓨팅 물리학 재구상으로 현대 AI 워크로드용 칩 개발

프린스턴 대학 연구진이 현대 AI 워크로드용 칩을 만들기 위해 컴퓨팅의 물리학을 완전히 재구상했습니다. 그리고 새로운 미국 정부 지원으로 이 칩이 얼마나 빠르고 컴팩트하며 전력 효율적일 수 있는지 시험하게 됩니다. 초기 프로토타입이 위 사진에 나와 있습니다. (이미지: Hongyang Jia/Princeton University)

국방부 최대 연구기관 DARPA, 프린스턴 주도 프로젝트 지원

국방부의 최대 연구 기관이 인공지능용 첨단 마이크로칩 개발을 위해 프린스턴 대학 주도의 노력과 파트너십을 맺었습니다.

새로운 하드웨어는 오늘날 가장 첨단 반도체보다 훨씬 적은 에너지를 사용해 강력한 AI 시스템을 실행할 수 있는 현대 워크로드용 칩을 재구상한다고 전기 및 컴퓨터 공학 교수 나빈 베르마는 말합니다. 프로젝트를 이끌 베르마는 이 발전이 AI용 칩을 가로막아온 주요 장벽들(크기, 효율성, 확장성)을 돌파한다고 말했습니다.

에너지 효율적 칩으로 AI 배치 범위 확대

더 적은 에너지를 필요로 하는 칩은 노트북과 휴대폰부터 병원과 고속도로, 저궤도 그 이상에 이르기까지 더 역동적인 환경에서 AI를 실행하도록 배치될 수 있습니다. 오늘날 가장 첨단 모델을 구동하는 종류의 칩은 너무 거대하고 비효율적이어서 소형 기기에서 실행할 수 없으므로, 주로 서버 랙과 대형 데이터 센터에 국한됩니다.

이제 국방고등연구계획국(DARPA)이 베르마의 연구를 지원할 것이라고 발표했습니다. 그의 연구실에서 나온 일련의 핵심 발명에 기반해 1,860만 달러의 보조금이 지급됩니다. DARPA 자금은 새로운 칩이 얼마나 빠르고 컴팩트하며 전력 효율적일 수 있는지 탐구하는 데 쓰일 것입니다.

"최고의 AI가 데이터 센터에만 있는 것은 꽤 중요한 제약입니다."라고 베르마는 말했습니다. "그걸 풀어내면 AI로부터 가치를 얻을 수 있는 방식이 폭발적으로 늘어납니다."

DARPA OPTIMA 프로그램의 일환

이 발표는 다음 세대 AI 컴퓨팅을 위한 "과학, 소자, 시스템의 혁명적 발전"을 지원하려는 DARPA의 광범위한 노력의 일환으로 나왔습니다. OPTIMA라고 불리는 이 프로그램에는 여러 대학과 기업의 프로젝트가 포함됩니다. 프로그램의 제안 요청서에는 총 7,800만 달러의 자금이 예상된다고 명시되어 있지만, DARPA는 기관 전체 목록이나 프로그램이 현재까지 수여한 총 자금액을 공개하지 않았습니다.

스타트업 EnCharge AI와의 협업

프린스턴 주도 프로젝트에서 연구진은 베르마의 스타트업인 EnCharge AI와 협업할 예정입니다. 캘리포니아주 산타클라라에 본사를 둔 EnCharge AI는 베르마 연구실의 발견들에 기반한 기술들을 상용화하고 있으며, 2016년까지 거슬러 올라가는 전기공학 대학원생들과 베르마가 공동 집필한 여러 핵심 논문들이 포함됩니다.

베르마는 2022년 전 IBM 펠로우인 카일라시 고팔라크리슈난과 반도체 시스템 설계 리더 에체레 이로아가와 함께 EnCharge AI를 공동 설립했습니다.

기존 아키텍처 한계와 새로운 접근의 필요성

고팔라크리슈난은 기존 컴퓨팅 아키텍처 내 혁신과 실리콘 기술 개선이 AI가 계산 능력과 효율성에 대한 막대한 새로운 수요를 창출하기 시작한 바로 그 시점에 둔화되기 시작했다고 말했습니다. 오늘날 AI 시스템을 구동하는 데 사용되는 최고의 그래픽 처리 장치(GPU)조차 업계가 직면한 메모리와 컴퓨팅 에너지의 병목 현상을 완화할 수 없습니다. "GPU가 오늘날 사용 가능한 최고의 도구지만, 우리는 AI의 잠재력을 풀기 위해 새로운 유형의 칩이 필요할 것이라고 결론지었습니다."라고 그는 말했습니다.

베르마에 따르면 2012년부터 2022년 사이 AI 모델에 필요한 컴퓨팅 파워는 약 100만 퍼센트 증가했습니다. 수요를 맞추기 위해 최신 칩들은 수천억 개의 트랜지스터를 집어넣고 있으며, 각 트랜지스터는 작은 바이러스 너비만큼 떨어져 있습니다. 그럼에도 칩들은 여전히 현대적 필요에 충분히 조밀한 컴퓨팅 파워를 갖추지 못했습니다.

추론(Inference) 단계에서의 영향력 기대

오늘날의 선도적 모델들은 대규모 언어 모델과 컴퓨터 비전 및 기타 머신러닝 접근법을 결합해 각각 1조 개 이상의 변수로 개발되었습니다. AI 붐을 주도한 엔비디아 설계 GPU는 너무 가치있어 주요 기업들이 장갑차로 수송한다는 보도까지 나왔습니다. 이 칩들을 구매하거나 임대하기 위한 대기줄은 끝이 보이지 않습니다.

엔비디아가 역사상 세 번째로 2조 달러 기업가치에 도달했을 때, 월스트리트 저널은 회사의 급증하는 매출 중 급격히 증가하는 비중이 모델 개발(훈련)이 아닌, 이미 훈련된 AI 시스템 사용을 가능하게 하는 칩에서 나온다고 보도했습니다. 기술자들은 이 배치 단계를 추론(Inference)이라고 부르며, 베르마는 자신의 연구가 단기에서 중기적으로 가장 큰 영향을 미칠 곳이 바로 추론 단계라고 말합니다.

"이것은 모두 AI를 분산화하고, 데이터 센터에서 해방시키는 것입니다."라고 그는 말했습니다. "데이터 센터 밖으로 나와 우리와 우리에게 중요한 프로세스가 컴퓨팅에 가장 잘 접근할 수 있는 곳, 즉 휴대폰, 노트북, 공장 등으로 이동해야 합니다."

기존 제조 기술과 호환되는 하드웨어 재설계

컴팩트하거나 에너지 제약 환경에서 현대 AI 워크로드를 처리할 수 있는 칩을 만들기 위해 연구진은 기존 제조 기술로 생산 가능하고 중앙처리장치 같은 기존 컴퓨팅 기술과 잘 작동하는 하드웨어를 설계하고 패키징하면서 컴퓨팅의 물리학을 완전히 재구상해야 했습니다.

"AI 모델이 크기에서 폭발적으로 증가했습니다."라고 베르마는 말했습니다. "그건 두 가지를 의미합니다." AI 칩은 수학 연산을 훨씬 더 효율적으로 수행해야 하고, 데이터를 관리하고 이동하는 것도 훨씬 더 효율적이어야 합니다.

접근법의 세 가지 핵심 요소

1. 인메모리 컴퓨팅(In-Memory Computing)

거의 모든 디지털 컴퓨터의 핵심 아키텍처는 1940년대에 처음 개발된 기만적으로 단순한 패턴을 따릅니다: 데이터를 한 곳에 저장하고, 연산은 다른 곳에서 수행. 이는 메모리 셀과 프로세서 사이에 정보를 왕복 이동해야 함을 의미합니다. 지난 10년간 베르마는 연산이 메모리 셀 내부에서 직접 수행되는 업데이트된 접근법, 즉 인메모리 컴퓨팅을 개척해왔습니다. 이게 첫 번째 요소입니다. 약속은 인메모리 컴퓨팅이 대량의 데이터를 이동하고 처리하는 데 드는 시간과 에너지를 줄여줄 것이라는 점입니다.

2. 아날로그 연산(Analog Computation)

하지만 지금까지 디지털 방식의 인메모리 컴퓨팅은 매우 제한적이었습니다. 베르마와 그의 팀은 대체 접근법인 아날로그 연산으로 전환했습니다. 이게 두 번째 요소입니다.

"인메모리 컴퓨팅의 특수한 경우, 당신은 연산을 효율적으로 수행할 필요가 있을 뿐만 아니라, 이제는 이 아주 작은 메모리 셀 안에 들어가야 하므로 매우 높은 밀도로 수행해야 합니다."라고 베르마는 말했습니다. 0과 1의 연속으로 정보를 인코딩하고 전통적인 논리 회로로 처리하는 대신, 아날로그 컴퓨터는 소자의 더 풍부한 물리학을 활용합니다. 기어의 곡률, 전선을 전기 전하를 보유하는 능력.

디지털 신호는 주로 이진 코드가 컴퓨팅의 기하급수적 성장에 더 잘 스케일링되기 때문에 1940년대에 아날로그 신호를 대체하기 시작했습니다. 하지만 디지털 신호는 소자의 물리학을 깊이 파고들지 않으며, 그 결과 더 많은 데이터 저장과 관리가 필요할 수 있습니다. 그 면에서 덜 효율적입니다. 아날로그는 소자의 고유한 물리학을 사용해 더 미세한 신호를 처리함으로써 효율성을 얻습니다. 하지만 그건 정밀도에서의 트레이드오프를 동반할 수 있습니다.

"핵심은 초정밀하게 제어 가능하고 대규모로 제조할 수 있는 소자에서 그 일에 적합한 올바른 물리학을 찾는 것입니다."라고 베르마는 말했습니다.

3. 정밀 스위칭 커패시터 기반 아날로그 연산

그의 팀은 극도로 정밀하게 켜고 꺼지도록 특수 설계된 커패시터가 생성하는 아날로그 신호를 사용해 고정밀 연산을 수행하는 방법을 찾아냈습니다. 이게 세 번째 요소입니다. 트랜지스터 같은 반도체 소자와 달리 커패시터를 통과하는 전기 에너지는 온도와 물질 내 전자 이동도 같은 가변 조건에 의존하지 않습니다. "그건 오직 기하학에만 의존합니다."라고 베르마는 말했습니다. "한 금속 와이어와 다른 금속 와이어 사이의 공간에 의존하죠." 그리고 기하학은 오늘날 가장 첨단 반도체 제조 기술이 극도로 잘 제어할 수 있는 한 가지입니다.

출처