Intel은 Loihi 2 뉴로모픽 칩과 소프트웨어 프레임워크를 제공합니다

인텔은 인텔 4 프로세스 기술을 기반으로 한 최초의 칩인 2세대 뉴로모픽 컴퓨팅 칩인 Loihi 2를 공개했습니다. 최첨단 뉴로모픽 신경망 연구를 위해 설계된 Loihi 2는 다양한 개선 사항을 제공합니다. 여기에는 더 많은 프로그래밍 가능성을 제공하는 뉴런을 위한 새로운 명령어 세트가 포함되어 스파이크가 1과 0을 초과하는 정수 값을 가질 수 있으며 더 큰 시스템을 위한 3차원 칩 메시로 확장할 수 있습니다.

이 칩 제조업체는 또한 신경에서 영감을 받은 응용 프로그램을 개발하기 위한 오픈 소스 소프트웨어 프레임워크인 Lava를 공개했습니다. 인텔은 Lava 개발에 신경을 쓰는 연구원을 참여시키기를 희망합니다. Lava가 실행되면 연구팀이 서로의 작업을 기반으로 구축할 수 있습니다.

Loihi는 뇌에서 영감을 받은 스파이크 신경망(SNN)을 위해 설계된 뉴로모픽 하드웨어의 인텔 버전입니다. SNN은 입력 스파이크의 타이밍이 정보를 인코딩하는 이벤트 기반 컴퓨팅에 사용됩니다. 일반적으로 더 빨리 도착하는 스파이크는 나중에 도착하는 스파이크보다 계산 효과가 더 큽니다.

Intel의 Loihi 2 2세대 뉴로모픽 프로세서. (출처:인텔)

뉴로모픽 하드웨어와 표준 CPU의 주요 차이점 중 하나는 세분화된 메모리 분포입니다. 즉, Loihi의 메모리가 개별 코어에 내장되어 있습니다. Loihi의 스파이크는 타이밍에 의존하기 때문에 아키텍처는 비동기식입니다.

Intel의 Neuromorphic Computing Lab 소장인 Mike Davies는 "뉴로모픽 컴퓨팅에서 이러한 동적 요소 간의 상호 작용을 통해 컴퓨팅이 등장하고 있습니다. "이 경우 수신되는 입력에 온라인으로 적응하는 동적 속성이 있는 것은 뉴런이며, 프로그래머는 칩이 답에 도달하기 위해 거쳐야 할 단계의 정확한 궤적을 모를 수 있습니다.

“그것은 자신의 상태를 자기 조직화하는 역동적인 과정을 거치며 어떤 새로운 조건에 안착합니다. 우리가 그것을 최종 고정점 또는 평형 상태라고 부르는 것은 해결하려는 문제에 대한 답을 인코딩하는 것입니다.”라고 Davies가 덧붙였습니다. "따라서 우리가 다른 아키텍처의 컴퓨팅에 대해 생각하는 방식과 근본적으로 다릅니다."

1세대 Loihi 칩은 지금까지 적응형 로봇 팔 제어를 포함하여 다양한 연구 응용 분야에서 시연되었습니다. Loihi는 제어 알고리즘을 조정하여 오류 또는 예측할 수 없는 동작을 보정하여 로봇이 원하는 정확도로 작동할 수 있도록 합니다. Loihi는 다른 냄새를 인식하는 시스템에도 사용되었습니다. 이 시나리오에서는 딥 러닝 기반 제품보다 훨씬 더 효율적으로 새로운 냄새를 학습하고 감지할 수 있습니다. Deutsche Bahn과의 프로젝트에서도 Loihi를 기차 일정에 사용했습니다. 시스템은 선로 폐쇄나 열차 정지와 같은 변화에 신속하게 대응했습니다.

2세대 기능

Intel 4 프로세스의 사전 프로덕션 버전을 기반으로 구축된 Loihi 2는 에너지 효율성을 손상시키지 않으면서 프로그래밍 가능성과 성능을 높이는 것을 목표로 합니다. 이전 제품과 마찬가지로 일반적으로 약 100mW(최대 1W)를 소비합니다.

자원 밀도의 증가는 가장 중요한 변화 중 하나입니다. 칩에는 여전히 128개의 코어가 통합되어 있지만 뉴런 수는 8배 증가합니다.

Davies는 "단일 칩에서 더 많은 양의 스토리지, 뉴런 및 시냅스를 확보하는 것은 상업적 실행 가능성과 고객 애플리케이션에 적합한 방식으로 이를 상용화하는 데 필수적입니다."라고 말했습니다.

전체 크기 이미지를 보려면 클릭하세요.

Loihi 2 기능. (출처:인텔)

Loihi 1을 사용하면 워크로드가 종종 최적이 아닌 방식으로 아키텍처에 매핑됩니다. 예를 들어, 사용 가능한 메모리가 여전히 사용 가능한 동안 뉴런 수는 종종 최대값을 초과합니다. Loihi 2의 메모리 양은 전체적으로 비슷하지만 더 유연한 메모리 뱅크로 분할되었습니다. 더 큰 모델에 필요한 메모리 양을 최소화하기 위해 추가 압축이 네트워크 매개변수에 추가되었습니다. 이렇게 하면 뉴런에 재할당할 수 있는 메모리가 확보됩니다.

결론은 Loihi 2가 동일한 양의 메모리로 더 큰 문제를 해결할 수 있다는 것입니다. 밀리미터당 신경망 용량이 약 15배 증가합니다. ² 칩 면적의 - 새로운 공정 기술에 의해 다이 면적이 전체적으로 절반으로 줄어든다는 점을 염두에 두십시오.

뉴런 프로그래밍 가능성

프로그래밍 가능성은 또 다른 중요한 아키텍처 수정입니다. 이전에 고정 기능이었던 뉴런은 구성이 가능했지만 Loihi 1에서 전체 명령어 세트를 얻습니다. 명령어 세트에는 공통 산술, 비교 및 ​​프로그램 제어 흐름 명령어가 포함됩니다. 이러한 수준의 프로그래밍 기능을 통해 다양한 SNN 유형을 보다 효율적으로 실행할 수 있습니다.

Davies는 "이것은 거의 임의의 뉴런 모델을 프로그래밍할 수 있는 일종의 마이크로코드입니다."라고 말했습니다. “이는 Loihi[1]의 한계를 다룹니다. 일반적으로 우리가 더 복잡하고 풍부한 뉴런 모델을 사용하여 더 많은 애플리케이션 가치를 찾을 수 있는 곳에서는 Loihi 초기에 기대했던 것과는 다릅니다. 그러나 이제 우리는 파트너가 조사하려고 하는 뉴런 모델의 전체 범위와 컴퓨터 신경과학 영역이 제안하고 특성화하는 것을 실제로 포괄할 수 있습니다.”

Loihi 2 다이는 Intel 4 공정 기술의 사전 생산 버전에서 제작된 최초의 제품입니다. (출처:인텔)

Loihi 2의 경우 스파이크 개념도 일반화되었습니다. Loihi 1은 스파이크의 크기가 없는 생물학에서 볼 수 있는 것을 반영하기 위해 엄격한 이진 스파이크를 사용했습니다. 모든 정보는 스파이크 타이밍으로 표시되며 이전 스파이크가 나중 스파이크보다 계산 효과가 더 큽니다. Loihi 2에서 스파이크는 프로그래밍 가능한 뉴런 모델에 사용할 수 있는 구성 가능한 정수 페이로드를 전달합니다. 생물학적 두뇌는 이 작업을 수행하지 않지만 Davies는 Intel이 성능 저하 없이 실리콘 아키텍처에 추가하는 것이 상대적으로 쉬웠다고 말했습니다.

"이것은 우리가 엄격한 생물학적 충실도에서 벗어나고 있는 사례입니다. 특히 중요성, 즉 시간 코딩 측면이 무엇인지 이해하기 때문입니다."라고 그는 말했습니다. "하지만 [우리는] 더 잘할 수 있고 이 급증과 함께 보낼 수 있는 추가 규모가 있다면 더 적은 리소스로 동일한 문제를 해결할 수 있다는 것을 깨달았습니다."

일반화된 이벤트 기반 메시징은 Loihi 1에서 사용된 타이밍 접근 방식보다 훨씬 빠른 SDNN(시그마-델타 신경망)이라는 심층 신경망 지원의 핵심입니다. SDNN은 동일한 방식으로 등급 활성화 값을 계산합니다. 기존 DNN이 하는 방식이지만 중요한 변경 사항은 드문드문 이벤트 중심 방식으로 발생했을 때만 전달합니다.

3D 크기 조정

Loihi 2는 회로 수준에서 이전 버전보다 최대 10배 더 빠릅니다. 기능 개선과 결합된 디자인은 최대 10배의 속도 향상을 제공할 수 있다고 Davies는 주장했습니다. Loihi 2는 200ns 미만의 최소 칩 전체 시간 단계를 지원합니다. 또한 생물학적 뉴런보다 최대 5,000배 더 빠르게 뉴로모픽 네트워크를 처리할 수 있습니다.

새로운 칩에는 Intel이 신경망을 3차원으로 확장할 수 있는 확장성 포트도 있습니다. 더 큰 신경망을 실행할 외부 메모리가 없으면 Loihi 1에는 여러 장치가 필요했습니다(예:Intel의 768-Loihi 칩 시스템, Pohoiki Springs). Loihi 1 칩의 평면 메시는 Loihi 2에서 3D 메시가 됩니다. 한편, 칩 간 대역폭은 4배 향상되었으며 압축 및 새로운 프로토콜은 칩 간에 전송되는 중복 스파이크 트래픽의 1/10을 제공합니다. Davies는 결합된 용량 증가가 대부분의 워크로드에서 약 60배 증가하여 칩 간 링크로 인한 병목 현상을 방지한다고 말했습니다.

또한 최첨단 뉴로모픽 알고리즘 연구에서 널리 사용되는 3요소 학습도 지원됩니다. 세 번째 요소를 특정 시냅스에 매핑하는 동일한 수정을 사용하여 딥 러닝에 사용되는 훈련 방법인 역전파를 근사화할 수 있습니다. 이는 Loihi를 통해 새로운 학습 방식을 창출합니다.

Loihi 2는 에지 애플리케이션(Oheo Gulch) 개발을 위한 단일 칩 기판으로 연구원에게 제공됩니다. 또한 더 까다로운 애플리케이션에 맞게 확장할 수 있도록 설계된 8칩 보드로도 제공됩니다. (출처:인텔)

용암

Lava 소프트웨어 프레임워크는 Loihi 개선 사항을 완성합니다. 오픈 소스 프로젝트는 뉴로모픽 연구 커뮤니티에서 사용할 수 있습니다.

Davies는 "소프트웨어가 계속해서 이 분야를 가로막고 있습니다. “지난 몇 년 동안 하드웨어와 같은 속도가 아니라 많은 발전이 없었습니다. TensorFlow와 PyTorch가 엄청난 추진력과 사용자 기반을 모으는 딥 러닝 세계에서 볼 수 있듯이 단일 소프트웨어 프레임워크의 출현은 없었습니다."

인텔은 Loihi용으로 시연된 애플리케이션 포트폴리오를 보유하고 있지만 개발 팀 간의 코드 공유는 제한적이었습니다. 이는 개발자가 다른 곳에서 이루어진 진전을 바탕으로 구축하기 어렵게 만듭니다.

제품이 아닌 새로운 프로젝트로 홍보된 Davies는 Lava가 다양한 알고리즘을 연구하는 Loihi 연구원을 지원하는 프레임워크를 구축하기 위한 방법이라고 말했습니다. Lava는 이벤트 기반 비동기 메시지 전달을 목표로 하지만 이기종 실행도 지원합니다. 이를 통해 연구원은 처음에 CPU에서 실행되는 응용 프로그램을 개발할 수 있습니다. 연구진은 Loihi 하드웨어에 액세스하여 워크로드의 일부를 뉴로모픽 칩에 매핑할 수 있습니다. 이러한 접근 방식이 진입 장벽을 낮추는 데 도움이 되기를 바랍니다.

Davies는 "뉴로모픽 기술의 상업화에 필요한 이 더 큰 목표를 향한 수렴과 공동 개발의 필요성을 봅니다."라고 말했습니다.

Loihi 2는 고급 뉴로모픽 알고리즘을 개발하는 연구원들이 사용할 것입니다. 실험실 테스트를 위한 단일 칩 시스템인 Oheo Gulch는 처음에 연구원이 사용할 수 있으며 Kapoho Bay의 8칩 Loihi 2 버전인 Kapoho Point가 뒤따를 것입니다. Kapoho Point에는 더 많은 컴퓨팅 성능이 필요한 로봇과 같은 애플리케이션을 위해 보드를 쌓을 수 있도록 설계된 이더넷 인터페이스가 포함되어 있습니다.

Lava는 GitHub에서 다운로드할 수 있습니다.

>> 이 기사는 원래 자매 사이트인 EE에 게시되었습니다. 시간.

---

관련 콘텐츠:

• AI 컴퓨팅을 위한 뉴로모픽 칩 사례 만들기
• Arm 칩을 표적으로 하는 신경망 스파이크
• 신흥 메모리 기술을 기반으로 하는 고급 AI 칩
• 스파이킹 신경망을 위한 뉴로모픽 AI 칩 데뷔
• 뉴로모픽 컴퓨팅의 벤치마킹 수수께끼

더 많은 Embedded를 보려면 Embedded의 주간 이메일 뉴스레터를 구독하세요.