대규모 신경망 훈련은 284,000킬로그램의 CO2를 방출할 수 있습니다.

• 대형 신경망을 개발하고 최적화하면 최대 284,000kg의 이산화탄소를 배출할 수 있습니다.
• 이것은 일반 자동차의 평생 배기가스 배출량의 5배에 해당합니다.

최근 인공 지능(AI) 분야의 발전으로 대규모 데이터로 훈련된 대규모 네트워크의 새로운 시대가 열렸습니다. 이러한 네트워크는 몇 가지 기본 자연어 처리(NLP) 작업 전반에 걸쳐 정확도가 크게 향상되었습니다.

특히 리소스를 가장 많이 사용하는 모델이 가장 높은 점수를 받았습니다. 그러나 이러한 모델을 훈련하려면 엄청난 양의 계산 리소스가 필요하며 상당한 에너지가 필요합니다.

최근 매사추세츠 대학교 애머스트 대학의 연구원들이 대형 신경망 훈련을 위한 수명 주기 평가를 수행하여 AI 모델에서 배출되는 이산화탄소를 설명하는 논문을 발표했습니다.

10년 전에는 NLP 모델을 기존 서버나 랩톱에서 개발하고 교육할 수 있었지만 이제는 그렇지 않습니다. 오늘날 매우 정확한 모델에는 여러 TPU(텐서 처리 장치) 또는 GPU 인스턴스가 필요합니다. 모델 아키텍처 및 하이퍼파라미터에 대한 연구 및 실험은 하드웨어 비용을 더욱 증가시켰습니다.

이러한 하드웨어에 몇 주 동안 전원을 공급하면 환경에 상당한 영향을 미칩니다. 이 에너지의 일부는 재생 가능한 자원에서 제공되지만 현재 이를 생성하고 저장해야 하는 기술로 제한됩니다. 사실, 대부분의 지역에는 탄소 중립 소스에서 에너지를 끌어낼 수 있는 충분한 시설이 있습니다.

NLP 모델 교육에서 탄소 배출

이 연구에서 연구원들은 대규모 신경망 훈련으로 인한 탄소 배출량과 비용을 특성화했습니다. 그들은 인기 있는 NLP 모델을 개발하고 조정하는 데 몇 킬로와트의 에너지가 필요한지 추정했습니다. 그런 다음 대략적인 전기 비용과 탄소 배출량으로 변환했습니다.

NLP 모델과 다른 익숙한 소비량의 예상 CO2 배출량

연구 결과에 따르면 대규모 NLP 파이프라인을 개발하고 최적화하면 284,000kg의 이산화탄소가 배출될 수 있으며, 이는 일반 자동차(제조 공정 포함)의 평생 배출량의 5배에 해당합니다.

참조:arXiv:1906.02243

재정 및 환경 비용은 모두 AI 모델의 크기에 비례하여 증가합니다. 그러나 모델의 정확도를 더욱 향상시키기 위해 튜닝 기능을 추가하면 관련 비용이 폭발적으로 증가합니다.

보다 구체적으로, 조정 기능(신경 아키텍처 검색이라고도 함)은 집약적인 시행착오를 통해 반복적으로 네트워크 설계를 조정하므로 성능 향상은 거의 없지만 비용은 극도로 높아집니다.

AI 분야의 지속적인 동향을 고려할 때 본 연구의 의의는 크다. 풍부한 데이터로 학습된 네트워크 모델이 다양한 작업에서 유용한 것으로 밝혀지면서 많은 AI 연구 시설에서 효율성을 무시합니다.

읽기:인공 잎은 대기에서 이산화탄소를 줄일 수 있습니다.

계산적으로 효율적인 알고리즘이 존재하지만 TensorFlow 및 PyTorch와 같은 가장 일반적인 딥 러닝 프레임워크와의 비호환성으로 인해 NLP 모델을 최적화하는 데 실제로 거의 사용되지 않습니다.

연구자들에 따르면 이러한 유형의 연구는 자원의 광범위한 사용에 대한 인식을 높이고 마음챙김 실천과 정책을 촉진하기 위해 수행되어야 합니다.