대형 신경망 훈련 한 번에 이산화탄소 284톤 배출… 자동차 5대 평생 배출량과 맞먹어

AI 모델 훈련의 숨겨진 환경 비용

인공지능(AI) 분야 최근 발전으로 방대 데이터로 훈련된 대형 네트워크의 새 시대가 열렸습니다. 이 네트워크들은 여러 기본 자연어 처리(NLP) 작업에서 급격한 정확도 향상을 달성했습니다.

특히 가장 자원 집약적인 모델들이 최고 점수를 기록했습니다. 그러나 이런 모델 훈련에는 엄청난 계산 자원이 필요하며, 이는 막대한 에너지를 요구합니다.

최근 매사추세츠대학 앰허스트 캠퍼스 연구진이 대형 신경망 훈련에 대한 생애주기 평가를 수행해 AI 모델의 이산화탄소 배출량을 설명하는 논문을 발표했습니다.

10년 전만 해도 NLP 모델은 일반 서버나 노트북에서 개발·훈련 가능했지만, 이제는 아닙니다. 오늘날 고정확도 모델은 TPU(텐서 처리 장치)나 GPU 다중 인스턴스가 필요합니다. 모델 아키텍처와 하이퍼파라미터 연구·실험이 하드웨어 비용을 더 높였습니다.

이런 하드웨어를 몇 주간 가동하면 환경에 상당한 영향을 미칩니다. 이 에너지 일부는 재생 가능 출처에서 오지만, 현재 우리가 에너지를 생성하고 저장하는 기술로는 제한적입니다. 사실 대부분 지역은 탄소 중립 출처에서 에너지를 얻기 충분한 시설을 갖추지 못했습니다.

NLP 모델 훈련 탄소 배출량

이 연구에서 연구자들은 대형 신경망 훈련 결과로 발생하는 탄소 배출량과 비용을 특성화했습니다. 인기 NLP 모델 개발·튜닝에 몇 킬로와트 에너지가 드는지 추정하고, 이를 대략적 전기 비용과 탄소 배출량으로 환산했습니다.

NLP 모델 예상 CO2 배출량 vs 기타 친숙한 소비량 비교

연구 결과, 대형 NLP 파이프라인 개발·최적화에 284,000kg 이산화탄소가 배출될 수 있으며, 이는 평균 자동차 평생 배출량(제조 과정 포함)의 5배에 해당합니다.

참고: arXiv:1906.02243

재정적·환경적 비용 모두 AI 모델 크기에 비례해 증가합니다. 하지만 모델 정확도를 더 높이기 위해 튜닝 기능을 추가하면 관련 비용이 폭발적으로 늘어납니다.

구체적으로, 튜닝 기능(신경망 아키텍처 탐색이라고도 함) — 시행착오를 통해 네트워크 설계를 반복적으로 조정 — 은 적은 성능 향상에 극도로 높은 비용을 초래합니다.

AI 분야 진행 추세를 고려하면 이 연구의 의의는 큽니다. 많은 AI 연구소가 효율성을 간과합니다. 방대한 데이터로 훈련된 네트워크 모델이 다양한 작업에 유용하다는 것이 밝혀졌기 때문입니다.

계산 효율적 알고리즘이 존재하지만, 텐서플로(TensorFlow)와 파이토치(PyTorch) 같은 일반적인 딥러닝 프레임워크와의 호환성 문제로 NLP 모델 최적화에 실제로는 거의 사용되지 않습니다.

연구자들에 따르면, 이러한 연구는 자원 광범위한 사용에 대한 인식을 높이고 신중한 관행과 정책을 장려하기 위해 수행돼야 합니다.