마이크로소프트, 170억 파라미터 세계 최대 언어 모델 '튜링-NLG' 공개

거대 언어 모델의 새 이정표

GPT-2, BERT 등 인터넷 전체 텍스트로 훈련된 수십억 파라미터 대규모 딥러닝 언어 모델이 문서 이해, 대화 에이전트, 질의응답 등 NLP 작업 성능 대폭 향상. 더 크고 다양한 사전 훈련 데이터 가진 큰 모델이 적은 훈련 샘플로도 더 잘 수행함 관찰. 각 작업별 새 모델 훈련 대신 거대 중앙집중형 모델 훈련해 여러 작업에 기능 공유가 더 효율적.

이 흐름 따라 MS 연구진이 170억 파라미터 세계 최대 모델 '튜링 자연어 생성(T-NLG)' 공개. 다양한 언어 모델링 벤치마크에서 기존 최첨단 모델 능가.

T-NLG 능력

• 미완성 문장 완성할 단어 생성
• 입력 문서 추상적 요약 생성
• 질문에 직접 답변 생성

기존 NLP 시스템이 문서에서 내용 추출해 요약/답변 만드는 것과 달리, 새 생성 모델은 인간이 다양한 상황에서 할 법한 정확하고 직접적이며 유창한 응답 생성.

훈련 인프라

단일 GPU(32GB)로 수십억 파라미터 처리 불가. 모델 병렬화하거나 슬라이스로 분할해 다중 GPU 분산 훈련 필요. 연구진 엔비디아 DGX-2 하드웨어(GPU 간 통신 가속)와 텐서 슬라이싱(모델을 4개 V100 GPU에 분할) 활용. DeepSpeed 라이브러리와 Zero 옵티마이저로 적은 GPU로 T-NLG 효율적 훈련.

성능 평가

• 표준 작업: LAMBADA 다음 단어 예측 정확도(높을수록 좋음), WikiText-103 퍼플렉시티(낮을수록 좋음) 모두 T-NLG 우위
• 질의응답: 인간 평가자 도움으로 문법적/사실적 정확성 평가. LSTM 모델(CopyNet 유사)과 비교
• 요약: 워드 문서, 블로그, 이메일, 파워포인트, 엑셀 등 다양한 문서 인간다운 추상 요약 생성. 공개 요약 데이터셋으로 추가 훈련 후 PEGASUS 등 대형 트랜스포머 모델과 ROUGE 지표로 비교

응용 전망

MS 대화형 AI 혁신 달성. 향후 오피스 스위트 통합해 이메일/문서 요약으로 시간 절약, 글쓰기 지원, 독자 질의 응답 제공. 더 정확하고 유창한 디지털 어시스턴트와 챗봇으로 영업·고객관계 지원.