Microsoft, 170억 개의 매개변수로 가장 큰 언어 생성 모델 구축

• Microsoft는 170억 개의 매개변수가 있는 세계 최대 모델인 Turing Natural Language Generation을 소개합니다.
• 텍스트 문서의 추상적 요약, 질문에 대한 직접적인 답변, 문장을 완성하는 단어를 생성합니다.
• 모델은 다양한 상황에서 인간이 할 수 있는 한 정확하고 직접적이며 유창하게 반응합니다.

GPT-2 및 BERT와 같은 대규모 딥 러닝 언어 모델은 인터넷에서 사용할 수 있는 모든 텍스트에 대해 훈련된 수십억 개의 매개변수를 사용하여 문서 이해, 대화형 에이전트 및 질문과 같은 다양한 자연어 처리(NLP) 작업을 향상시켰습니다. 대답합니다.

더 다양하고 포괄적인 사전 훈련 데이터가 있는 더 큰 모델은 더 적은 훈련 샘플로도 더 나은 성능을 발휘하는 것으로 관찰되었습니다. 따라서 각 작업에 대해 새 모델을 개별적으로 훈련하는 대신 대규모 중앙 집중식 모델을 훈련하고 다양한 작업 간에 기능을 공유하는 것이 더 효율적입니다.

이러한 추세에 따라 Microsoft의 연구원들은 170억 개의 매개 변수를 가진 세계 최대 모델인 Turing Natural Language Generation(T-NLG)을 도입했습니다. 다양한 언어 모델링 벤치마크에서 기존의 초기 모델보다 성능이 뛰어납니다.

T-NLG는 미완성 문장, 입력 문서 요약 및 질문에 대한 직접적인 답변을 완성하는 단어를 생성할 수 있습니다. 요약을 작성하거나 질문에 답하기 위해 문서에서 콘텐츠를 추출하는 데 의존하는 다른 NLP 시스템과 달리 새로운 생성 모델은 다양한 상황에서 인간이 할 수 있는 한 정확하고 직접적이며 유창하게 응답합니다.

T-NLG는 문장을 복사하는 대신 완전한 문장으로 질문에 직접 답변합니다.

T-NLG 교육

하나의 GPU(32GB 메모리 포함)는 수십억 개의 매개변수를 처리할 수 없기 때문에 모델 자체를 병렬화하거나 여러 GPU에서 훈련시키기 위해 모델을 조각으로 나누어야 합니다.

이 연구에서 연구원들은 NVIDIA DGX-2 하드웨어 설정(GPU 간 통신을 더 빠르게 만들기 위해)과 텐서 슬라이싱(4개의 NVIDIA V100 GPU에서 모델을 분할하기 위해)을 활용했습니다. DeepSpeed ​​라이브러리와 Zero 옵티마이저를 사용하여 더 적은 수의 GPU로 T-NLG를 매우 효율적으로 훈련할 수 있었습니다.

표준 작업 대비 성능

그런 다음 두 가지 표준 작업, 즉 LAMBADA 다음 단어 예측 정확도(높을수록 좋음) 및 Wikitext-103 당혹도(낮을수록 좋음)에서 사전 훈련된 T-NLG의 성능을 다른 강력한 변환기 언어 모델과 비교했습니다. 두 경우 모두 T-NLG가 더 나은 성과를 보였습니다.

참조:Microsoft | GitHub

질문 응답 실적

문법적 정확성 및 사실적 정확성과 같은 특성을 테스트하기 위해 연구자들은 인간 주석가에게 도움을 요청했습니다. 그들은 새 모델을 LSTM 모델(CopyNet과 유사)과 비교했습니다.

활성 요약의 성능

T-NLG는 다양한 텍스트 문서(Word 문서, 블로그 게시물, 이메일, PowerPoint 프레젠테이션, Excel 시트 포함)에 대해 인간과 유사한 추상적인 요약을 작성할 수 있지만 다른 기존 NLP 모델과 비교했을 때 그 성능은 뛰어납니다.

모든 종류의 텍스트를 요약할 수 있도록 새로운 모델을 더 다재다능하게 만들기 위해 연구원들은 공개적으로 사용 가능한 요약 데이터 세트에 대해 훈련했습니다. 그런 다음 PEGASUS라는 다른 대형 변환기 기반 언어 모델 및 이전 버전과 비교했습니다. 이번에는 자연어 처리에서 자동 요약을 평가하는 데 사용되는 메트릭 집합인 ROUGE 점수를 보고했습니다.

응용 프로그램

Microsoft는 대화형 인공 지능 분야에서 획기적인 성과를 거두었습니다. 앞으로 몇 년 안에 T-NLG를 Microsoft Office 제품군에 통합할 예정입니다. 이 제품군은 이메일과 문서를 요약하여 사용자의 시간을 절약할 뿐만 아니라 쓰기 지원을 제공하고 독자가 콘텐츠에 대해 질문할 수 있는 질문에 답변할 것입니다.

읽기:Microsoft는 완전히 자동화된 DNA 데이터 저장소를 구축합니다.

또한 이 발견은 보다 정확하고 유창한 디지털 비서 및 챗봇을 위한 길을 열어 기업의 영업 및 고객 관계 관리를 돕습니다.