Microsoft, 대화형 AI 분야에서 새로운 돌파구 달성

• Microsoft는 대화형 인공 지능 분야에서 새로운 기록을 만듭니다.
• 다양한 자연어 이해 작업에서 텍스트 표현을 학습하기 위해 향상된 버전의 Multi-Task Deep Neural Network를 개발했습니다.

강력하고 보편적인 언어 표현은 다양한 NLP(자연어 처리) 작업에서 적절한 결과를 얻는 데 중요합니다. 앙상블 학습은 모델 일반화를 향상시키는 가장 효율적인 방법 중 하나입니다. 지금까지 개발자는 이를 사용하여 기계 읽기 이해에서 질문 답변에 이르는 다양한 자연어 이해(NLU) 작업에서 최첨단 결과를 얻었습니다.

그러나 이러한 앙상블 모델에는 수백 개의 DNN(심층 신경망) 모델이 포함되어 있으며 구현하는 데 비용이 상당히 많이 듭니다. GPT 및 BERT와 같은 사전 훈련된 모델도 배포하는 데 비용이 매우 많이 듭니다. 예를 들어, GPT는 15억 개의 매개변수가 있는 48개의 변압기 레이어로 구성되어 있는 반면 BERT에는 3억 4,400만 개의 매개변수가 있는 24개의 변압기 레이어가 있습니다.

2019년에 Microsoft는 Multi-Task DNN이라는 자체 자연어 처리(NLP) 알고리즘을 내놓았습니다. 그들은 이제 인상적인 결과를 얻기 위해 이 알고리즘을 업데이트했습니다.

지식 증류 확장

연구팀은 지식 증류를 사용하여 여러 앙상블 모델을 하나의 Multi-Task DNN으로 압축했습니다. 그들은 앙상블 모델을 사용하여 [오프라인 방식으로] 훈련 데이터 세트의 모든 단일 작업에 대한 소프트 타겟을 생성했습니다. 하드 타겟에 비해 훈련 샘플당 더 많은 유용한 데이터를 제공합니다.

예를 들어 "나는 지난 저녁에 John과 좋은 대화를 나누었습니다"라는 문장을 가정해 보겠습니다. 이 구문의 감정은 부정적일 가능성이 없습니다. 하지만 "We have a intriguing dialogue 어제 저녁"이라는 문장은 문맥에 따라 부정적일 수도 긍정적일 수도 있습니다.

참조:arXiv:1904.09482 | Microsoft 연구 블로그

연구원들은 단일 MT-DNN을 훈련시키기 위해 다양한 작업에 걸쳐 올바른 타겟과 소프트 타겟을 모두 사용했습니다. 그들은 cuDNN 가속 PyTorch 딥 러닝 프레임워크를 활용하여 NVIDIA Tesla V100 GPU에서 새 모델을 훈련하고 테스트했습니다.

결과

그들은 증류된 MT-DNN과 정상 MT-DNN 및 BERT를 비교했습니다. 결과는 증류된 MT-DNN이 광범위한 언어 현상에 대한 시스템 성능을 테스트하는 데 사용되는 GLUE(일반 언어 이해 평가) 벤치마크의 전체 점수 측면에서 두 모델을 모두 능가하는 것으로 나타났습니다.

GLUE 벤치마크 점수

벤치마크는 텍스트 유사성, 텍스트 수반, 감정 분석 및 질문 답변을 포함한 9개의 NLU 작업으로 구성됩니다. 데이터에는 학술 및 백과사전 텍스트, 뉴스 및 소셜 미디어와 같은 다양한 출처에서 가져온 수백 개의 문장 쌍이 포함되어 있습니다.

이 연구에서 수행된 모든 실험은 증류된 MT-DNN을 통해 학습된 언어 표현이 일반 MT-DNN 및 BERT보다 더 보편적이고 강력하다는 것을 분명히 보여줍니다.

읽기:Bosque:루프가 없는 Microsoft의 새로운 프로그래밍 언어

향후 몇 년 동안 연구자들은 다중 작업 학습을 위해 정확한 목표와 소프트 목표를 결합하는 더 나은 방법을 찾으려고 노력할 것입니다. 그리고 복잡한 모델을 단순한 모델로 압축하는 대신 지식 증류를 사용하여 복잡성에 관계없이 모델 성능을 향상시키는 더 나은 방법을 모색할 것입니다.