마이크로소프트, 대화형 AI 새 이정표… 멀티태스크 심층신경망으로 GLUE 벤치마크 최고점 경신

강건하고 보편적인 언어 표현의 중요성

강건하고 보편적인 언어 표현은 다양한 자연어 처리(NLP) 작업에서 좋은 결과를 얻는 데 중요합니다. 앙상블 학습은 모델 일반화를 향상시키는 가장 효율적인 접근법 중 하나입니다. 지금까지 개발자들은 기계 독해에서 질의응답에 이르는 다양한 자연어 이해(NLU) 작업에서 최첨단 결과를 얻기 위해 이를 사용해왔습니다.

하지만 이러한 앙상블 모델은 수백 개 심층신경망(DNN) 모델을 포함해 구현 비용이 매우 높습니다. GPT와 BERT 같은 사전훈련 모델도 배포 비용이 매우 높습니다. 예를 들어 GPT는 15억 매개변수로 48개 트랜스포머 레이어로 구성되고, BERT는 3억 4,400만 매개변수로 24개 트랜스포머 레이어로 구성됩니다.

2019년 마이크로소프트는 자체 자연어 처리(NLP) 알고리즘인 멀티태스크 DNN(Multi-Task DNN)을 선보였습니다. 이제 이 알고리즘을 업데이트해 인상적인 결과를 얻었습니다.

지식 증류(Knowledge Distillation) 확장

연구팀은 지식 증류를 사용해 여러 앙상블 모델을 단일 멀티태스크 DNN으로 압축했습니다. 훈련 데이터셋의 모든 단일 작업에 대해 소프트 타겟(soft targets)을 생성하기 위해 앙상블 모델을 [오프라인 방식으로] 사용했습니다. 하드 타겟(hard targets)과 비교해 훈련 샘플당 더 유용한 데이터를 제공합니다.

예를 들어 "어제 저녁 존과 좋은 대화를 나눴다"라는 문장에서 이 구절의 감정이 부정적일 가능성은 낮습니다. 하지만 "어제 저녁 흥미로운 대화를 나눴다"라는 문장은 문맥에 따라 부정적일 수도, 긍정적일 수도 있습니다.

참고: arXiv:1904.09482 | 마이크로소프트 리서치 블로그

연구진은 다양한 작업에서 올바른 타겟과 소프트 타겟을 모두 사용해 단일 MT-DNN을 훈련시켰습니다. cuDNN 가속 파이토치(PyTorch) 딥러닝 프레임워크를 사용해 엔비디아 테슬라 V100 GPU에서 새 모델을 훈련·테스트했습니다.

결과

증류된 MT-DNN을 일반 MT-DNN 및 BERT와 비교했습니다. 결과는 일반 언어 이해 평가(GLUE) 벤치마크 전반적 점수에서 증류된 MT-DNN이 두 모델을 상당한 차이로 능가함을 보여줍니다. GLUE는 다양한 언어 현상에서 시스템 성능을 테스트하는 데 사용됩니다.

GLUE 벤치마크 점수

벤치마크는 텍스트 유사성, 텍스트 함의, 감정 분석, 질의응답 등 9개 NLU 작업으로 구성됩니다. 데이터는 학술·백과사전 텍스트, 뉴스, 소셜미디어 등 다양한 출처에서 가져온 수백 개 문장 쌍을 포함합니다.

이 연구에서 수행된 모든 실험은 증류된 MT-DNN을 통해 학습된 언어 표현이 일반 MT-DNN과 BERT보다 더 보편적이고 강건함을 명확히 보여줍니다.

향후 연구자들은 하드 올바른 타겟과 소프트 타겟을 멀티태스크 학습에 더 잘 결합하는 방법을 찾을 것입니다. 복잡한 모델을 단순한 모델로 압축하는 대신, 지식 증류를 사용해 모델 복잡성과 관계없이 성능을 향상시키는 더 나은 방법을 탐구할 것입니다.