GLTR: AI 생성 텍스트 탐지하는 통계 도구… '예측 가능성'으로 가짜 글 식별

AI 글쓰기 발전 속도, 탐지 기술도 진화해야

최근 10년간 자연어 처리 커뮤니티는 점점 더 크고 똑똑한 언어 모델 성장을 목격했습니다.

인공지능과 인간 자연어를 갖춘 심층신경망 시대에 하버드대와 IBM 리서치 연구진이 컴퓨터 생성 텍스트를 탐지하는 통계적 방법을 개발했습니다.

이들은 자연 인간 언어와 인간 음성에서 생성된 기계 텍스트를 구별하는 대화형 도구(공개)를 만들었습니다. 목적은 사람들이 가짜와 진짜를 판별해 정보에 입각한 결정을 내릴 수 있도록 더 많은 정보를 제공하는 것입니다.

인공지능 모델은 보통 전 세계 웹에서 가져온 수백만 텍스트로 훈련됩니다. 서로 가장 자주 뒤따르는 단어를 예측해 인간 언어를 모방합니다. 예를 들어 "You"라는 단어는 통계적으로 "were", "have", "are"가 뒤따를 가능성이 가장 높습니다.

이 방법론을 사용해 연구자들은 텍스트에서 오류를 플래깅하는 대신 '너무 예측 가능한' 텍스트를 식별하는 도구를 만들었습니다. 이는 AI와 인간이 협력해 기계 생성 언어를 식별할 수 있게 합니다.

작동 원리: GLTR(Giant Language model Test Room)

새 기법 — '거대 언어 모델 테스트 룸(GLTR)' — 은 약 4,500만 웹사이트 텍스트로 훈련된 모델 기반입니다. 가장 큰 공개 모델 중 하나인 GPT-2에 접근할 수 있습니다.

따라서 GLTR은 GPT-2가 어떤 텍스트 입력에서든 각 위치에서 무엇을 예측했을지 관찰하고, GPT-2와 다른 많은 모델에 대해 효율적으로 작동합니다.

GLTR은 자동 생성 텍스트를 식별하는 시각적 포렌식 도구입니다. 전체 텍스트에 걸쳐 정보를 집계하는 3가지 히스토그램을 보여줍니다.

참고: The Harvard Gazette | GitHub

도구 상자에 문단을 입력하면 문맥상 뒤따르는 단어 예측 가능성에 따라 모든 단어를 4가지 색으로 하이라이트합니다. 보라색: 예측 불가; 빨간색: 약간 예측 가능; 노란색: 중간 예측 가능; 녹색: 높은 예측 가능.

기계 생성 문단은 이렇게 보입니다 —

첫 번째 히스토그램은 각 범주에서 몇 단어가 문단에 나타나는지 보여줍니다. 두 번째는 최고 예측 단어와 다음 단어 확률 비율을 보여줍니다. 세 번째 히스토그램은 예측 엔트로피 분포를 나타냅니다.

물론 불확실성은 인간 작성 텍스트, 특히 연구 논문과 학술 텍스트에서 더 높습니다. EAGLE 은하 연구 논문 초록은 이렇게 보입니다 —

연구팀은 컴퓨터과학 졸업생들과 새 도구도 테스트했습니다. 학생들은 도움 없이 컴퓨터 생성 문단 50% 탐지했으나, 도구 도움으로 72% 식별했습니다. 약간 시스템 훈련으로 비율은 더 높아질 수 있습니다.