GLTR:컴퓨터 생성 언어를 감지하는 새로운 방법

• 새로운 통계 방법은 AI 생성 콘텐츠를 감지할 수 있습니다.
• 텍스트의 오류에 플래그를 지정하는 대신 너무 예측 가능한 텍스트를 식별하여 작동합니다.

최근 10년 동안 자연어 처리 커뮤니티는 점점 더 크고 스마트한 언어 모델의 성장을 목격했습니다.

인공 지능과 인간의 자연어가 탑재된 심층 신경망 시대에 Harvard University와 IBM Research의 연구원은 컴퓨터 생성 텍스트를 감지하는 통계적 방법을 개발했습니다.

그들은 인간의 언어와 기계가 생성한 자연어 및 텍스트를 구별하기 위해 대화형 도구(공개적으로 사용 가능)를 구축했습니다. 목적은 사람들이 가짜와 진짜에 대해 정보에 입각한 결정을 내릴 수 있도록 더 많은 정보를 제공하는 것입니다.

인공 지능 모델은 일반적으로 수백만 개의 텍스트(월드와이드 웹에서 가져옴)로 훈련됩니다. 그들은 인간의 언어를 모방하기 위해 가장 자주 뒤따르는 단어를 예측합니다. 예를 들어, "You"라는 단어는 정적으로 "we", "have" 및 "are"라는 단어가 뒤따를 가능성이 가장 높습니다.

이 방법론을 사용하여 연구자들은 [텍스트의 오류를 표시하는 대신] 너무 예측 가능한 텍스트를 감지하는 도구를 구축했습니다. 이를 통해 AI와 인간이 함께 작업하여 기계 생성 언어를 식별할 수 있습니다.

작동 방식

GLTR(Giant Language model Test Room)이라는 새로운 기술은 웹사이트의 약 4,500만 텍스트로 훈련된 모델을 기반으로 합니다. 공개적으로 사용 가능한 가장 큰 모델 중 하나인 GPT-2에 액세스할 수 있습니다.

따라서 GPT-2가 각 위치(텍스트 입력에 대해)에서 예측한 것을 관찰하고 GPT-2 및 기타 여러 모델에 대해 효율적으로 수행합니다.

GLTR은 자동으로 생성된 텍스트를 식별하는 시각적 포렌식 도구를 나타냅니다. 전체 텍스트에 대한 정보를 집계하는 3개의 다른 히스토그램을 보여줍니다.

참조:Harvard Gazette | GitHub

도구 상자에 단락을 입력하기만 하면 모든 단어가 4가지 색상으로 강조 표시되며, 각각은 다음에 나오는 내용의 맥락에서 단어의 예측 가능성을 나타냅니다. 보라색은 단어를 예측할 수 없음을 의미합니다. 빨간색, 약간 예측 가능; 노란색, 적당히 예측 가능; 녹색은 단락에서 매우 예측 가능한 단어를 보여줍니다.

기계 생성 단락은 다음과 같습니다. –

첫 번째 히스토그램은 단락에 나타나는 각 범주의 단어 수를 보여줍니다. 두 번째는 가장 높은 예측 단어와 다음 단어의 확률 사이의 비율을 보여줍니다. 세 번째 히스토그램은 예측 엔트로피에 대한 분포를 나타냅니다.

물론 인간이 쓴 텍스트, 특히 연구 논문 및 학술 텍스트의 경우 불확실성이 더 높을 것입니다. EAGLE 은하에 대한 연구 논문의 초록은 다음과 같습니다. –

읽기:인공 지능은 신경 활동에서 음성을 생성할 수 있습니다.

연구팀은 또한 컴퓨터 공학 졸업생들과 함께 새로운 도구를 테스트했습니다. 학생들은 컴퓨터에서 생성된 단락의 50%를 감지할 수 있었지만 이 도구의 도움으로 72%를 식별했습니다. 이 비율은 시스템에 대한 약간의 교육으로 훨씬 더 좋아질 수 있습니다.