AI가 당신의 생각을 시각화 — 일본 연구진, 뇌 기반 이미지 재구성 구현

일본 연구진이 당신이 상상하는 것을 문자 그대로 볼 수 있는 AI를 개발했습니다. 시스템이 인간 뇌 활동에서 딥 이미지 재구성(deep image reconstruction)을 사용합니다. 초기 훈련 후 DNN은 전에 본 적 없는 그림들도 재구성할 수 있었습니다.

최근 진전

지난 몇 년간 fMRI(기능적 자기공명영상)가 머신러닝 기술 기반으로 지각 콘텐츠를 볼 수 있게 했습니다. 하지만 저수준 이미지 베이스 재구성으로 제한됐습니다.

작년 신경과학 발전으로 시각 피질 활동을 딥 신경망(DNN) 계층적 레벨들로 디코딩할 수 있게 됐습니다.

예측된 레벨들은 서로 다른 객체 이미지들에 대한 계산된 특징 어레이에서 상상 객체 카테고리 탐지에 사용될 수 있습니다. 상상 객체 디코딩은 고수준에서 저수준 시각 표현의 점진적 모집을 드러냈습니다. 이는 계층적 시각 특징 데이터 활용 기술을 제공했습니다.

새 이미지 재구성 기술

이제 일본 과학자들이 이미지 픽셀 값들을 최적화해 DNN 특징들과 매칭시키는 이미지 재구성 기술을 개발했습니다. 이는 인간 뇌 활동에서 추출된 다중 레이어들입니다.

참조: bioRxiv | doi: 10.1101/240317

시스템은 fMRI 스캐너에서 오는 신호들을 DNN으로 실시간 분석해 사람들이 보는 것을 재생성합니다. 시스템 훈련을 위해 자연 세계 사진들을 AI와 참가자 모두에게 보여줘, 사람들이 다른 사진들을 지각할 때 뇌 혈류 패턴을 네트워크가 정밀히 결정할 수 있게 했습니다.

훈련 1단계(10주) 후, DNN은 전에 본 적 없는 그림들(숫자, 알파벳)을 실시간으로 재구성할 수 있었습니다.

알파벳 문자 재구성

컬러 인공 도형 재구성 품질

인간 심리학자들처럼 추측으로 학습합니다. 당신이 특정 숫자 생각할 때 뇌파가 어떻게 보이는지 압니다. 시스템은 당신의 뇌 활동을 기반으로 보고 싶은 출력을 추측해 생각을 시각화합니다.

인간과 달리 많은 추측을 할 수 있습니다. 가진 모든 데이터(DNN 형태로 뇌파에서 추출)를 취해 이미지로 변환합니다. 시스템은 이걸 반복해 납득할 만한 이미지를 재생성합니다.

관련 기사: 구글 AI가 인간 코드 능가하는 AI 생성

앞으로의 전망

최근 AI 발전 중 이거야말로 공상과학 같습니다. 이 기술은 말할 수 없는 사람들에게 정말 도움이 될 수 있습니다. 지금은 마음 읽기에서 완벽함이 부족하므로 연구가 더 필요합니다.

한편 미래에 더 진보된 AI 접근법들이 새로운 소통 양식들을 열 수 있습니다. 앞서 말했듯 가능성은 무한합니다.