마이크로소프트 어텐간(AttnGAN) 공개: 텍스트 설명을 포토리얼리스틱 이미지로 변환하는 AI

• 마이크로소프트 어텐간(AttnGAN)이 일반 텍스트와 캡션에서 고충실도 이미지 생성.
• 이미지 생성 제너레이터와 사실성 평가 디스크리미네이터 2모델 아키텍처 채택.
• 프롬프트 넘어 문맥상 관련 세부사항 추가로 내부 '상상력' 계층 입증.
• 향후 대본 가이드 완전 자동 애니메이션 제작 등 응용 기대.

이전 연구들이 텍스트-이미지 합성 개선해왔으나, 마이크로소프트 어텐간은 방대한 레이블 이미지 라이브러리 활용해 간결한 텍스트 프롬프트에서 포토리얼리스틱 이미지 생성으로 분야 발전시켰습니다.

마이크로소프트 리서치에서 개발된 어텐간은 프롬프트 개별 단어를 파싱해 이미지 구성 가이드. 팀에 따르면 기존 최첨단 모델 대비 약 3배 높은 이미지 품질 달성.

봇의 창작 과정

파란 몸체, 빨간 날개, 짧은 부리 새 그려달라 요청받으면 거친 윤곽부터 시작해 색상과 디테일 채워나갑니다. 어텐간도 같은 논리 따라 각 단어 분석해 상세하고 일관된 이미지 구축.

봇은 가전부터 야생동물까지 모든 주제 렌더링 가능하며 명시되지 않은 문맥상 적절한 배경 요소 자주 추가해 '상상력' 능력 과시.

이미지는 픽셀 단위 처음부터 합성돼 현실에 존재하지 않는 장면 창조 가능. 이 생성 작업은 기존 사진 레이블링보다 본질적으로 더 복잡.

어텐간 이미지 생성 방식

1. 제너레이터(Generator): 텍스트 설명 기반 이미지 생성.
2. 디스크리미네이터(Discriminator): 생성된 이미지 진위성을 설명과 대조 평가.

두 모델 공동 훈련으로 제너레이터가 디스크리미네이터 피드백 학습해 점진적 고충실도 달성.

수천 쌍 포토-캡션 데이터셋으로 훈련해 어텐간이 특정 단어를 시각 패턴에 매핑 학습. 예: '코끼리' 단어가 일반적인 코끼리 외형 매칭 이미지 생성 유도.

시스템이 복잡 문장 개별 단어로 분해해 각 단어를 이미지 영역과 정렬. 훈련 중 '인공 상식' 학습해 누락 디테일 채워 사실적 구성 보장.

이 예시에서 프롬프트는 새만 언급했으나 어텐간이 나뭇가지 위 지능적으로 배치—훈련 데이터서 학습한 일반적인 실세계 문맥. 모델의 문맥 지식 적용 능력 입증.

arXiv:1711.10485 – 어텐간 상세 마이크로소프트 연구 논문.

이층버스가 호수 위 떠있는 장면 묘사 요청받자 모델이 흐릿하지만 인식 가능한 혼합 장면 생성, 프롬프트 내 상충 요소 조화 어려움 보여줌.

성능 및 활용 사례

어텐간 이전 벤치마크 능가, COCO 데이터셋 인셉션 스코어 170.25% 개선, CUB 데이터셋 14.14% 향상 달성.

잠재 응용: 인테리어 디자이너 스케치 어시스턴트, 음성 활성화 사진 보정, 향후 발전으로 시나리오 기반 완전 자동 애니메이션 제작.

기타 AI 아트 생성기

마이크로소프트만 예술과 AI 결합 아닌 구글 딥드림(DeepDream) 2016년 환각적 이미지 선보였고, 타코트론 2(Tacotron 2) 등 음악·음성 합성도 제작. 페이스북과 엔비디아도 자동차, 선박, 동물, 합성 셀러브리티 아바타 등 생성 모델 공개.

구글 인간같은 음성 AI 타코트론 2 참고.