AI, 깨끗한 학습 데이터 없이 노이즈 이미지 복원

• 뉴럴 네트워크, 노이즈 없는 사진이 어떤 모습인지 학습한 적 없이 자동으로 사진 향상
• 저조도 사진, 자기공명영상(MRI), 물리 기반 이미지 합성에 활용 가능

저조도, 픽셀화, 거친 사진에서 포토샵 없이 아티팩트와 노이즈 제거할 수 있다면 좋지 않을까요? 새로운 머신러닝 모델이 손상된 이미지 샘플만 관찰해 똑같이 해냅니다.

손상된 측정값에서 신호 재구성(signal reconstruction)은 통계적 데이터 분석 핵심 부분. 요즘 머신러닝 기술 진전으로 신호 손상 통계적 모델링 회피 관심 증가.

MIT, 엔비디아(NVIDIA), 알토 대학교(Aalto University) 연구진이 뉴럴 네트워크 사용해 기본 통계적 추론을 신호 재구성에 적용. 깨끗한 이미지 전혀 안 보고 신호 복원 학습.

이 인공지능 시스템은 노이즈 없는 사진이 어떤 모습인지 학습한 적 없이 자동으로 사진 향상시킵니다.

기존 머신러닝 기술은 컨볼루션 뉴럴 네트워크 같은 회귀 모델을 손상된 입력(노이즈 이미지)과 깨끗한 타겟(수정된 이미지) 쌍 포함 큰 데이터셋으로 훈련시키고 경험적 위험 줄이는 것 포함.

반면 이 방법에선 네트워크가 각 소스 이미지 두 번 관찰 가능하면 깨끗한 타겟 완전히 폐기 가능. 상당한(50%) 아웃라이어 콘텐츠 가진 이미지 수정 훈련 가능. 때론 깨끗한 예시 사용 모델보다 성능 우수. 게다가 깨끗한 타겟 얻는 것보다 덜 비용 많이 드는 작업.

참조: arXiv:1803.04189 | NVIDIA

50,000개 이미지로 네트워크 훈련 위해 연구진은 엔비디아 테슬라 P100 GPU, CUDA 딥 뉴럴 네트워크 라이브러리로 구동되는 텐서플로 프레임워크 사용.

응용

깨끗한 훈련 데이터 획득이 어려운 수많은 실세계 시나리오: 천문 사진 같은 저조도 이미징, 자기공명영상, 물리 기반 이미지 합성.

분명 네트워크는 입력 이미지에 없는 특징 학습 못 하지만, 깨끗한 타겟으로 훈련해도 마찬가지.

MRI 재구성 예시 | 연구진 제공

참고: 엔비디아 AI, 30fps 비디오 240fps로 변환

이 연구에서 연구진은 표준 노이즈 분포(첨가 가우시안 노이즈 포함) 시작해 이미지 합성에서 더 까다롭고 분석적으로 다루기 힘든 몬테카를로 노이즈로 진행. MRI(자기공명영상)에서 서브나이퀴스트(sub-Nyquist) 스펙트럼 샘플링 이미지 재구성도 노이즈 이미지만으로 학습 가능함 관찰.