AI는 깨끗한 훈련 데이터 없이 노이즈가 있는 이미지를 제거합니다.

• 신경망은 노이즈 없는 사진이 어떻게 보이는지에 대한 교육을 받지 않고도 자동으로 사진을 향상시킬 수 있습니다.
• 저조도 사진 촬영, 자기공명영상, 물리 기반 이미지 합성에 사용할 수 있습니다. 

저조도, 픽셀화 또는 거친 사진을 촬영하고 포토샵을 사용하지 않고도 아티팩트와 노이즈를 제거할 수 있다면 좋지 않을까요? 새로운 기계 학습 모델은 손상된 이미지 샘플을 관찰하는 것만으로도 동일한 작업을 수행할 수 있습니다.

손상된 측정으로부터 신호를 재구성하는 것은 통계 데이터 분석의 중요한 부분입니다. 최근 기계 학습 기술의 발전으로 인해 신호 손상에 대한 기존의 통계 모델링을 피하는 데 많은 관심이 쏠리고 있습니다.

MIT, NVIDIA 및 Aalto University의 연구원들은 신경망을 사용하여 신호 재구성에 기본적인 통계적 추론을 적용했습니다. 깨끗한 신호를 보지 않고도 신호를 복원하는 방법을 학습합니다.

다른 최첨단 방식이나 최근 이미지 강화 AI를 개발하는 것과는 다르다. 이 분야의 다른 기계 학습 기술은 노이즈가 있는 사진과 깨끗한 사진을 모두 표시하여 사진을 복원하도록 신경망을 훈련하는 데 중점을 두고 있지만, 이 방법에는 입자 또는 노이즈가 있는 입력 이미지 쌍만 필요합니다.

이 인공 지능 시스템은 노이즈 없는 사진이 어떤 것인지 교육받지 않고도 자동으로 사진을 향상시킬 수 있습니다.

기존의 기계 학습 기술에는 손상된 입력(노이즈가 있는 이미지)과 깨끗한 대상(고정 이미지) 쌍을 포함하는 대규모 데이터 세트를 사용하여 컨볼루셔널 신경망과 같은 회귀 모델을 훈련하고 경험적 위험을 줄이는 작업이 포함됩니다.

반면, 이 방법에서는 네트워크가 각 소스 이미지를 두 번 관찰할 수 있는 한 깨끗한 대상을 완전히 폐기할 수 있습니다. 중요한(50%) 이상치 콘텐츠가 포함된 이미지를 수정하도록 학습할 수 있습니다. 때로는 깨끗한 예시를 사용하여 모델보다 성능이 뛰어난 경우도 있습니다. 게다가 깨끗한 목표를 얻는 것보다 비용이 덜 드는 작업입니다. 

참조:arXiv:1803.04189 | 엔비디아

50,000개의 이미지로 네트워크를 훈련시키기 위해 연구원들은 CUDA 심층 신경망 라이브러리가 지원하는 TensorFlow 프레임워크와 함께 NVIDIA Tesla P100 GPU를 사용했습니다.

애플리케이션

천문 사진, 자기공명영상, 물리 기반 이미지 합성과 같은 저조도 영상 등 깨끗한 훈련 데이터를 획득하는 것이 어려운 실제 시나리오가 많이 있습니다.

분명히 네트워크는 입력 이미지에 없는 특징을 선택하는 방법을 학습할 수 없지만 깨끗한 목표를 사용한 훈련에서도 마찬가지입니다.

MRI 재구성 사례 | 연구원 제공

읽기:NVIDIA AI는 30fps 비디오를 240fps로 변환할 수 있습니다

이 연구에서 연구원들은 표준 노이즈 분포(추가 가우스 노이즈 포함)부터 시작하여 이미지 합성에서 더 까다롭고 분석적으로 다루기 어려운 몬테 카를로 노이즈까지 계속했습니다. 그들은 또한 MRI(자기공명영상)의 나이퀴스트 이하 스펙트럼 샘플링을 통한 이미지 재구성이 잡음이 있는 이미지에서만 학습될 수 있다는 것을 관찰했습니다.