AI, 딥뉴럴네트워크로 완전한 어둠 속 보이지 않는 물체 포착

• MIT 연구진, 딥뉴럴네트워크 사용해 완전한 어둠 속 보이지 않는 물체 드러내기
• 생물학적 세포와 조직을 유해 광선과 강렬한 빛 노출 없이 이미징 가능

대부분 이미징 시스템은 이미징 대상 물체에 대해 왜곡되거나 부분적인 데이터만 산출합니다. 이는 주로 위상 정보 부족, 공간 주파수 손실, 조명 잡음, 광학계 내 알려지지 않은 산란체 때문입니다.

지난 몇 년간 딥뉴럴네트워크라는 머신러닝 기법이 계산 이미징 분야에서 많은 주목을 받았습니다. 고스트 이미징, 적응 광학, 적응 조명 현미경, 위상 추출, 광학 단층촬영, 언더샘플링 이미징 등 다양한 응용에서 효율적인 솔버임이 입증되었습니다.

처음으로 MIT 연구팀이 서로 다른 레벨의 높은 잡음에 영향을 받는 결맞는 위상 추출 문제를 풀기 위해 딥뉴럴네트워크를 사용했습니다. 간단히 말해, 완전한 어둠 속에서 보이지 않는 물체를 드러내는 방법을 발견했습니다.

이는 구글 픽셀 3 스마트폰의 기존 AI 기반 '나이트 모드' 기술과 많이 다릅니다. 여러 노이즈 이미지를 캡처해 선명한 사진을 만들 수 있지만, 시작하려면 약간의 빛이 필요합니다. 반면 MIT 기술은 완전히 어두운 방에서도 작동합니다. 픽셀당 단 하나의 광자만 필요합니다.

어떻게 했을까?

연구자들은 먼저 거의 칠흑 같은 조건에서 대상 물체 사진을 찍었습니다. 그런 다음 이 사진들에서 투명 물체를 재현했습니다. 이를 위해 1만 개 이상의 투명 유리 같은 에칭을 어둡고 입자가 많은 사진에서 인식하도록 훈련된 딥뉴럴네트워크를 사용했습니다. 이는 육안으로는 보이지 않습니다.

참조: Physical Review Letters | doi:10.1103/PhysRevLett.121.243902 | MIT

어두운 방에서 찍은 사진들은 텔레비전에서 볼 수 있는 정적 잡음처럼 보였습니다. 신경망은 이 이미지들과 시각적 잡음 아래 해당 패턴들과 함께 훈련되었습니다.

점차 네트워크는 시각적 잡음에서 의미를 찾게 학습했습니다. 결국 흐릿한 사진들을 생성했습니다. 이 사진들을 더 선명하게 만들기 위해 팀은 출력을 초점화할 수 있는 레이어를 추가했습니다.

연구진 제공

위 이미지에서 어두운 이미지(왼쪽 위)가 투명 에칭(맨 오른쪽)에서 생성된 것을 볼 수 있습니다. 연구자들은 빛의 행동을 기반으로 한 물리 알고리즘을 사용해 물체(오른쪽 위)를 재현했습니다. 머신러닝 기법은 꽤 흐릿한 이미지(왼쪽 아래)를 생성했습니다. 물리 알고리즘과 머신러닝 기법을 결합해 실제 물체/장면의 가장 정확한 이미지(오른쪽 아래)를 재구성했습니다.

어떻게 유용한가?

이 AI는 생물학적 세포와 조직 같은 투명 특징을 매우 낮은 빛으로 촬영한 사진에서 조명하는 데 사용될 수 있습니다. 세포는 강렬한 빛에 노출되면 쉽게 타거나 손상되며, 그러면 이미징할 것이 아무것도 남지 않습니다. 또한 환자가 X선에 노출되면 암 발병 가능성이 있습니다.

참고: 다크 포톤이라 불리는 가설적 입자가 존재하는가?

이 연구는 그런 경우에 도움이 될 수 있습니다: 연구자들이 세포와 조직을 더 적은 광자에 노출시켜 동일한 화질 이미지를 얻는 것을 가능하게 했습니다. 이는 생물학적 시료 채취 시 손상을 크게 줄입니다. 또한 천문학 이미징 분야에서 잠재적으로 유용한 다양한 응용을 제공할 수 있습니다.