AI는 완전한 어둠 속에서 보이지 않는 물체를 드러낼 수 있습니다.

• MIT 연구원들은 깊은 신경망을 사용하여 완전한 어둠 속에서 보이지 않는 물체를 드러냅니다.
• 생물학적 세포와 조직을 유해한 광선과 강한 빛에 노출시키지 않고 이미지를 생성할 수 있습니다.

대부분의 이미징 시스템은 이미징되는 대상에 대한 왜곡되거나 부분적인 데이터만 생성합니다. 이것은 주로 위상 정보의 부족, 공간 주파수의 손실, 조명의 노이즈 및 광학 트레인의 알 수 없는 산란으로 인해 발생합니다.

지난 몇 년 동안 심층 신경망이라고 하는 기계 학습 기술은 컴퓨터 이미징 분야에서 많은 관심을 받았습니다. 고스트 이미징, 적응 광학, 적응 조명 현미경, 위상 검색, 광학 단층 촬영 및 언더샘플링 이미징을 비롯한 다양한 응용 분야에서 효율적인 솔버로 입증되었습니다.

먼저 MIT 연구원 팀은 심층 신경망을 사용하여 다양한 수준에서 높은 노이즈의 영향을 받는 일관된 위상 검색 문제를 해결했습니다. 간단한 언어로 그들은 완전한 어둠 속에서 보이지 않는 물체를 드러내는 방법을 발견했습니다.

이는 구글 픽셀3 스마트폰에서 볼 수 있는 기존 AI 기반 '야간모드' 기술과 많이 다른데, 노이즈가 심한 여러 장의 이미지를 캡처해 선명한 사진을 찍을 수 있지만 처음에는 약간의 빛이 필요하다. 반면에 MIT의 기술은 완전히 어두운 방에서 작동합니다. 픽셀당 하나의 광자만 필요합니다.

그들은 이것을 어떻게 했습니까?

연구원들은 처음에 거의 칠흑 같은 조건에서 대상 물체의 사진을 캡처했습니다. 그런 다음 그들은 이 사진에서 투명한 물체를 재창조했습니다. 이를 위해 그들은 인간의 눈에는 보이지 않는 어둡고 거친 사진에서 10,000개 이상의 투명한 유리 같은 에칭을 인식하도록 훈련된 심층 신경망을 사용했습니다.

참조:물리적 검토 편지 | doi:10.1103/PhysRevLett.121.243902 | MIT

어두운 방에서 촬영된 사진 자체는 텔레비전에서 볼 수 있는 정적 노이즈처럼 보였습니다. 신경망은 시각적 노이즈 아래 해당 패턴과 함께 이러한 이미지에 대해 훈련됩니다.

점차적으로 네트워크는 시각적 노이즈를 이해하는 법을 배웠습니다. 결국 흐릿한 사진을 생성했습니다. 이 사진을 더 명확하게 만들기 위해 팀은 결과물에 초점을 맞출 수 있는 레이어를 추가했습니다.

연구원 제공

위 이미지에서 투명 에칭(맨 오른쪽)에서 생성된 어두운 이미지(왼쪽 위)를 볼 수 있습니다. 연구원들은 빛의 행동을 기반으로 한 물리 알고리즘을 사용하여 물체를 재현했습니다(오른쪽 상단). 머신 러닝 기술은 상당히 흐릿한 이미지를 생성했습니다(왼쪽 하단). 물리적 알고리즘과 머신 러닝 기술을 결합하여 실제 물체/장면의 가장 정확한 이미지(오른쪽 하단)를 재구성했습니다.

유용한 방법은 무엇입니까?

AI는 매우 낮은 조명으로 캡처한 사진에서 생물학적 세포 및 조직과 같은 투명한 특징을 조명하는 데 사용될 수 있습니다. 세포는 강한 빛에 노출되면 쉽게 타거나 손상될 수 있으며 이미지에 아무것도 남지 않습니다. 또한 환자가 엑스레이에 노출되면 암이 발병할 가능성이 있습니다.

읽기:암흑 광자라고 불리는 것이 있습니까 | 가상의 입자

이 연구는 다음과 같은 경우에 도움이 될 수 있습니다. 연구자들은 세포와 조직을 더 적은 광자에 노출시켜 동일한 이미지 품질을 얻는 것을 가능하게 했습니다. 이것은 표본을 샘플링할 때 생물학적 표본의 손상을 크게 줄입니다. 또한, 이 기술은 천체 영상 분야에서 잠재적으로 유용한 다양한 응용 프로그램을 제공할 수 있습니다.