데이터 복구:NIST의 신경망 모델은 조밀한 이미지에서 작은 개체를 찾습니다.

과학 논문에서 중요한 데이터를 자동으로 캡처하려는 노력의 일환으로 NIST(National Institute of Standards and Technology)의 컴퓨터 과학자는 이미지 데이터에 포함된 조밀하고 품질이 낮은 플롯 내에서 삼각형과 같은 작고 기하학적 개체를 정확하게 감지하는 방법을 개발했습니다. 패턴을 감지하도록 설계된 신경망 접근 방식을 사용하는 NIST 모델은 현대 생활에서 많은 응용 가능성이 있습니다.

NIST의 신경망 모델은 정의된 테스트 이미지 세트에서 개체의 97%를 캡처하여 개체의 중심을 수동으로 선택한 위치의 몇 픽셀 이내로 찾습니다. 연구원들은 NIST 열역학 연구 센터(TRC)의 금속 특성 데이터베이스에서 1900년대 초까지 거슬러 올라가는 저널 기사에서 데이터를 가져왔습니다. 종종 결과는 그래픽 형식으로만 표시되며 때로는 손으로 그리고 스캔이나 복사로 품질이 저하되었습니다. 연구원들은 추가 분석을 위해 원래의 원시 데이터를 복구하기 위해 데이터 포인트의 위치를 ​​추출하기를 원했습니다. 지금까지 이러한 데이터는 수동으로 추출되었습니다.

이미지는 다양한 크기와 선명도의 다양한 마커(채워져 있거나 열려 있는 원형, 삼각형 및 사각형)가 있는 데이터 포인트를 나타냅니다. 이러한 기하학적 마커는 종종 과학 그래프의 데이터에 레이블을 지정하는 데 사용됩니다. 데이터 포인트로 잘못 나타날 수 있는 텍스트, 숫자 및 기타 기호는 신경망을 훈련시키기 전에 그래픽 편집 소프트웨어를 사용하여 그림의 하위 집합에서 수동으로 제거했습니다.

데이터 마커를 정확하게 감지하고 위치를 파악하는 것은 여러 가지 이유로 어려운 일이었습니다. 마커는 명확성과 정확한 모양이 일치하지 않습니다. 열리거나 채워질 수 있으며 때로는 흐릿하거나 왜곡됩니다. 예를 들어 일부 원은 매우 원형으로 보이지만 다른 원은 모양을 완전히 정의하기에 충분한 픽셀이 없습니다. 또한 많은 이미지에는 겹치는 원, 사각형 및 삼각형의 매우 조밀한 패치가 포함되어 있습니다.

연구원들은 최소한 수동 감지만큼 정확하게 플롯 포인트를 식별하는 네트워크 모델을 만들기 위해 노력했습니다. 한 면당 수천 픽셀 크기의 플롯에서 실제 위치의 5픽셀 이내입니다.

NIST 연구원들은 원래 독일 연구원들이 생물의학 이미지 분석을 위해 개발한 U-Net이라는 네트워크 아키텍처를 채택했습니다. 먼저 이미지 크기를 축소하여 공간 정보를 줄인 다음 특징 및 컨텍스트 정보 레이어를 추가하여 정확한 고해상도 결과를 생성합니다.

네트워크가 마커 모양을 분류하고 중심을 찾는 데 도움이 되도록 연구원들은 각 기하학적 개체에 대해 서로 다른 크기의 중심 표시와 윤곽선을 사용하여 마스크로 훈련 데이터를 표시하는 네 가지 방법을 실험했습니다.

연구원들은 두꺼운 윤곽선과 같은 마스크에 더 많은 정보를 추가하면 물체 모양을 분류하는 정확도가 증가하지만 플롯에서 위치를 정확히 찾아내는 정확도가 감소한다는 것을 발견했습니다. 결국 연구원들은 최상의 분류와 가장 작은 위치 오류를 얻기 위해 여러 모델의 최상의 측면을 결합했습니다. 마스크를 변경하는 것이 네트워크 성능을 향상시키는 가장 좋은 방법으로 밝혀졌으며 네트워크 끝에서 작은 변경과 같은 다른 접근 방식보다 더 효과적이었습니다.

네트워크의 최고의 성능(객체 중심을 찾는 정확도 97%)은 원래 플롯 포인트가 매우 선명한 원, 삼각형 및 사각형으로 표현된 이미지의 하위 집합에 대해서만 가능했습니다. 성능은 TRC가 신경망을 사용하여 최신 저널 논문의 플롯에서 데이터를 복구하기에 충분합니다.