빛의 속도로 가치 시각화

글로벌 식품 검사 산업은 엄격한 정부 규정을 충족하기 위해 보다 새롭고 정확한 도구가 필요합니다. 특산물부터 해산물, 육류 및 가금류에 이르기까지 식품 안전 테스트 시장만 해도 2021년에는 195억 달러라는 엄청난 규모로 평가되며 2026년에는 286억 달러에 이를 것으로 예상됩니다 ¹ . 이것은 HSI(Hyperspectral Imaging)가 지루하고 노동 집약적인 작업을 완화하고 역사적으로 주관적인 일부 채점 응용 프로그램에 새로운 수준의 일관성을 가져올 수 있는 도구를 나타내는 한 가지 예입니다.

원래 항공기 및 위성의 이미지와 관련된 원격 감지 응용 프로그램을 위해 개발된 HSI는 이후 고급 머신 비전 응용 프로그램을 위한 상업적으로 실행 가능한 기술이 되었습니다. HSI 센서는 이미지의 각 픽셀에서 반사된 빛의 화학적 특성을 제공하는 수천 또는 수백만 개의 분광계처럼 작동합니다. Headwall의 센서는 자외선 및 가시광선(UV 및 VIS)에서 근적외선(VNIR, NIR 및 SWIR) 파장 범위에 이르기까지 인간의 눈이 식별할 수 없는 파장 범위로 조정할 수 있습니다.

초분광 이미징 센서는 인간의 눈과 기존의 컬러 이미징에서 벗어나는 스펙트럼 기능을 구별할 수 있습니다. 이러한 기능은 잠재적으로 유해한 이물질을 감지하고 피로 또는 피로에 취약한 사람보다 HSI 시스템에 의해 종종 더 우수하고 일관되게 측정되는 특성과 가치가 연결된 식품과 같은 재료를 분류하고 등급을 매기는 수단을 제공할 수 있습니다. 매일 다양한 양의 커피와 같은 단순한 효과 2.

HSI를 활용하는 시스템은 비교적 방대한 양의 원시 데이터를 처리하고 스펙트럼 분류 모델 개발의 상대적 복잡성을 해결해야 하기 때문에 산업 배치에서 상당한 장애물에 직면해 있습니다. 그러나 Headwall의 Hyperspec® MV.X 이미징 시스템과 같은 최신 HSI 플랫폼은 고성능 이미징 분광계와 강력한 임베디드 컴퓨팅 및 소프트웨어를 결합하여 스펙트럼 분류 모델을 신속하게 생성하여 실시간으로 실행 가능한 결과를 추출하고 로컬 네트워크를 통해 명령을 조치를 취하거나 모니터링 및 제어 데이터를 수집합니다.

사물을 바라보는 다른 방식

인간의 눈은 가능한 한 400nm에서 700nm 사이의 가시광선 스펙트럼에 속하는 이미지만 감지할 수 있습니다. 이 범위에는 넓은 RGB(빨강, 녹색 또는 파랑) 영역에 속하는 세 가지 색상만 있으며, 각 사람의 색상 감도와 인식은 매우 다양합니다. 그럼에도 불구하고 식품 검사 산업은 수세기 동안 문제를 감지하고 제품의 등급을 매기기 위해 인간과 RGB 센서에 의존해 왔습니다. 여기에는 수확 과정 초기에 놓친 이물질과 이러한 전통적인 방법으로는 크게 볼 수 없는 감지하기 어려운 질병 상태가 포함됩니다. 소비자 선호도, 새로운 정부 규정을 충족할 수 있는 능력, 기업 주주 가치는 모두 식품 산업의 모든 측면에서 검사가 구현되는 방식의 정확성과 효율성에 달려 있습니다.

'스펙트럼 이미징' 센서는 두 가지 범주로 나눌 수 있습니다. 다중 스펙트럼 센서는 4개에서 수십 개에 이르는 소수의 스펙트럼 대역으로 구성되는 반면, 초분광 센서는 문자 그대로 한 번에 수백 개의 스펙트럼 대역을 캡처할 수 있기 때문에 훨씬 더 세분화된(즉, 높은 스펙트럼 분해능) 모양을 제공합니다. 둘 다 일반적이고 전통적으로 사용되는 단순한 RGB 패러다임을 훨씬 뛰어넘기 때문에 검사 ​​중인 식품에 대한 훨씬 더 완전한 그림을 제공합니다.

인간은 전자기 스펙트럼의 매우 작은 영역에서 빨간색(1), 녹색(2) 및 파란색(3)의 조합으로 색상을 봅니다. 밴드 4와 5의 추가는 스펙트럼의 3개 이상의 영역이 캡처되고 분석되는 다중 스펙트럼의 예를 나타냅니다. 초분광 이미징은 단지 몇 개 대신 수백 개의 스펙트럼 대역을 사용합니다. 이를 통해 수백만 개의 픽셀로 구성될 수 있는 이미지의 각 픽셀에서 점 측정 분광기의 고성능이 가능합니다.

이 논의의 목적을 위한 '고급' 머신 비전 시스템은 하나 이상의 스펙트럼 이미징 센서, 적절한 조명 소스, 다운스트림 로봇 공학과 통신하는 동안 이미지 데이터를 수집하는 컴퓨터로 구성될 수 있습니다. 센서는 실시간으로 이미지 데이터를 컴퓨터에 제공하고 해당 이미지 데이터는 로봇 시스템으로 전송됩니다. 로봇 공학 시스템은 이미지를 해석하고 알고리즘과 지침에 따라 수행할 작업을 즉시 이해합니다. 어떤 경우에는 단순히 이물질을 잡아서 삭제할 수도 있습니다(합격/불합격). 다른 경우에는 추가 처리(제품 '등급')를 위해 제품의 특정 색상을 다른 라인으로 보냅니다. 재활용 애플리케이션의 경우 고속 라인을 따라 다르지만 유사하게 보이는 유형의 플라스틱을 분류할 수 있습니다.

초분광 센서는 독립형 장치가 아니라 전체 고급 머신 비전 시스템의 중요하고 매우 정확한 부분입니다. 한 번 추정 ³ , 머신 비전은 잠재적으로 유용한 애플리케이션의 20% 미만에서 사용되었습니다. 따라서 이 강력한 이미징 기술로 검사 프로세스를 개선하고 경제적으로 더 효율적으로 만들 수 있는 방법을 논의하는 것이 좋습니다.

HSI 센서는 일반적인 생산 주기가 아무리 길더라도 검사 라인을 감시하는 감시자 역할을 하는 '새로운 눈 세트'로 생각할 수 있습니다. 시스템의 다른 요소와 '대화'하는 기능은 초분광 감지가 RGB 단위를 훨씬 능가하는 기능을 갖춘 업계의 새로운 도구로 선호되는 중요한 이유입니다.

"푸시브룸(pushbroom)" 초분광 센서는 슬릿(왼쪽)을 통해 라인별로 스캔하여 이미지를 캡처합니다. 각 라인에는 피사체(중앙)의 스펙트럼 특성을 저장하는 픽셀이 포함되어 있습니다. 센서가 스캔되는 영역이나 물체를 기준으로 움직이면 데이터 세트가 생성됩니다(오른쪽). 결과 데이터 세트는 각 레이어가 특정 "밴드"(작은 범위의 파장)를 나타내는 스택으로 생각할 수 있습니다. 픽셀은 함께 연결되어 각 픽셀에 기존의 RGB 값뿐만 아니라 센서의 파장 범위를 따라 수백 개의 값이 포함된 이미지를 형성합니다.

초분광 센서의 기본 기능은 '푸시브룸' 설계의 경우 물리적 슬릿을 통해 들어오는 장면의 개별 조각을 캡처하고 각 조각을 FPA(초점 평면 배열)에 표시되는 개별 파장 구성 요소로 나누는 것입니다. . 회절 격자는 이미지 조각을 개별 파장 구성 요소로 분산시키는 작업을 관리합니다. 격자는 1차원(이미지 슬릿의 길이)에서 공간 일관성을 유지하고 공간 정보(슬릿의 너비, 미크론 단위)가 회절되도록 하기 위해 정밀한 홈 프로파일로 설계되었습니다. 이 회절(분산) 프로세스를 통해 스펙트럼 콘텐츠가 센서의 알려진 파장 채널을 가로지르게 됩니다.

Headwall이 사용하는 모든 반사형 푸시 브룸 스펙트럼 라인 스캐닝 기술은 각 '프레임'에서 스펙트럼 라인(X 공간 및 Z 스펙트럼)을 캡처합니다. 연속 프레임은 Y 공간 차원을 구성합니다. 푸시브룸 디자인은 매우 높은 공간 및 스펙트럼 분해능에서 낮은 왜곡을 제공하는 능력으로 인해 선호됩니다. 높은 처리량은 높은 신호 대 잡음비와 매우 낮은 미광을 의미합니다. 전체 반사형 디자인이므로 색분산 문제가 없습니다.

초분광 센서의 슬릿을 통해 볼 때 우리가 보는 것은 슬릿이 통과하는 공간 스트립뿐입니다. 이것은 픽셀의 한 열에 해당합니다. 이미지에서 공간적 세부 사항을 계속 볼 수 있지만 한 번에 하나의 스트립만 표시됩니다. 모든 슬릿에는 많은 색상이 있습니다. HSI 시스템은 각 공간 픽셀의 빛을 해당 픽셀의 다른 색상으로 분리합니다. 카메라가 슬릿의 사진을 찍을 때마다 각 픽셀에 대한 스펙트럼 데이터의 전체 프레임을 얻습니다. 장면을 가로질러 슬릿의 각 스펙트럼 이미지를 쌓아서 초분광 데이터 큐브를 만듭니다. 센서가 장면에서 왼쪽에서 오른쪽으로 움직이면 고급 초분광 처리 소프트웨어가 일련의 사진을 찍고 함께 연결하여 완전한 '데이터 큐브'를 얻을 수 있습니다.

고급 머신 비전 애플리케이션에 완벽한 스펙트럼 이미징의 특성 중 하나는 움직임입니다. 센서는 프레임 단위로 이미지 데이터를 캡처하기 때문에 자연스럽게 발생하는 모션에 의존합니다. 센서는 (원격 감지 애플리케이션에서 드론이나 항공기에 부착된 경우와 같이) 시야 위로 이동해야 하거나 시야가 센서 아래로 이동해야 합니다(고급 머신 비전 배포에서와 같이). ).

정밀 농업 커뮤니티는 초분광 및 다중 스펙트럼 센서를 농경지 위를 비행하는 드론 및 항공기의 탑재체로 채택했습니다. 이러한 센서는 NDVI, PRI, WBI, Red Edge Ratio 등과 같은 지수와 관련하여 풍부한 필수 농업 데이터를 캡처합니다. 400nm에서 1000nm 사이를 '보는' VNIR(가시근적외선) 센서의 수백 대역 내에서 작물의 활력, 시비 및 관개 효과, 침입 종 및 질병의 초기 징후를 모두 볼 수 있습니다.

초분광 센서를 생산 라인에 배치하고 센서 시스템 자체의 임베디드 프로세서에서 수행되는 실시간 분석을 기반으로 적절한 조치를 취하는 로봇에 연결할 수 있습니다.

고속 컨베이어를 따라 동일한 수준의 의미 있는 데이터를 수집하여 검사 프로세스에 긍정적인 영향을 줄 수 있습니다. 프레임 속도 및 시야 특성은 센서가 고속으로 작동하는 넓은 라인을 모니터링할 수 있는 정도입니다. HSI가 제공하는 높은 수준의 차별은 식별하기 어려운 이상 현상도 확인하고 관리한다는 것을 의미합니다. 딸기 밭에 있는 블루베리는 쉽게 발견할 수 있지만 같은 작물 또는 비슷하게 보이는 재활용 재료 내에서 미세한 색상이나 화학적 차이는 어떻습니까? 초분광만이 이러한 볼 수 없는 차이를 구별할 수 있습니다.

HSI 센서 설계

빗자루 초분광 센서의 슬릿으로 들어오는 광선은 무지개와 같은 색상 스펙트럼으로 분리되며, 이 경우에는 매우 미세한 홈의 홀로그램 격자에 의해 분리됩니다. 스펙트럼은 2D 광센서에 떨어집니다. 소프트웨어는 센서가 스캔되는 물체를 기준으로 움직일 때 각 감광성 픽셀의 신호 레벨을 이미지의 각 픽셀에서 스펙트럼 곡선으로 변환합니다.

HSI 센서는 때때로 '카메라'라고도 하지만 실제로는 분광계와 카메라의 결합입니다. Headwall의 센서는 움직이는 부품이 없거나 잠재적으로 방해가 되는 투과 광학 장치가 없는 전체 반사 설계를 기반으로 합니다. 이것은 이미지 슬릿을 통과하는 들어오는 빛을 관리하는 홀로그램 회절 격자를 사용하여 수행됩니다. 격자는 매우 정확할 뿐만 아니라 작고 가볍습니다. 이를 통해 기기 자체를 작고 가벼워서 어디서나 쉽게 배포할 수 있습니다.

Headwall은 자체 회절 격자도 만드는 유일한 스펙트럼 센서 제조업체입니다. 각 격자는 '마스터 품질'로, 주어진 응용 분야에 대해 동일한 홈 프로파일을 의미합니다. 센서의 기본적인 광학 성능은 격자의 기능이므로 이 기능은 진정한 차별화를 나타냅니다. 초분광 센서는 특정 스펙트럼 범위에 맞게 설계 및 '조정'됩니다. 각 범위 내에서 말 그대로 수백 개의 스펙트럼 밴드가 수집되어 스펙트럼 및 공간적으로 검사 라인을 따라 움직이는 모든 것에 대한 매우 정확하고 고도로 분해된 보기를 제공합니다.

Visible-Near-Infrared 범위(VNIR)는 400nm ~ 1000nm를 커버하고 Extended VNIR 범위는 550nm ~ 1700nm를 커버합니다. 근적외선 범위(NIR)는 900nm ~ 1700nm의 이미지 데이터를 수집하는 반면 SWIR(단파 적외선 범위)은 900nm ~ 2500nm의 이미지 데이터를 수집합니다. 재료는 이러한 범위 내의 특정 지점에서 '빛을 반사'하므로 먼저 서명 자체를 정의하는 것이 중요합니다. 그런 다음, 알고리즘을 통해 센서는 물질을 특성화하거나 이물질과 관련하여 '양호한' 것으로 정확하게 정의되지 않은 모든 것을 감지할 수 있을 뿐만 아니라 한 베리에서 다른 베리로 또는 한 견과류에서 또 다른. 이것은 기존의 RGB 센서를 훨씬 능가하는 수준의 특이성을 가지고 있기 때문에 초분광 이미징의 매우 중요한 특성입니다.

빛의 문제

HSI 센서는 반사광을 측정하고 분석하기 때문에 조명은 중요한 고려 사항입니다. 전반적인 목표는 견고하고 경제적인 동시에 매우 균일하고 일관된 조명 형태로 센서의 시야를 제공하는 것입니다.

VNIR 스펙트럼 범위의 경우 QTH(Quartz Tungsten Halogen)는 이러한 조명 기술 중 하나를 나타내는 반면 최신 LED 광원은 덜 성숙한 대안으로 보일 수 있습니다. 번들 광섬유는 또한 균일한 광원을 제공합니다. 식품 검사 산업이 관심을 갖는 많은 부분이 약 700nm에서 잘리는 가시 영역 너머의 범위에서 '반사'됩니다. 따라서 이 지점의 양쪽을 덮는 광원을 갖는 것이 중요합니다.

가능한 한 시원하고 견고하며 균일한 것 외에도 광원은 검사 라인의 너비를 완전히 가로질러야 합니다. 이 에지 투 에지 기능은 센서의 넓은 시야를 활용하여 검사된 제품을 센서 자체 아래뿐만 아니라 가장자리까지 볼 수 있도록 합니다. 제품이 모서리를 따라 또는 컨베이어 벨트에 함께 묶일 수 있기 때문에 고속 식품 검사 라인에는 연대가 없습니다. 많은 식품 검사 라인이 24시간 운영되기 때문에 광원의 수명도 중요합니다.

센서가 이미지 데이터를 한 번에 한 조각씩 '큐브'로 만들고 조명 자체가 매우 얇은 스트립이기 때문에 관심 영역('슬릿 이미지')이 조명되어야 합니다. 백색 반사율 타겟은 실제 작동 전에 센서를 보정하는 데 사용됩니다. 이는 센서가 다운스트림 로봇 시스템(예:진공, 공기 칼, 집게발)이 '좋은'과 '나쁜'을 분리하는 데 사용할 이미지 데이터를 수집하기 때문에 중요한 단계입니다. 목표는 항상 올바른 종류를 제시하는 것입니다. 필요한 곳에 정확한 강도로 빛을 비춰줍니다. 또한, 투영 영역 전반에 걸친 빛의 파장과 강도, 빛의 균일성, 표준 거리에 걸친 저하를 제공하는 문서가 존재하는 것이 중요합니다. 이렇게 하면 라인 아키텍처를 약간 조정해야 하는 경우 라인을 기준으로 센서의 정확한 위치를 결정할 수 있습니다.

로봇 공학

로봇 하위 시스템은 많은 고급 머신 비전 처리 라인 애플리케이션의 자연스러운 요소입니다. 판별하고 제거하는 능력은 센서와 로봇 시스템이 실시간으로 빠르고 충실하게 통신하는 능력에 달려 있습니다. Hyperspec® 센서는 초당 수백 프레임을 실행할 수 있으므로 운영 및 경제적 관점에서 고속 라인 및 여기에 내장된 로봇 시스템과 함께 작동하는 데 매우 적합합니다.

머신 비전 업계는 광범위한 하위 시스템을 원활하고 지속적으로 실행되는 라인에 통합하기 위해서는 통신 프로토콜이 업계 표준이며 빠른 속도를 요구한다는 점을 이해하고 있습니다. 기가비트 이더넷은 데이터 흐름 관점에서 모든 것을 하나로 묶는 데 자주 사용됩니다. 들어오는 데이터를 관리하는 HSI 시스템과 컴퓨터는 모두 기가비트 이더넷과 함께 작동하지만 CameraLink와 같은 다른 매우 빠른 통신 링크도 작동합니다.

데이터 수집 및 처리

견과류 및 베리와 같은 특수 작물을 검사하려면 약간의 변동성을 가진 매우 유사하게 보이는 품목을 살펴보아야 합니다. 따라서 신호 또는 이미지를 수백 개의 초분광 '채널'로 나누는 것은 업계에 이점입니다.

사용 용이성이 가장 중요하고 가파르지만 빠른 학습 곡선이 필요하기 때문에 Headwall의 소프트웨어는 직관적이며 사용자가 센서가 보는 것을 기반으로 검사 프로세스를 수정하고 조정할 수 있는 기능이 포함되어 있습니다. 알고리즘 기반 프로세스는 사용자가 직면할 수 있는 스펙트럼 특성을 정확히 찾아냅니다. 예를 들어, 곤충 손상이 있는 아몬드는 RGB 분석에서 '좋은' 아몬드와 거의 구별할 수 없습니다. 그러나 HSI를 사용하여 분류된 동일한 장면은 다운스트림 로봇 시스템에 의해 제거될 수 있는 손상된 부분에 주의를 환기시킵니다.

혁신적인 센서, 소프트웨어 및 워크플로의 조합으로 점점 더 많은 사용자가 스펙트럼 데이터를 사용하여 오염을 감지할 뿐만 아니라 제품을 '등급'하여 낭비를 줄이고 수익으로 전환하는 진정한 솔루션을 통해 HSI에 액세스할 수 있습니다. 초분광 이미징은 머신 비전 산업 내에서 그 가능성을 열어줍니다.

자료

1. “대상 테스트 대상(병원체, 살충제, GMO, 진균 독소 및 알레르겐), 기술(전통 및 신속), 테스트 대상 식품(육류, 가금류, 해산물, 유제품, 가공 식품 및 과일)별 식품 안전 테스트 시장 &야채) 및 지역 - 2026년까지 예측 ”, Markets and Markets, Food Safety Testing Market, 2021년 5월 발행
2. “지원자들의 망막 색 구별 기능에 대한 카페인의 효과 ", Ovanesov KB. 블리아니. Eksp 클린 파마콜. 1998년 11월-12월; 61(6):17-9. PMID:9929810
3. “다분광 대 초분광 이미지 설명 ”, GISGeography, 2018년 2월 16일
4. “머신 비전 핸드북 ", Alexander Hornberg, Wiley-VCH. 피. 694, 2006. ISBN 978-3-527-40584-8

이 기사는 Headwall Photonics EMEA 이사인 Christian Felsheim과 Headwall Photonics(Bolton, MA)의 수석 애플리케이션 엔지니어인 Dr. Will Rock이 작성했습니다. 자세한 내용은 을 참조하십시오. 여기 .