머신 비전의 혁명:이벤트 센서가 더 빠르고 스마트한 이미지 처리를 구동하는 방법

소비자 및 산업 분야 전반에 걸쳐 카메라로 생성된 콘텐츠의 급증으로 인해 실용적이고 효율적인 방식으로 시각적 데이터를 효과적으로 획득, 처리 및 활용하는 기계의 용량에 부담이 가해졌습니다. 현재 과제는 다음과 같습니다. 수집되는 데이터의 양이 압도적입니다(대부분은 기계와 관련이 없음). 불충분한 처리 기능(특히 크기와 전력이 제한된 애플리케이션에서):실시간 처리에 대한 요구. 결과적으로, 스마트폰, 웨어러블, 스마트 홈, IoT, 시스템, 자동차 기술부터 산업 자동화 장비에 이르기까지 비전 지원 시스템 개발자들은 비전 감지 및 데이터 수집에 대한 기존 접근 방식을 변화시킬 수 있는 방법을 모색하고 있습니다.

인간이 소비할 수 있는 이미지를 제공하는 데서 시작된 카메라 기술의 역사에 따른 발전(주로 프레임 기반 방법에 의존함)은 최신 머신 비전의 요구 사항을 충족하는 데 부적절하다는 것이 입증되었습니다. 수년 동안 머신 비전은 인간의 해석을 위해 획득하고 구조화한 시각적 정보, 즉 이미지 센서에서 캡처한 연속 이미지로 구성된 비디오 스트림에 의존해 왔습니다. 각 이미지는 동적 정보가 부족한 특정 순간의 정적 스냅샷을 나타냅니다. 시각적 데이터를 수집하는 이 방법은 동적 환경 내에서 변화와 움직임을 모니터링하도록 설계된 대부분의 머신 비전 시스템에서 널리 사용됩니다.

인간 비전 시스템에서 영감을 얻은 뉴로모픽 기술을 활용하는 이벤트 기반 비전 접근 방식은 소비자, 산업, 자동차 및 기타 부문에 걸쳐 다양한 비전 지원 시스템의 효율성과 성능을 향상시켜 안전, 생산성 및 사용자 경험을 향상시키려고 합니다. (이미지 :선지자)

가장 큰 문제는 장면에 움직임이나 변화가 있을 때 발생하는데, 이는 대부분의 머신 비전 애플리케이션에서 흔히 발생하며 시각적 프레임 획득의 본질적인 한계가 명백해집니다. 설정된 프레임 속도에 관계없이 카메라가 움직이는 장면을 캡처하려고 하면 지속적으로 부정확해집니다. 장면의 서로 다른 부분은 일반적으로 동시에 다양한 역학을 나타내기 때문에 단일 샘플링 속도를 사용하여 이미징 어레이 전체의 픽셀 노출을 조절하면 필연적으로 동시에 발생하는 다양한 장면 역학을 부적절하게 캡처하게 됩니다.

이벤트를 감지할 때는 적을수록 좋습니다

이러한 문제를 더욱 복잡하게 만드는 기존 이미지 센서의 문제는 느리고 에너지 집약적이며 과도한 중복 데이터를 생성하고 동적 범위가 제한되어 머신 비전 작업, 특히 까다로운 운영 환경의 작업에 적합하지 않다는 것입니다. 결과적으로 생물학적으로 영감을 받은 "뉴로모픽(neuromorphic)" 이벤트 기반 비전 시스템은 이제 다양한 머신 비전 애플리케이션에 적합한 향상된 속도, 최소 대기 시간, 더 나은 전력 효율성 및 더 넓은 동적 범위를 제공하는 대안으로 떠오르고 있습니다.

이벤트 기반 비전은 최신 머신 비전 사용을 위해 시각적 정보를 획득하고 처리하는 방법에 대한 패러다임 전환을 의미합니다. 인간 비전 시스템에서 영감을 얻은 뉴로모픽 기술을 활용하는 이 접근 방식은 소비자, 산업, 자동차 및 기타 부문에 걸쳐 다양한 비전 지원 시스템의 효율성과 성능을 향상시켜 안전성, 생산성 및 사용자 경험을 향상시키는 것을 추구합니다.

이벤트 기반 비전은 모든 픽셀에 대해 균일한 획득 속도에서 벗어나기 때문에 기존 카메라와 다르게 작동합니다. 대신, 각 픽셀은 픽셀당 전용 인텔리전스 덕분에 빛의 입사 변화에 따라 샘플링 타이밍을 독립적으로 결정합니다. 대비 감지 정보는 픽셀의 x, y 좌표와 정확한 이벤트 생성 시간으로 구성된 '이벤트'에 캡슐화됩니다. 예를 들어 Prophesee의 특허받은 이벤트 기반 센서를 사용하면 대비 변화(모션)를 감지하면 픽셀이 지능적으로 활성화되어 픽셀 수준에서 필수 모션 세부 정보를 지속적으로 캡처할 수 있습니다.

고정 프레임 속도에서 이동할 때의 차이점은 각 픽셀이 시각적 입력에 따라 샘플링 속도를 조정하는 방법입니다. 이러한 개인화된 접근 방식을 통해 각 픽셀은 입사광 수준의 변화에 ​​반응하여 샘플링 지점을 결정할 수 있습니다. 결과적으로 샘플링 프로세스는 더 이상 인공적인 타이밍 소스에 의해 결정되지 않고 오히려 신호 자체에 의해 또는 특히 시간적 신호 진폭 변동에 의해 결정됩니다. 이러한 카메라에서 생성된 결과는 이미지 시퀀스에서 장면 역학에 따라 조건부로 생성된 개별 픽셀 데이터의 연속 스트림으로 발전합니다.

이벤트 센서는 고속 작동(10,000fps에 해당), 고효율 전력 소비(마이크로와트 범위까지), 더 빠른 응답 시간을 위한 낮은 대기 시간, 데이터 처리 요구 감소(프레임 기반 시스템보다 10~10,000배 적음), 최대 120dB의 높은 동적 범위 등 여러 가지 장점을 제공합니다. 이러한 기능을 통해 이벤트 센서는 다양한 애플리케이션과 제품에 적합합니다.

이벤트 기반 비전 적용

Neuromorphic 지원 이벤트 센서는 다양한 산업 자동화 작업에 사용될 수 있어 생산성, 품질, 안전, 보안 및 예방적 유지 관리를 개선하는 데 도움이 됩니다. (이미지 :선지자)

처음에 뉴로모픽 이벤트 센서는 시각 장애가 있는 개인의 시력 회복을 위해 기계가 아닌 인간을 위한 상업적 용도로 사용되었습니다. 이는 산업 자동화 및 프로세스 모니터링 분야의 사용 사례로 이어졌습니다. 이러한 용도는 특히 빠르게 움직이고 변화하는 요소, 예측할 수 없는 주변 조명 조건 및 제한된 리소스와 관련된 다양한 비전 작업에 대한 이벤트 센서의 이점을 입증했습니다. 후속 세대의 이벤트 기반 시스템은 고속 계산, 예방적 유지 관리(예:진동 모니터링), 로봇 효율성 및 안전성 향상, AR/VR을 위한 시선 추적 또는 제스처 추적은 물론 다양한 물류 및 안전/보안 애플리케이션과 같은 작업을 위한 산업 환경에 적용되었습니다.

이러한 고유한 장점으로 인해 이벤트 센서는 IoT 애플리케이션에 이상적입니다. 전력 소비는 IoT 장치, 특히 배터리를 사용하는 장치에서 중요한 역할을 합니다. 이벤트 기반 비전은 프레임 기반 카메라 시스템에 비해 상당히 낮은 전력 수준에서 작동하므로 이러한 시나리오에 매우 적합합니다. 또한 이벤트 기반 카메라는 빛에 독립적인 정보 처리로 인해 많은 IoT 애플리케이션에서 흔히 발생하는 까다로운 조명 조건에서 탁월한 성능을 발휘합니다. 높은 다이내믹 레인지 덕분에 단일 프레임 내에서 다양한 빛의 강도를 포착할 수 있어 햇빛이 밝은 야외 장면이나 야간 환경과 같이 조명 조건이 다양한 환경에 적합합니다.

120dB를 초과하는 다이내믹 레인지를 갖춘 이벤트 기반 카메라는 기존 카메라가 다양한 조명 조건으로 인해 어려움을 겪는 환경에서도 효과적으로 작동할 수 있습니다. 낮에는 공공 장소나 차량과 같이 극도로 밝은 환경이거나, 예방적 유지 관리 및 안전 모니터링 작업을 위해 이벤트 센서를 사용할 수 있는 야간 작업이나 어두운 공장 환경과 같이 조명이 어두운 시나리오 등이 있습니다. (이미지 :선지자)

120dB를 초과하는 다이내믹 레인지를 갖춘 이벤트 기반 카메라는 기존 카메라가 다양한 조명 조건으로 인해 어려움을 겪는 환경(낮에는 공공 장소나 차량과 같이 극도로 밝은 환경, 야간 작업이나 어두운 공장 환경과 같이 조명이 어두운 시나리오)에서도 효과적으로 작동할 수 있습니다. 또한 이러한 카메라는 장면 내 밝기의 변화가 있을 때만 정보를 전송하여 대기 시간을 최소화합니다. 실시간 응답은 밝은 곳에서 어두운 곳으로 또는 그 반대의 급격한 변화와 같이 빠르게 변화하는 조명 상황에서 유리한 것으로 입증되었습니다. 빛 강도의 개별적인 변화를 감지하는 이벤트 기반 카메라는 기존 프레임 기반 카메라에 비해 모션 블러가 발생할 가능성이 적습니다.

이 기능은 빠른 움직임이 포함된 시나리오에서 특히 유용하며 선명한 이미지 품질을 보장합니다. 이러한 이점을 활용하는 새로운 용도가 스마트폰 카메라용으로 개발되고 있습니다. 예를 들어 Prophesee는 Qualcomm과 파트너십을 맺고 자사의 이벤트 기반 기술을 인기 있는 Snapdragon 플랫폼과 통합하고 있습니다.

IoT용 이벤트 센서의 추가 개발에는 희박한 데이터 수집으로 인해 온보드 컴퓨팅 기능이 제한된 엣지 비전 작업에 맞게 센서를 조정하는 작업이 포함됩니다. 그러나 비전통적인 데이터 형식, 가변 데이터 속도, 비표준 인터페이스와 같은 문제로 인해 광범위한 채택이 방해를 받았습니다. 이 문제를 해결하기 위해 Prophesee의 GenX320을 비롯한 최신 세대 이벤트 센서는 이벤트 데이터 전처리 및 형식 지정, 호환 가능한 데이터 인터페이스, 에너지 효율적인 뉴로모픽 프로세서를 포함한 다양한 처리 플랫폼과의 저지연 연결과 같은 기능을 통합하여 임베디드 엣지 비전 시스템의 통합 및 유용성을 향상시키는 것을 목표로 합니다. 예를 들어, GenX320은 전력에 민감한 비전 애플리케이션을 효율적으로 지원하기 위해 다양한 사전 처리 기능, 적응형 인터페이스 및 전원 관리 옵션을 제공합니다.

운영 효율성에도 불구하고 IoT 설정에 적합한 저전력 사용을 위해 이벤트 센서를 최적화하는 것은 여전히 중요합니다. 다양한 전력 모드와 애플리케이션별 작동 모드를 구현하면 '상시 작동' 애플리케이션의 에너지 효율성을 크게 향상시킬 수 있습니다. 온칩 지능형 전력 관리 메커니즘과 전략을 활용하면 센서 유연성과 유용성을 더욱 향상시킬 수 있습니다. Prophesee의 솔루션은 스마트 깨우기 이벤트 기능을 활성화하여 전력 소비를 36uW까지 줄였습니다. 추가적으로 깊은 절전 모드와 대기 모드를 지원하는 것이 도움이 될 수 있습니다.

IoT 애플리케이션을 대상으로 하는 이벤트 센서에 대한 구체적인 고려 사항에는 통합 이벤트 데이터 전처리 기능을 통해 표준 SoC와의 원활한 인터페이스 기능과 함께 지연 시간을 최소화하면서 이벤트의 마이크로초 해상도 타임스탬프를 달성하는 것이 포함됩니다. MIPI 또는 CPI 출력 인터페이스를 활용하면 저전력 마이크로 컨트롤러 및 최신 뉴로모픽 프로세서 아키텍처와 같은 내장형 처리 플랫폼과의 신속한 연결이 보장됩니다. 이벤트 센서의 희박한 프레임리스 이벤트 데이터를 통해 센서 수준 개인정보 보호가 보장되며 정적 장면 제거가 포함됩니다.

이벤트 기반 센서는 더 광범위한 응용 분야의 요구 사항을 충족하기 위해 계속해서 발전하고 있습니다. Prophesee의 최신 센서인 Genx320은 저전력 및 소형 폼 팩터 시스템에서 작동해야 하는 많은 IoT 사용 사례의 요구 사항에 매우 적합합니다. (이미지 :선지자)

이벤트 기반 센서는 이제 더 광범위한 응용 분야에서 활용되고 있습니다. 이러한 센서를 IoT 플랫폼과 통합함으로써 제품 개발자는 전력 소비 및 크기와 관련된 특정 시장 요구 사항을 충족합니다. 사용 사례에는 향상된 AR/VR 경험을 위한 포비티드 렌더링, 인간-기계 인터페이스를 위한 시선 추적, 운전자 모니터링 시스템 및 감정 감지와 같은 안전 애플리케이션이 포함됩니다. 또한 넘어짐 감지 카메라, 몰입형 인터페이스를 위한 제스처/손 추적 등 보안 목적을 위한 상시 기능도 지원합니다. AR/VR 영역에서는 깜박이는 LCD를 기반으로 한 내부 추적 및 별자리 추적과 같은 애플리케이션을 통해 정확한 개체 또는 컨트롤러 추적이 가능합니다.

산업용 애플리케이션을 위해 킬로헤르츠 반복 속도로 포인트 클라우드를 생성할 수 있는 고속 구조광 3D 기술을 포함하여 실리콘 기술 향상을 통해 가능해진 추가 새로운 사용 사례가 개발 중입니다. 비전 기술이 이미지를 캡처하거나 전송하지 않음으로써 개인 정보 보호 문제를 해결함에 따라 넘어짐 감지 장치와 같은 개인 정보 보호를 고려한 스마트 홈 시스템도 더욱 광범위하게 확산되고 있습니다.

이벤트 기반 비전은 기계가 볼 수 있는 방식의 효율성을 요구하는 많은 시장에서 새로운 표준을 창출할 패러다임으로 자리매김하는 과정에 있습니다. 지난 몇 년 동안 이 제품은 다양한 용도에 맞게 성공적으로 발전했습니다. 그리고 계속해서 많은 애플리케이션의 요구 사항을 조정하고 해결함으로써 우리 주변에서 더 많은 이벤트 기반 카메라를 보게 될 것입니다.

이 기사는 Prophesee(프랑스 파리)의 CEO이자 공동 창립자인 Luca Verre가 작성했습니다. 자세한 내용을 보려면 여기를 방문하세요.  .