소비자 및 산업 분야 전반에서 카메라가 생성하는 콘텐츠가 급증하면서, 기계가 시각 데이터를 실용적이고 효율적으로 획득, 처리, 활용하는 능력에 부담이 가중되고 있습니다. 현재 과제로는 수집되는 데이터의 압도적 양(대다수가 기계에는 불필요함), 처리 능력 부족(특히 크기와 전력 제약이 있는 애플리케이션에서), 실시간 처리 수요 등이 있습니다. 결과적으로 스마트폰, 웨어러블, 스마트 홈, IoT, 자동차 기술, 산업 자동화 장비 등 비전 지원 시스템 개발자들은 기존의 비전 센싱 및 데이터 수집 접근 방식을 변화시키는 방법을 모색하고 있습니다.
인간 소비를 위한 이미지 제공에서 출발한 카메라 기술의 역사적 발전(주로 프레임 기반 방식에 의존)은 현대 머신 비전의 요구사항을 충족하기에 부적합함이 입증되고 있습니다. 수년간 머신 비전은 인간 해석을 위해 수집되고 구조화된 시각 정보에 의존해 왔습니다: 이미지 센서가 포착한 순차적 이미지로 구성된 비디오 스트림. 각 이미지는 특정 순간의 정적 스냅샷으로 동적 정보가 부족합니다. 이 시각 데이터 수집 방식은 동적 환경 내 변화와 움직임을 모니터링하도록 설계된 대부분의 머신 비전 시스템에서 널리 사용됩니다.
인간 시각 시스템에서 영감받은 신경형 기술을 활용한 이벤트 기반 비전 접근법은 소비자, 산업, 자동차 및 기타 분야의 다양한 비전 지원 시스템에서 효율성과 성능을 향상시켜 안전성, 생산성, 사용자 경험을 제고하고자 합니다. (이미지: Prophesee)
장면에서 움직임이나 변화가 있을 때(대부분의 머신 비전 애플리케이션에서 흔함), 시각적 프레임 수집의 본질적 한계가 드러납니다. 설정된 프레임 레이트와 상관없이 카메라가 움직이는 장면을 포착하려 하면 지속적으로 부정확합니다. 장면의 서로 다른 부분이 일반적으로 동시에 다양한 역학을 보이므로, 이미징 어레이 전체에 단일 샘플링 레이트를 적용해 픽셀 노출을 조절하면 동시에 발생하는 이러한 다양한 장면 역학을 불충분하게 포착하게 됩니다.
전통적 이미지 센서의 문제는 느리고 에너지 집약적이며 과도한 중복 데이터를 생성하고 다이내믹 레인지가 제한되어, 특히 까다로운 운용 환경에서 머신 비전 작업에 부적합하다는 점입니다. 결과적으로 생물학에서 영감받은 '신경형' 이벤트 기반 비전 시스템이 대안으로 부상하고 있으며, 향상된 속도, 최소 지연, 더 나은 전력 효율, 더 넓은 다이내믹 레인지를 제공해 다양한 머신 비전 애플리케이션에 적합합니다.
이벤트 기반 비전은 현대 머신 비전 용도로 시각 정보를 획득하고 처리하는 방식의 패러다임 전환을 의미합니다. 인간 시각 시스템에서 영감받은 신경형 기술을 활용해 소비자, 산업, 자동차 및 기타 분야의 다양한 비전 지원 시스템에서 효율성과 성능을 향상시켜 안전성, 생산성, 사용자 경험을 제고합니다.
이벤트 기반 비전은 모든 픽셀에 균일한 수집 레이트를 사용하는 기존 카메라와 다릅니다. 대신 각 픽셀은 전용 픽셀별 지능 덕분에 입사광 변화에 기반해 독립적으로 샘플링 타이밍을 결정합니다. 대비 검출 정보는 픽셀의 x,y 좌표와 정확한 이벤트 생성 시간을 포함하는 '이벤트'로 캡슐화됩니다. Prophesee의 특허받은 이벤트 기반 센서에서는 픽셀이 대비 변화(움직임)를 감지하면 지능적으로 활성화되어 필수적인 움직임 세부사항을 픽셀 레벨에서 지속적으로 포착합니다.
고정 프레임 레이트에서 벗어난 차이는 각 픽셀이 시각 입력에 따라 샘플링 레이트를 조정할 수 있다는 점입니다. 이 개인화된 접근법으로 각 픽셀은 입사광 레벨의 변화에 반응해 샘플링 포인트를 결정합니다. 결과적으로 샘플링 프로세스는 더 이상 인위적 타이밍 소스가 아닌 신호 자체, 구체적으로는 시간적 신호 진폭 변동에 의해 결정됩니다. 이러한 카메라가 생성하는 결과는 이미지 시퀀스에서 장면 역학에 기반해 조건부로 생성되는 개별 픽셀 데이터의 연속적 스트림으로 진화합니다.
이러한 특징들은 이벤트 센서를 다양한 애플리케이션과 제품에 적합하게 만듭니다.
신경형 이벤트 센서는 다양한 산업 자동화 작업에 사용되어 생산성, 품질, 안전, 보안, 예방 정비를 개선할 수 있습니다. (이미지: Prophesee)
초기에 신경형 이벤트 센서는 기계가 아닌 인간을 위해, 시각 장애인의 시력 복원에 상업적으로 사용되었습니다. 이는 산업 자동화 및 공정 모니터링 용례로 이어졌습니다. 이러한 용례들은 빠르고 변화하는 요소, 예측 불가능한 주변 조명 조건, 제한된 리소스가 관련된 비전 작업에서 이벤트 센서의 이점을 입증했습니다. 후속 세대 이벤트 기반 시스템은 고속 카운팅, 예방 정비(진동 모니터링 등), 로봇 효율성 및 안전성 향상, AR/VR용 시선 추적 또는 제스처 추적, 다양한 물류 및 안전/보안 애플리케이션 등 산업 현장에 적용되었습니다.
이러한 고유한 장점들은 이벤트 센서를 IoT 애플리케이션에 이상적으로 만듭니다. 전력 소비는 배터리에 의존하는 IoT 기기에서 특히 중요한 역할을 합니다. 이벤트 기반 비전은 프레임 기반 카메라 시스템보다 훨씬 낮은 전력 수준에서 작동하므로 이러한 시나리오에 적합합니다. 또한 이벤트 기반 카메라는 많은 IoT 애플리케이션에서 흔한 까다로운 조명 조건에서 뛰어나며, 빛에 독립적인 정보 처리를 합니다. 높은 다이내믹 레인지로 단일 프레임 내에서 넓은 범위의 빛 강도를 포착할 수 있어, 밝은 햇빛의 야외 장면이나 야간 설정 등 조명 조건이 변하는 환경에 완벽합니다.
120dB를 초과하는 다이내믹 레인지로 이벤트 기반 카메라는 기존 카메라가 어려워하는 다양한 조명 조건에서도 효과적으로 작동할 수 있습니다. 낮의 공공장소나 차량 같은 극도로 밝은 설정부터 야간 작업이나 어두운 공장 설정 같은 희미한 조명 시나리오까지, 이벤트 센서는 예방 정비 및 안전 모니터링 작업에 사용될 수 있습니다. (이미지: Prophesee)
또한 이러한 카메라는 장면 내 밝기 변화가 있을 때만 정보를 전송하므로 최소 지연 시간을 제공합니다. 실시간 응답은 급격한 조명 변화(명암 급전환 등)에서 유리합니다. 개별 빛 강도 변화를 감지하는 이벤트 기반 카메라는 기존 프레임 기반 카메라보다 모션 블러에 덜 취약합니다.
이 기능은 빠른 움직임이 관련된 시나리오에서 특히 가치가 있어 선명한 이미지 품질을 보장합니다. 이 이점을 활용한 새로운 용례가 스마트폰 카메라용으로 개발되고 있으며, 예를 들어 Prophesee가 인기 있는 Snapdragon 플랫폼에 이벤트 기반 기술을 통합하기 위해 Qualcomm과 파트너십을 맺었습니다.
IoT용 이벤트 센서의 추가 개발은 희소 데이터를 수집하는 한정된 온보드 컴퓨팅 역량의 엣지 비전 작업에 맞게 조정하는 것을 포함합니다. 그러나 비표준 데이터 포맷, 가변 데이터 레이트, 비표준 인터페이스 같은 문제들이 광범위한 채택을 방해해 왔습니다. 이 문제를 해결하기 위해 Prophesee의 GenX320으로 대표되는 최신 세대 이벤트 센서는 이벤트 데이터 사전 처리 및 포맷팅, 호환 가능한 데이터 인터페이스, 에너지 효율적인 신경형 프로세서를 포함한 다양한 처리 플랫폼과의 낮은 지연 시간 연결 같은 기능을 통합하여 임베디드 엣지 비전 시스템에서의 통합성과 사용성을 향상시키는 것을 목표로 합니다. 예를 들어 GenX320은 다중 사전 처리 기능, 적응형 인터페이스, 전력 관리 옵션을 제공해 전력에 민감한 비전 애플리케이션에 효율적으로 대응합니다.
운영 효율성에도 불구하고, IoT 설정에 적합한 저전력 사용을 위해 이벤트 센서를 최적화하는 것은 여전히 중요합니다. 다양한 전력 모드와 애플리케이션별 동작 모드 구현은 '항상 켜짐' 애플리케이션의 에너지 효율을 크게 높일 수 있습니다. 온칩 지능형 전력 관리 메커니즘과 전략을 활용하면 센서 유연성과 사용성을 더욱 개선할 수 있습니다. Prophesee 솔루션은 스마트 웨이크온 이벤트 기능 활성화 시 전력 소비를 36µW까지 줄인 것을 입증했습니다. 또한 딥 슬립과 대기 모드 지원도 유익할 수 있습니다.
IoT 애플리케이션을 타겟으로 하는 이벤트 센서의 구체적 고려사항에는 최소 지연 시간으로 마이크로초 해상도 이벤트 타임스탬핑 달성, 통합 이벤트 데이터 사전 처리 기능을 통한 표준 SoC와의 원활한 인터페이싱 등이 포함됩니다. MIPI 또는 CPI 출력 인터페이스 활용으로 저전력 마이크로컨트롤러와 최신 신경형 프로세서 아키텍처 같은 임베디드 처리 플랫폼과의 신속한 연결을 보장합니다. 센서 레벨 프라이버시는 이벤트 센서의 희소 프레임리스 이벤트 데이터와 정적 장면 제거를 통해 보장됩니다.
이벤트 기반 센서는 더 넓은 범위의 애플리케이션 요구를 충족하도록 지속적으로 진화하고 있습니다. Prophesee의 최신 센서인 GenX320은 낮은 전력과 소형 폼팩터 시스템에서 작동해야 하는 많은 IoT 용례의 요구에 잘 부합합니다. (이미지: Prophesee)
이벤트 기반 센서는 이제 더 광범위한 애플리케이션에 활용되고 있습니다. 이 센서들을 IoT 플랫폼과 통합함으로써 제품 개발자들은 전력 소비와 크기 관련 특정 시장 니즈를 충족합니다. 용례에는 향상된 AR/VR 경험을 위한 포비에이티드 렌더링, 인간-기계 인터페이스용 시선 추적, 운전자 모니터링 시스템 및 감정 감지 같은 안전 애플리케이션이 포함됩니다. 또한 낙상 감지 카메라와 제스처/손 추적을 위한 상시 켜짐 기능을 보안 목적으로 지원합니다. AR/VR 영역에서는 깜빡이는 LCD 기반의 인사이드-아웃 트래킹과 컨스텔레이션 트래킹 같은 애플리케이션이 정밀한 객체 또는 컨트롤러 추적을 가능하게 합니다.
실리콘 기술 향상으로 더 많은 새로운 용례가 개발 중이며, 산업 애플리케이션을 위한 킬로헤르츠 반복률의 포인트 클라우드 생성을 가능하게 하는 고속 구조광 3D 기술이 포함됩니다. 비전을 캡처하거나 전송하지 않아 프라이버시 우려를 해소하는 낙상 감지 장치 같은 프라이버시 중심 스마트 홈 시스템도 비전 기술이 프라이버시 문제를 해결함에 따라 더 널리 보급되고 있습니다.
이벤트 기반 비전은 기계가 보는 방식의 효율성을 요구하는 많은 시장에서 새로운 표준을 창출할 패러다임으로 자리잡아 가고 있습니다. 지난 몇 년간 더 넓은 범위의 용례를 충족하도록 성공적으로 진화해왔습니다. 그리고 많은 애플리케이션의 요구사항에 지속적으로 적응하고 대응함으로써, 우리 주변에서 더 많은 이벤트 기반 카메라를 보게 될 것입니다.
이 기사는 Prophesee(프랑스 파리)의 CEO 겸 공동창업자 Luca Verre가 작성했습니다. 자세한 정보는 여기를 방문하세요.
감지기
산업 보안과 사이버 보안이 갈수록 심각한 문제임이 분명해지지만, 당면한 문제를 해결할 명확한 솔루션은 아직 없습니다. 이는 산업 운영의 복잡한 본질 때문입니다. 예를 들어 공장 환경에서 산업용 사물인터넷(IIoT) 네트워크 구축 시 어떤 보안 기술을 어디에 배치할지, 어떤 위협에 대비할지 등 여러 질문을 고려해야 합니다. 앤 R. 스리프트(Ann R. Thryft) 기자는 운영 기술(OT) 보안 기업 사이버엑스(CyberX)의 최근 글로벌 ICS 및 IIoT 위험 보고서를 인용합니다. 또한 스리프트는 20%가 무선 액세스 포인트를
산업 설계 광범위한 개념에서 엔지니어링 도면(기술 도면)은 물리적 생산에 관여하는 디자이너 필수 기술입니다. 엔지니어링 도면은 표준화된 언어와 기호로 제품이나 부품 제조에 필요한 모든 정보를 정확하고 시각적으로 전달합니다. 개인 해석 여지 거의 없이 도면 이해 용이. 엔지니어링 도면이란? 엔지니어링 도면은 기계 도면, 제조 도면, 청사진, 치수 도면 등으로도 불리며, 부품 형상, 구조, 크기, 공차, 정밀도 등 요구사항을 평면도 형태로 표현한 기술 도면. 엔지니어링 부품 요구사항 정의와 설계 개념 전달에 도움. 도면은 더 포괄적인
