뉴로모픽 비전은 다양한 응용 분야에 적용됩니다.

이벤트 기반 비전 회사인 Prophesee는 생명 공학, 과학 분석, 로봇 및 우주 기술을 아우르는 전 세계의 비전 센서에 대한 몇 가지 흥미로운 응용 프로그램을 선보였습니다. 한 프로젝트는 시각 장애인의 시력을 부분적으로 회복시켰습니다. 다른 하나는 밤이든 낮이든 하늘을 가로질러 우주 쓰레기를 추적합니다.

Prophesee는 현재 2200명의 발명가 커뮤니티가 이 기술을 사용하고 있다고 말했습니다. 프로젝트는 미래의 창의성을 고취시키는 것을 목표로 하는 Prophesee의 발명가 커뮤니티의 일부로 전시됩니다. 자세한 내용은 다음과 같습니다.

시력 회복

Gensight Biologics는 말기 색소성 망막염 환자의 시각 기능을 부분적으로 회복했습니다. 치료는 Prophesee 이벤트 기반 비전 센서가 장착된 특수 고글을 사용합니다.

치료의 일환으로 환자의 망막을 조류에서 추출한 감광성 단백질로 처리하여 망막 세포를 황색광(590nm)에 민감하게 만들었습니다. Prophesee 비전 센서는 비전 신호를 환자의 눈에 비추는 고강도 호박색 빛으로 변환하는 한 쌍의 고글의 일부입니다. 고글을 사용한 지 7개월 후, 환자(전에는 완전히 시각 장애인이었음)는 거리에 표시된 횡단보도를 감지할 수 있을 만큼 충분히 잘 볼 수 있었습니다. 그는 앞에 있는 탁자에서 공책(92%)과 필통(36%)을 식별할 수 있었습니다. 그는 물건을 잡고 셀 수 있었습니다.

Gensight Biologics는 세계의 이미지를 호박색 빛으로 변환하는 고글에 Prophesee 센서를 통합했습니다. 환자의 망막에 있는 수정된 세포는 이 빛을 감지하고 이해할 수 있습니다. (출처:Gensight Biologics / Prophesee)

환자는 조명 조건에 강한 빠르고 부드러운 시각적 경험을 제공하는 Prophesee 센서 덕분에 모양의 가장자리를 볼 수 있습니다. 센서는 희소 데이터를 생성합니다. 이미지를 다시 인코딩하는 데 시간을 할애하지 않습니다.

바젤대학교(University of Basel-UPMC)와 협력하여 수행한 연구 결과는 네이처 메디신(Nature Medicine)에 게재되었습니다. 이 작업은 한 환자만을 대상으로 하는 예비적인 작업이지만, 이 기술을 적용하고 신경퇴행성 질환 등을 치료하는 데 중요한 결과로 보아야 합니다.

세포 요법

영국의 Cambridge Consultants는 세포 치료를 위한 의료 영상 시스템에 Prophesee 센서를 사용하고 있습니다. 세포 요법은 환자 자신의 세포를 재프로그래밍하는 것을 기반으로 하는 응용 분야 중에서 암, 자가면역 및 신경계 질환의 치료에 대한 잠재력을 보유하고 있습니다. 재프로그래밍된 세포를 제조하는 것은 평균 $475,000의 비용이 드는 1회 투여로 힘들고 수동적인 과정입니다.

프로세스의 핵심 단계는 샘플이 멸균 상태인지 확인하는 것입니다. 환자가 치료를 기다리는 동안 잠복기에 7-14일이 소요될 수 있습니다. 오염 물질이 감지되면 새 샘플을 채취하고 잠복기를 다시 시작해야 합니다. Cambridge Consultants는 Prophesee의 이미지 센서를 사용하여 세포 수준에서 샘플을 살펴보고 AI 모델을 사용하여 실시간으로 오염 물질을 감지, 추적 및 분류했습니다(7-14일에 비해 18ms 미만).

PureSentry는 AI와 결합된 Prophesee 센서를 사용하여 크기, 모양 및 움직임을 기반으로 오염 물질(이 경우 대장균)을 찾아냅니다. (출처:Cambridge 컨설턴트)

Cambridge Consultants가 개발한 PureSentry 시스템은 다른 기술보다 정확하고 정확하게 인간 세포와 오염 물질을 모두 추적할 수 있습니다. 회사는 크기, 모양 및 특징적인 움직임을 기반으로 샘플에서 검출되는 대장균 박테리아의 비디오를 보여주었습니다. 저조도 및 높은 유속과 같은 더 어려운 조건에서 작동하며 비파괴 검사입니다. 이 장치는 세포 치료 과정의 자동화를 높이는 데 도움이 될 수 있습니다. 고도로 숙련된 기술자가 필요하지 않습니다.

입자 추적

Glasgow 대학, Heriot-Watt 대학 및 Strathclyde 대학의 팀은 고속 입자 탐지 및 추적을 위해 Prophesee의 이미지 센서를 사용하고 있습니다. 목표는 미세 유체 분석을 더 빠르고 저렴하게 만드는 것입니다.

팀은 1.54m/s의 빠른 유체 속도로 입자를 1μm까지 프로파일링하고 초당 20,000개 이미지에 해당하는 시간 해상도로 데이터를 캡처할 수 있었습니다. 그들의 설정은 표준 형광 현미경 및 조명과 함께 Prophesee 이벤트 기반 비전 센서를 사용합니다.

로봇 터치

싱가포르 국립 대학교의 연구원들은 새로운 터치 센서 기술과 함께 이벤트 기반 비전을 사용하여 로봇 팔과 손에 대한 촉각을 구축하고 있습니다.

연구진이 개발한 터치 센서인 뉴터치(NeuTouch)는 로봇 손가락 끝에 장착된 39개의 센서 어레이다. 이 센서는 뉴로모픽 프로세서(특히 Intel Loihi)에서 처리할 수 있는 Prophesee 센서와 유사한 "스파이크" 신호를 생성합니다.

싱가포르국립대학교의 NeuTouch 센서는 사람의 손가락과 크기가 비슷하고(A), 뼈와 피부와 유사한 부분으로 구성되어 있으며(B), 39개의 촉각 픽셀 또는 "촉각"(C)을 포함합니다. (출처:National University of Singapore / Prophesee)

이 작업은 전력이 제한된 시스템의 복잡한 작업에 적합한 방식으로 여러 센서(터치 센서 및 Prophesee 센서)의 데이터에서 의미를 동시에 통합하고 추출하는 방법을 보여주기 때문에 중요합니다.

로봇은 다양한 양의 액체가 담긴 용기를 집도록 훈련되었습니다. 그것은 액체가 무엇이고 무게가 얼마인지 결정할 수 있었습니다. 무게 정보는 각 컨테이너를 집었을 때 변형되는 방식 때문에 비전 센서에서 가져왔습니다.

로봇은 물체를 안전하게 잡는 데 필요한 최소 압력을 결정하는 "슬립 테스트"로 테스트되었습니다. 터치와 비전 센싱의 조합은 시스템이 인간의 터치보다 1000배 더 빠르게 미끄러짐을 감지하고 0.08초 만에 회전 미끄러짐을 감지할 수 있음을 의미했습니다.

연구원들은 이 기술이 산업용 로봇 공학에 사용되고 심지어 의수에 대한 촉각을 회복하는 데에도 사용될 수 있기를 희망합니다.

EE Times 읽기 ' 이 흥미로운 기술에 대한 보고서를 여기에서 확인하세요.

우주 쓰레기

Western Sydney University는 Prophesee 기술과 망원경을 결합하여 지구 궤도에 있는 우주 쓰레기를 추적하는 이동식 관측소인 Astrosite를 개발했습니다.

배치할 준비가 된 천체 망원경 관측소(출처:Western Sydney University)

궤도에 있는 위성의 수가 증가한다는 것은 다른 물체와 충돌할 위험이 증가한다는 것을 의미합니다. 우주에는 약 4850개의 위성이 있지만 약 40%만 활성화되어 있습니다. 죽은 위성 및 기타 파편을 모니터링하는 것은 일반적으로 고해상도 카메라로 수행되며, 이는 낮에 이미지를 캡처하는 데 적합하지 않습니다. 또한 대부분의 빈 공간을 캡처하므로 불필요한 데이터가 많이 처리됩니다.

이벤트 기반 감지는 시야의 변화에 ​​대한 데이터를 캡처하므로 좋은 솔루션입니다. Astrosite는 Prophesee 이벤트 기반 센서를 사용하여 기존 카메라 시스템보다 10배에서 1000배 적은 데이터를 생성합니다. 또한 저전력에서 마이크로초 시간 분해능으로 지속적으로(낮과 밤) 잔해를 모니터링할 수 있습니다.

>> 이 기사는 원래 자매 사이트인 EE Times Europe에 게시되었습니다.

---

관련 콘텐츠:

• 스파이킹 신경망을 위한 뉴로모픽 AI 칩 데뷔
• 센서 융합으로 로봇 그립
• 스택형 센서 아키텍처로 고급 비전 기능 제공
• 기계 학습 알고리즘은 ReRAM 가변성을 활용합니다.
• Vision AI의 미스터리를 풀기 위해 가치 사슬을 향상시키는 도구

더 많은 Embedded를 보려면 Embedded의 주간 이메일 뉴스레터를 구독하세요.