스택 센서 아키텍처로 고급 비전 기능 제공

파리 — 뉴로모픽 비전 시스템을 개척한 파리 기반의 신생업체 Prophesee는 이번 주 샌프란시스코에서 열린 ISSCC(International Solid-State Circuits Conference)에서 Sony와 공동으로 개발한 새로운 스택형 이벤트 기반 비전 센서를 발표했습니다.

Prophesee의 이벤트 기반 기술로 설계된 새로운 센서는 고급 스택 CMOS 이미지 센서를 위해 Sony에서 엔지니어링한 기술을 기반으로 합니다.

픽셀 칩(왼쪽) 및 로직 칩(출처:Prophesee)

이벤트 구동 시스템의 경우 이 새로운 센서는 업계에서 가장 작은 픽셀 크기와 업계 최고의 HDR(High Dynamic Range) 성능을 제공한다고 Prophesee는 주장했습니다. 두뇌에서 영감을 받은 센서는 산업용 기계, 로봇 및 자율주행 차량이 환경을 더 잘 보고 감지할 수 있도록 합니다.

파트너십을 통해 AI(AI 감지 및 AI 처리 모두)가 아직 센서 자체는 아니더라도 데이터가 생성되는 센서와 매우 가까운 곳에서 발생할 수 있는 새로운 시대를 예고할 수 있습니다.

두 회사에 어떤 영향을 미치나요?

Sony는 세계 최고의 CMOS 이미지 센서 회사입니다. 파트너십은 Prophesee의 새로운 감지 기술에 대한 상업적 신뢰성을 제공합니다. Prophesee의 CEO인 Luca Verre는 이번 조치로 Prophesee의 이벤트 기반 카메라가 대중 시장 기회를 잡을 수 있기를 희망합니다.

Verre는 EE Times에 "많은 트랜지스터, 전자 제품 및 포토다이오드를 사용하는 기술의 특성을 고려할 때 Sony와 협력하는 것이 항상 첫 번째 선택이었습니다."라고 말했습니다. . 두 회사는 2017년에 협력하기 시작했습니다. Verre는 최초의 스택형 이벤트 기반 비전 센서의 샘플이 2020년에 제공될 것이라고 약속했습니다.

Prophesee와의 파트너십은 Sony의 게임 체인저가 될 수 있으며 일본 거대 기업이 이벤트 중심 비전 기술을 탐색할 수 있는 기회를 제공할 수 있습니다.

판도라의 상자

Yole Développement의 수석 분석가인 Pierre Cambou는 Prophesee-Sony 파트너십을 "판도라의 상자를 여는 것"과 동일하다고 봅니다.

피에르 캉부

Prophesee가 개발한 뉴로모픽 카메라에서 Cambou는 "각 픽셀은 본질적으로 뉴런입니다. Cambou는 칩 스태킹 개발을 "아직 초기 단계"라고 부르며 라인, 뉴런, 메모리 및 처리가 모두 함께 스택될 수 있다고 예측했습니다. "에지" 또는 "엔드포인트"에 더 많은 지능을 제공하려는 현재의 열정은 AI가 센서 내부에서 감지되고 처리되는 미래의 날을 예고합니다.

Sony는 "즉석에서 이미지를 향상시킬 수 있는" AI 통합 이미지 센서를 개발하거나 "이벤트 기반 센싱을 직접 제공하는" 이미지 센서를 만들 수 있을 것이라고 Cambou는 설명했습니다.

사실, 누군가가 이미 "Arrival of the Train at La Ciotat" —에 신경망을 적용했습니다. 1896년 Lumiere 형제가 촬영한 유명한 초기 영화 - 누락된 픽셀을 채우기 위해 이러한 노력 덕분에 124년 된 영화를 초당 60프레임으로 되살리고 4K 비디오로 업스케일할 수 있었습니다. Cambou는 이러한 업스케일링된 비디오가 인터넷에서 대세라고 설명하면서 AI의 힘이 이미징 세계에서 충분히 입증되었다고 설명했습니다.

AI에 대한 생체모방 접근법은 폰 노이만 컴퓨팅의 대안입니다. Cambou는 "AI가 널리 보급됨에 따라 중요성이 커질 것입니다."라고 말했습니다.

1896년 Lumiere Brothers가 촬영한 "Arrival of a train at La Cicotat"은 데니스 시랴예프

스택 이벤트 기반 비전 센서용 빌딩 블록

새롭게 설계된 이벤트 구동 센서는 픽셀 칩(상단)과 로직 칩(하단)이 함께 적층된다. 로직은 비동기 델타 변조 방식을 기반으로 휘도 변화를 감지하도록 설계된 신호 처리 회로를 통합합니다.

두 개의 개별 칩의 각 픽셀은 적층 구성에서 구리-구리 연결을 사용하여 전기적으로 연결됩니다.

이를 통해 새로운 센서는 업계 최소(4.86μm) 픽셀 크기를 달성할 수 있습니다. 또한 미세한 40nm 로직 프로세스로 고밀도 집적을 달성하여 1/2 유형, 1280×720 HD 해상도를 제공합니다.

새로운 이벤트 기반 센서의 또 다른 기능은 Prophesee가 주장하는 업계 최고의 HDR 성능인 124dB(또는 그 이상)를 제공하는 기능입니다. 팀은 픽셀 칩(위)에 이면조사형 픽셀과 N형 MOS 트랜지스터의 일부만 배치하여 이를 달성했습니다. Prophesee에 따르면 이것은 조리개 비율을 최대 77%까지 향상시킵니다. 고감도/저노이즈 기술 Sony는 CMOS 이미지 센서를 위해 수년에 걸쳐 개발하여 저조도 조건(40mlx)에서 이벤트 감지를 가능하게 했습니다.

분업?

Prophesee CEO Verre는 파트너십에서 Sony의 역할은 파운드리에만 국한되지 않는다고 말했습니다. Verre는 이벤트 기반 기술에 대한 확실한 지식과 고유한 IP 포트폴리오를 통해 "픽셀을 설계하는 방법에 대한 명확한 아이디어를 가지고 테이블에 왔습니다."라고 말했습니다. 두 회사의 협력을 통해 아날로그, 로직, 전력의 새로운 이벤트 중심 센서 설계와 Sony의 고급 제조 공정이 결합되었습니다.

Verre는 관계가 순수한 R&D 활동도 ​​아니라고 말했습니다. 의도는 응용 프로그램을 개발하는 동안 기술을 상용 시장에 제공할 장기적인 파트너십을 유지하는 것입니다.

소니에게 이것이 의미하는 바는 무엇입니까?

세계에는 CMOS 이미징 센서에 많은 플레이어가 있습니다. Cambou는 Sony가 CMOS 이미지 센서가 "더 이상 이미징에 관한 것이 아니라 실제로 감지에 관한 것"이라는 예측을 받아들이는 것을 관찰했습니다. Cambou가 오랫동안 설교해 온 복음입니다.

Sony가 2015년 3D 감지 컴퓨터 비전 기술 개발업체인 벨기에 기반 SoftKinetic을 인수한 것을 기억하십니까? Cambou는 이번 인수를 통해 Sony가 작년에 갑자기 Android 스마트폰 공급업체가 요구하기 시작한 ToF(Time of Flight) 센서 시장에서 점유율을 높일 수 있었다고 말했습니다. Cambou는 당시 회사가 깊이 감지 기술에 손을 대지 않았다면 소니에 어떤 일이 일어났을지 상상해 보십시오.

그의 의견으로는 Prophesee와의 파트너십도 다르지 않습니다. 자동차 및 산업용 머신 비전 시장의 플레이어가 운영을 향상시키기 위해 더 풍부한 감지 데이터를 찾기 시작하면 동일한 카메라를 또 하나 추가하는 대신 새로운 감지 기술을 추가할 가능성이 더 큽니다.

간단히 말해서 Prophesee는 SoftKinetic이 Sony가 "DepthSense" 솔루션을 개발하고 이를 스마트폰으로 발전시킬 수 있었던 것처럼 Sony가 이벤트 중심 이미지 센서 시장에 진입할 수 있도록 지원하는 회사가 될 수 있습니다.

이제 Sony는 DepthSense 기술을 통해 ToF 이미지 센서를 많은 Android 스마트폰에 장착하고 있습니다. 이것은 Sony가 이미 스마트폰의 전면 및 후면 카메라에서 축적한 CMOS 이미지 센서 설계의 호스트에 추가됩니다.