ToF 기술은 향상된 정확도를 약속합니다.

Analog Devices(ADI)와 Microsoft는 장면 조건에 관계없이 더 높은 정확도를 제공하는 것을 목표로 ToF(Time-of-Flight) 3D 이미징 솔루션을 생산하기 위해 협력했습니다. ADI는 Microsoft의 Azure Kinect 3D ToF 기술을 활용하고 기술 IC 및 시스템 전문성을 추가하여 채택하기 쉬운 솔루션을 만들 것입니다. 목표는 인더스트리 4.0, 자동차, 게임, 증강 현실, 컴퓨터 사진 및 비디오 촬영과 같은 분야의 광범위한 청중에게 다가가는 것입니다.

산업 시장 분석가들은 인더스트리 4.0을 실현하기 위해 인간 협업 로봇, 룸 매핑, 재고 관리 시스템과 같은 첨단 애플리케이션이 필요한 까다로운 환경에서 사용되는 3D 이미징 시스템의 강력한 성장을 예상합니다. 또한 ToF 애플리케이션은 탑승자 감지 및 운전자 모니터링 기능으로 보다 안전한 자동차 운전 환경을 조성하는 데 필요합니다.

EE Times와의 인터뷰에서 향상된 이미징 및 해석의 수석 이사인 Tony Zarola와 Analog Devices의 전략 마케팅 관리자인 Carlos Calvo는 이러한 협력의 토대를 강조했습니다 . Zarola는 “ Microsoft는 이미지 센서 제조업체 전반에 걸쳐 3D ToF 성능에 대한 벤치마크가 되었으며 ADI가 구축하고 있는 센서 및 솔루션의 기반이 되는 핵심 픽셀 기술을 ADI에 제공하고 있습니다. 수십 년 동안 인텔리전트 에지 또는 인텔리전트 클라우드에서 실행하는 최고의 데이터 캡처 및 혁신적인 알고리즘에 필요한 전문 지식을 개발했습니다. 우리는 실리콘, 시스템, 소프트웨어 및 광학 분야에서 Microsoft와 ADI의 최고의 기능을 결합하기를 기대합니다.”

3D ToF 디자인

제스처 인식은 인체의 일련의 움직임을 식별하는 장치의 능력입니다. 전자 기술은 2D 또는 3D 프로필에서 장면을 식별하고 스캔하기 위한 카메라와 IC의 도움을 기반으로 합니다. ToF 기법은 레이저 빔을 목표물에 보내고 신호 반사를 분석하는 것으로 구성됩니다.

3D 비행 시간 또는 3D ToF는 스캐너가 없는 LIDAR(광 감지 및 거리 측정) 유형으로 나노초 단위의 고출력 광 펄스를 사용하여 장면에서 깊이 정보(일반적으로 단거리)를 캡처합니다. 제스처 인식 소프트웨어 알고리즘의 도움으로 다양한 IC 솔루션은 수신된 이미지의 깊이 맵을 생성하여 신체 움직임에 실시간으로 응답합니다. 제스처 인식 기술의 주요 장점은 개인과 제어 시스템 사이에 물리적 접촉이 필요하지 않다는 것입니다.

ToF 카메라는 변조된 레이저 광과 레이저 파장 감지 센서를 통해 물체를 비추어 반사광을 포착하여 거리를 측정합니다. 센서는 빛이 방출되는 순간과 반사된 빛이 카메라에 수신되는 순간 사이의 시간 지연을 측정합니다. 시간 지연을 측정하는 방법에는 여러 가지가 있으며 그 중 두 가지가 일반적입니다. 연속파(CW) 방법과 펄스 방법입니다. 대부분의 ToF 센서는 CW이며 CMOS 센서를 사용합니다.

ToF(Time-of-Flight) 측정을 어렵게 만드는 많은 혼동 요인이 있습니다. 주변광 간섭, 실제 거리를 손상시키는 장면의 물체에서 반사되는 빛으로 인한 다중 경로 효과, 온도 효과, 범위 모호성. Calvo는 “실리콘 개발에서 부품의 이론적인 합에 맞춰 작동하는 전체 시스템의 생성에 이르기까지 도전 과제가 확장됩니다.”라고 말했습니다. “각 구성요소를 따로따로 보는 것은 불가능합니다. 예를 들어, 최고의 센서를 가지고 있지만 최적화되지 않은 렌즈가 장착된 ToF 카메라는 전반적인 시스템 성능이 좋지 않을 것입니다."

“표면적으로 ToF 카메라는 RGB 카메라와 유사합니다. 한 가지 주요 차이점은 응용 프로그램에 따라 RGB 카메라의 이미지 품질이 어느 정도 주관성으로 판단된다는 것입니다. 다른 응용 프로그램은 고급 사후 처리를 통해서만 활성화됩니다. ToF 카메라는 애플리케이션에 따라 사용자가 이미지의 정확도에 크게 의존할 수 있는 객관적인 물리량(거리)을 측정합니다. 렌즈 플레어와 같은 RGB 카메라의 일부 광학적 결함은 예술적으로 간주되는 인공물을 생성할 수 있습니다(예:햇빛 플레어). ToF 시스템에서 렌즈 플레어를 극적으로 최소화하지 않으면 물체의 강한 반사가 있는 상태에서 전체 시스템의 성능을 손상시킬 수 있다고 Calvo는 덧붙였습니다.”

ToF에 사용되는 CMOS 센서는 송신기와 수신기로 구성됩니다. 160fps에 가까운 성능으로 단일 픽셀 수준에서 물체의 거리를 계산할 수 있습니다.

“실리콘 수준에서 신호 체인의 핵심 요소인 레이저 드라이버, 통합 판독값이 있는 ToF 이미지 센서, 마지막으로 깊이 계산 엔진을 고려해야 합니다. 도전 과제는 이미지 센서 자체에서 응답성이 높고 변조 대비가 높은 픽셀을 설계하는 것으로 시작하여 다음 애플리케이션 계층에서 해석할 수 있는 3D 포인트 클라우드의 형성으로 끝납니다.

“구성 요소 외에도 광학 기계 설계, 보정, 전기 설계 및 소프트웨어 구현이 모두 시간이 많이 걸리고 까다롭기 때문에 주요 문제는 깊이 카메라의 설계 및 생산에서 비롯됩니다. Analog Devices(ADI)는 고객이 설계 프로세스를 쉽게 수행할 수 있도록 이러한 과제를 수행합니다.”라고 Calvo는 말했습니다.

그림 1. ToF 블록 다이어그램. (출처:ADI)

픽셀은 장면의 다른 부분에서 빛을 수집하고 이들의 재결합은 재구성된 이미지를 구성합니다. 모든 센서 픽셀은 복조 및 변조 블록 간의 상관 관계에 의해 제어됩니다. 각 픽셀은 그림 2에 표시된 모델로 근사할 수 있습니다.

전류는 관련 제어 신호를 활성화하여 통합 시간 동안 Node-A(Da) 또는 Node-B(Db)로 전달됩니다. 판독은 복조가 중지된 상태에서 이루어지므로 시스템이 전체 비트 시퀀스를 읽을 수 있습니다. ClkA 및 ClkB는 선택된 변조 주파수에서 시간 tInt1 동안 위상이 180도 변조됩니다. ClkA 및 CLkB 클럭과 관련하여 수신된 빛의 위상은 DA 및 DB 신호를 결정합니다. 통합이 끝나면 ClkA 및 ClkB가 꺼지고 통합 신호(BitlineAInt1-BitlineBInt1)를 샘플링하여 판독 단계가 발생합니다.

광자의 전류로의 변환은 푸아송 분포를 사용하는 양자 프로세스에 의해 제어됩니다. 시스템의 우수성에 대한 아이디어를 제공하는 매개변수는 생성된 전자 수와 해당 픽셀을 활성화하는 광자 수 간의 비율인 양자 효율입니다. 전자의 수는 실제 변조된 빛과 노이즈 효과에 해당하는 주변광에 따라 다릅니다. Time-of-Flight 시스템을 설계할 때 선택하는 매개변수는 FoV(Field of View)입니다. FoV는 장면의 적용 범위 요구 사항에 따라 적절하게 선택되어야 합니다.

그림 2. 픽셀의 전기 회로 및 타이밍. (출처:https://ieeexplore.ieee.org/document/6964815 )

고주파수에서 고효율을 달성하기 위해 칩은 효율적인 ToF(Time-of-Flight) 작동을 지원하기 위해 약간 수정된 0.13μm 혼합 신호 저전력 CMOS 프로세스를 사용하여 제작할 수 있습니다.

ADI 및 Microsoft

Microsoft와 ADI 간의 협력은 ToF 기술을 향상시키는 것을 목표로 합니다. ADI는 밀리미터 미만의 정확도를 제공하고 Microsoft의 심층 지능형 클라우드를 기반으로 하는 Redmond 거대 생태계와 호환되는 새로운 ToF 3D 이미지 센서 시리즈를 설계하고 있습니다. 및 Intelligent Edge 플랫폼.

“우리는 이 협력이 소비자, 산업, 의료 및 자동차와 같은 모든 주요 산업에 영향을 미칠 것이라고 굳게 믿습니다. 지금까지 Microsoft에서 개발한 기술은 확장된 상용 응용 프로그램에 널리 사용되지 않았습니다. 우리는 Microsoft의 이미저 기술로 구동되는 ADI 솔루션이 전반적으로 게임 체인저가 될 것이라고 믿습니다.”라고 Zarola가 말했습니다.

보다 효율적인 공장 자동화를 위한 진보된 안전 조치와 함께 향상된 안면 인식을 위한 보안 시스템의 명백한 적용이 있습니다. 인더스트리 4.0은 "인간이 없는" 영역에서 울타리 없이 인간과 함께 안전하게 작업하는 협동 로봇으로 변환될 것이며 물류의 추가 최적화는 상자 및 팔레트 치수에 대한 ToF 정확도로 가능해질 것입니다.

Zarola는 "더 정교한 점유 감지는 에너지 효율성, 안전 시스템 및 인간-기계 상호 작용을 개선할 것입니다. 가정에서 자동차에 이르기까지 Microsoft와의 ToF 협업은 새로운 게임 경험을 제공하여 현실 세계에 가상 개체를 배치하고 상호 작용할 수 있는 기능을 제공하고 우리가 자동차와 상호 작용하는 방식을 변경하고 운전자와 승객을 모두 모니터링하여 안전성을 높일 것입니다. ToF 기술의 잠재적 사용 사례는 광범위하고 진화하기 때문에 오늘날의 주요 응용 프로그램은 내일 새로운 아이디어로 대체될 것으로 예상됩니다.”

Zarola와 Calvo는 고객이 광범위한 온도에서 밀리미터 깊이의 해상도와 미세한 공간 해상도를 원하는 방식을 밝혔습니다. 이러한 종류의 성능을 달성하려면 하드웨어 및 소프트웨어 수준 모두에서 달성되는 극도의 시간 동기화 수준이 필요합니다. “레이저를 제어하는 ​​신호와 센서의 픽셀 사이의 10ps 타이밍 오정렬로 인해 최종 거리 추정치에서 1.5mm 오류가 발생합니다. 그것이 충분히 어렵지 않다면 공동으로 설계해야 하는 고급 처리 및 보정 알고리즘이 필요한 광범위한 온도에서 Time-of-Flight 시스템을 정확하게 유지해야 할 필요성을 추가합니다.”라고 Calvo가 말했습니다.

ToF 시스템에 대한 구체적인 비판은 작동할 수 있는 변조 주파수와 ADI가 가장 집중되는 위치입니다. 대부분의 깊이 추정 오류 소스는 변조 주파수로 "분할"되는 경향이 있습니다. Zarola는 "우리는 ToF 시스템의 평균 변조 주파수를 높이는 것을 목표로 하여 더 낮은 깊이 노이즈로 측정할 수 있을 뿐만 아니라 다중 경로 또는 주변광 샷 노이즈의 역효과를 줄이는 것을 목표로 합니다."라고 말했습니다.

Zarola는 다음과 같이 덧붙였습니다. “ADI는 또한 깊이 카메라를 설계하고 생산하는 데 시간이 많이 걸리고 어려운 주요 과제를 해결하려고 합니다. 우리는 이미지 캡처의 전통적인 장애물과 함께 기계적 정렬, 광학 설계, 보정, 전기 설계 및 소프트웨어 구현을 담당하고 있습니다.”

HoloLens 혼합 현실 장치에 사용되는 Microsoft의 ToF(Time-of-Flight) 3D 기술과 Azure Kinect 개발 키트를 ADI의 사용자 지정 솔루션과 결합하면 차세대 고성능 애플리케이션을 구현하고 확장할 수 있습니다. 출시 시간을 최적화합니다.

>> 이 기사는 원래 다음 날짜에 게시되었습니다. 자매 사이트인 EE Times.