Time of Flight 시스템 설계:시스템 개요

연속파(CW ToF(Time of Flight) 카메라는 고품질 3D 정보를 필요로 하는 응용 프로그램에 대한 높은 깊이 정밀도를 제공하는 강력한 솔루션이지만 개발자는 최상의 성능 수준을 달성하기 위해 여러 요소를 고려해야 합니다.

이것은 연속파(CW) CMOS ToF 카메라 시스템 기술에 대한 개요와 머신 비전 애플리케이션을 위한 기존 3D 이미징 솔루션에 비해 이점을 제공하는 ToF(Time of Flight) 시리즈의 첫 번째 기사입니다. 후속 기사에서는 조명 하위 시스템, 광학, 전원 관리 및 깊이 처리를 포함하여 이 기사에서 소개한 일부 시스템 수준 구성 요소에 대해 더 자세히 알아볼 것입니다.

소개

많은 머신 비전 애플리케이션은 이제 표준 2D 이미징을 대체하거나 보강하기 위해 고해상도 3D 깊이 이미지를 필요로 합니다. 이러한 솔루션은 3D 카메라를 사용하여 신뢰할 수 있는 깊이 정보를 제공하여 특히 기계가 사람 가까이에서 작동할 때 안전을 보장합니다. 또한 카메라는 반사율이 높은 표면이 있는 넓은 공간이나 다른 움직이는 물체가 있는 곳과 같은 까다로운 환경에서 작동하면서 신뢰할 수 있는 깊이 정보를 제공해야 합니다.

지금까지 많은 제품이 저해상도 거리 측정기 유형 솔루션을 사용하여 2D 이미징을 보강하는 깊이 정보를 제공했습니다. 그러나 이 접근 방식에는 많은 제한 사항이 있습니다. 고해상도 3D 깊이 정보를 활용하는 애플리케이션을 위해 CW CMOS ToF 카메라는 시장에서 가장 높은 성능의 솔루션을 제공합니다. 고해상도 CW ToF 센서 기술로 구현된 일부 시스템 기능은 표 1에 자세히 설명되어 있습니다. 이러한 시스템 기능은 비디오 보케, 안면 인증 및 측정 응용 프로그램과 같은 소비자 사용 사례와 다음과 같은 자동차 사용 사례에도 적용됩니다. 운전자 경보 모니터링 및 자동화된 실내 구성으로.

표 1. 연속파 비행 시간 시스템 기능

시스템 기능 인에이블러 깊이 정밀도 및 정확도• 변조 주파수

• 변조 방식 및 깊이 처리 동적 범위• 판독 노이즈

• 원시 프레임 속도사용 용이성• 보정 절차

• 온도 보상

• 눈 안전 모니터링실외 작동• 940 nm에서 감도

• 조명 파워 및 효율성2D/3D 융합• 픽셀 크기

• 깊이 및 2D IR 이미지멀티시스템 작동• 간섭광의 픽셀 내 제거

• 카메라 동기화

Continuous Wave CMOS 비행 시간 카메라 개요

깊이 카메라는 각 픽셀이 카메라와 장면 사이의 거리를 출력하는 카메라입니다. 깊이를 측정하는 한 가지 기술은 빛이 카메라의 광원에서 반사면으로 이동한 다음 다시 카메라로 이동하는 데 걸리는 시간을 계산하는 것입니다. 이 이동 시간을 일반적으로 비행 시간(ToF)이라고 합니다.

전체 크기 이미지를 보려면 클릭하세요.

그림 1. 연속파 비행 시간 센서 기술의 개요. (출처:Analog Devices)

ToF 카메라는 다음을 포함한 여러 요소(그림 1 참조)로 구성됩니다.

근적외선 영역에서 빛을 방출하는 VCSEL(수직 공동 표면 방출 레이저) 또는 가장자리 방출 레이저 다이오드와 같은 광원입니다. 가장 일반적으로 사용되는 파장은 850 nm와 940 nm입니다. 광원은 일반적으로 특정 발산(조명 필드 또는 FOI라고도 함)이 있는 광선을 방출하여 카메라 앞의 장면을 비추는 확산 광원(투광 조명)입니다.
광원에서 방출되는 빛의 강도를 조절하는 레이저 드라이버
장면에서 반환되는 빛을 수집하고 각 픽셀에 대한 값을 출력하는 픽셀 배열이 있는 센서입니다.
반사광을 센서 어레이에 집중시키는 렌즈입니다.
광원 파장 주변의 좁은 대역폭 외부의 빛을 걸러내는 렌즈와 같은 위치에 있는 대역 통과 필터
센서의 출력 원시 프레임을 깊이 이미지 또는 포인트 클라우드로 변환하는 처리 알고리즘입니다.

ToF 카메라의 빛을 변조하기 위해 여러 접근 방식을 사용할 수 있습니다. 간단한 접근 방식은 연속파 변조(예:50% 듀티 사이클의 구형파 변조)를 사용하는 것입니다. 실제로 레이저 파형은 완전한 구형파가 아니며 사인파에 더 가깝게 보일 수 있습니다. 사각 레이저 파형은 주어진 광 전력에 대해 더 나은 신호 대 잡음비를 생성하지만 고주파 고조파의 존재로 인해 깊이 비선형성 오류가 발생합니다.

CW ToF 카메라는 시간차 t_d를 측정합니다. 위상 오프셋 ϕ =2πft_d를 추정하여 방출된 신호와 반환 신호 사이 두 신호의 기본 사이. 다음을 사용하여 위상 오프셋(ϕ)과 빛의 속도(c)에서 깊이를 추정할 수 있습니다.

여기서 f_mod 변조 주파수입니다.

센서의 클록 생성 회로는 두 전하 저장 요소(탭 A 및 탭 B)의 광전하 축적과 레이저 드라이버에 대한 레이저 변조 신호를 각각 제어하는 보완 픽셀 클록을 제어합니다. 반환되는 변조광의 위상은 픽셀 클록의 위상과 관련하여 측정할 수 있습니다(그림 1의 오른쪽 참조). 픽셀에서 Tap A와 Tap B 사이의 차동 전하량은 반환되는 변조광의 강도와 픽셀 클록에 상대적인 반환 변조광의 위상에 비례합니다.

호모다인 검출 원리를 사용하여 픽셀 클록과 레이저 변조 신호 사이의 여러 상대 위상으로 측정이 이루어집니다. 이러한 측정을 결합하여 반환되는 변조된 광 신호의 기본 위상을 결정합니다. 이 단계를 알면 빛이 광원에서 관찰 대상으로 이동하고 다시 센서 픽셀로 이동하는 데 걸리는 시간을 계산할 수 있습니다.

높은 변조 주파수의 장점

실제로, 위상 측정에서 오류를 일으킬 수 있는 광자 샷 노이즈, 판독 회로 노이즈 및 다중 경로 간섭과 같은 비이상이 있습니다. 변조 주파수가 높으면 이러한 오류가 깊이 추정에 미치는 영향을 줄일 수 있습니다.

이것은 위상 오류 ϵ_ϕ 가 있는 간단한 예를 들면 이해하기 쉽습니다. - 즉, 센서에 의해 측정된 위상은 ϕ =ϕ + ϵ_ϕ . 깊이 오류는 다음과 같습니다.

따라서 깊이 오류는 변조 주파수 f_mod에 반비례합니다. . 이것은 그림 2에 그래픽으로 설명되어 있습니다.

전체 크기 이미지를 보려면 클릭하세요.

그림 2. 거리 추정에 대한 위상 오차의 영향. (출처:Analog Devices)

이 간단한 공식은 변조 주파수가 높은 ToF 카메라가 변조 주파수가 낮은 ToF 카메라보다 깊이 노이즈가 낮고 깊이 오류가 더 작은 이유를 상당 부분 설명합니다.

높은 변조 주파수를 사용할 때의 한 가지 단점은 위상이 더 빨리 순환한다는 것입니다. 즉, 명확하게 측정할 수 있는 범위가 더 짧습니다. 이 제한을 해결하는 일반적인 방법은 서로 다른 속도로 감싸는 다중 변조 주파수를 사용하는 것입니다. 가장 낮은 변조 주파수는 모호성이 없는 넓은 범위를 제공하지만 더 큰 깊이 오류(잡음, 다중 경로 간섭 등)를 제공하는 반면 더 높은 변조 주파수는 깊이 오류를 줄이기 위해 함께 사용됩니다. 세 가지 다른 변조 주파수를 사용하는 이 방식의 예는 그림 3에 나와 있습니다. 최종 깊이 추정은 다른 변조 주파수에 대한 래핑되지 않은 위상 추정에 가중치를 부여하여 계산되며 더 높은 가중치는 더 높은 변조 주파수에 할당됩니다.

전체 크기 이미지를 보려면 클릭하세요.

그림 3. 다중 주파수 위상 언래핑. (출처:Analog Devices)

각 주파수에 대한 가중치가 최적으로 선택되면 깊이 잡음은 시스템에서 선택한 변조 주파수의 rms(제곱 평균 제곱근)에 반비례합니다. 일정한 깊이의 노이즈 예산을 위해 변조 주파수를 높이면 통합 시간이나 조명 전력을 줄일 수 있습니다.

성능에 중요한 기타 시스템 측면

고성능 ToF 카메라를 개발할 때 고려해야 할 수많은 시스템 기능이 있으며 그 중 일부는 여기에서 간략하게 다룹니다.

이미지 센서

이미지 센서는 ToF 카메라의 핵심 부품입니다. 대부분의 깊이 추정 비이상(예:바이어스, 깊이 노이즈 및 다중 경로 아티팩트)의 영향은 시스템의 평균 변조 주파수가 증가할 때 감소합니다. 따라서 센서가 높은 변조 주파수(수백 MHz)에서 높은 복조 대비(탭 A와 탭 B 사이의 광전자를 분리하는 능력)를 갖는 것이 중요합니다. 또한 센서는 근적외선 파장(예:850nm 및 940nm)에서 높은 양자 효율(QE)을 가져야 하므로 픽셀에서 광전자를 생성하는 데 필요한 광 전력이 줄어듭니다. 마지막으로, 낮은 판독 노이즈는 낮은 반사 신호(원거리 또는 낮은 반사율 개체)를 감지할 수 있도록 하여 카메라의 동적 범위에 도움이 됩니다.

조명

레이저 드라이버는 높은 변조 주파수에서 광원(예:VCSEL)을 변조합니다. 주어진 광 전력에 대해 픽셀에서 유용한 신호의 양을 최대화하려면 광 파형이 깨끗한 에지와 함께 빠른 상승 및 하강 시간을 가져야 합니다. 조명 하위 시스템에서 레이저, 레이저 드라이버 및 PCB 레이아웃의 조합은 모두 이를 달성하는 데 중요합니다. 변조 파형의 푸리에 변환에서 기본 진폭을 최대화하기 위해 최적의 광 전력 및 듀티 사이클 설정을 찾는 데 필요한 특성도 있습니다. 마지막으로, 레이저 드라이버 및 시스템 수준에 내장된 몇 가지 안전 메커니즘을 사용하여 광학 전력도 안전한 방식으로 전달되어 클래스 1 눈 안전 제한이 항상 준수되도록 해야 합니다.

광학

광학은 ToF 카메라에서 핵심적인 역할을 합니다. ToF 카메라에는 특별한 광학 요구 사항을 유발하는 특정 고유한 특성이 있습니다. 첫째, 광원의 조명 필드는 최적의 효율성을 위해 렌즈의 시야와 일치해야 합니다. 또한 더 나은 집광 효율을 위해 렌즈 자체가 높은 조리개(낮은 f/#)를 가져야 합니다. 조리개가 크면 비네팅, 얕은 피사계 심도 및 렌즈 설계 복잡성과 관련된 다른 절충안이 발생할 수 있습니다. 낮은 주광선 각도 렌즈 설계는 대역 통과 필터 대역폭을 줄이는 데 도움이 될 수 있으며, 이는 주변광 제거를 개선하여 실외 성능을 향상시킵니다. 또한 광학 서브시스템은 처리 효율을 최대화하고 미광을 최소화하기 위해 원하는 작동 파장(예:반사 방지 코팅, 대역 통과 필터 설계, 렌즈 설계)에 맞게 최적화되어야 합니다. 또한 광학 정렬이 최종 애플리케이션에 대해 원하는 허용 오차 내에 있도록 보장하기 위한 많은 기계적 요구 사항이 있습니다.

전원 관리

전력 관리는 고성능 3D ToF 카메라 모듈 설계에서도 매우 중요합니다. 레이저 변조 및 픽셀 변조는 높은 피크 전류의 짧은 버스트를 생성하므로 전력 관리 솔루션에 몇 가지 제약이 따릅니다. 이미저의 피크 전력 소비를 줄이는 데 도움이 될 수 있는 센서 IC(집적 회로) 수준의 몇 가지 기능이 있습니다. 전원(예:배터리 또는 USB)에 대한 요구 사항을 완화하는 데 도움이 되도록 시스템 수준에서 적용할 수 있는 전원 관리 기술도 있습니다. ToF 이미저의 주요 아날로그 공급 장치에는 일반적으로 과도 응답이 좋고 노이즈가 낮은 레귤레이터가 필요합니다.

전체 크기 이미지를 보려면 클릭하세요.

그림 4. 광학 시스템 아키텍처. (출처:Analog Devices)

심층 처리 알고리즘

마지막으로 시스템 수준 설계의 또 다른 큰 부분은 깊이 처리 알고리즘입니다. ToF 이미지 센서는 위상 정보를 추출해야 하는 원시 픽셀 데이터를 출력합니다. 이 작업에는 노이즈 필터링 및 위상 언래핑을 포함하는 여러 단계가 필요합니다. 위상 언래핑 블록의 출력은 빛이 레이저에서 장면까지 이동한 거리를 측정한 것이며, 종종 범위 또는 방사형 거리라고도 합니다.

방사 거리는 일반적으로 실제 좌표(X,Y,Z)로 특정 픽셀에 대한 정보를 나타내는 포인트 클라우드 정보로 변환됩니다. 종종 최종 애플리케이션은 전체 포인트 클라우드 대신 Z 이미지 맵(깊이 맵)만 사용합니다. 방사형 거리를 포인트 클라우드로 변환하려면 렌즈 고유 및 왜곡 매개변수를 알아야 합니다. 이러한 매개변수는 카메라 모듈의 기하학적 보정 중에 추정됩니다. 깊이 처리 알고리즘은 능동 밝기 이미지(복귀 레이저 신호의 진폭), 수동 2D IR 이미지 및 신뢰 수준과 같은 기타 정보도 출력할 수 있으며 이들은 모두 최종 애플리케이션에서 사용할 수 있습니다. 깊이 처리는 카메라 모듈 자체 또는 시스템의 다른 위치에 있는 호스트 프로세서에서 수행할 수 있습니다.

이 기사에서 다루는 다양한 시스템 수준 구성 요소의 개요는 표 2에 나와 있습니다. 이러한 주제는 향후 기사에서 더 자세히 다룰 것입니다.

표 2. 3D 비행 시간 카메라의 시스템 수준 구성요소

시스템 수준 구성요소 주요 기능 ToF ImagerResolution, 높은 복조 대비, 높은 양자 효율, 높은 변조 주파수,
낮은 판독 노이즈Illumination Source높은 광학 전력, 높은 변조 주파수,
눈 안전 기능광학높은 집광 효율, 최소한의 미광, 좁은 대역폭전력 관리저노이즈 , 우수한 과도 응답,
고효율, 높은 피크 전력 제공깊이 처리낮은 전력, 다양한 유형의 출력 지원
깊이 정보

결론

연속파 비행 시간 카메라는 고품질 3D 정보가 필요한 애플리케이션에 높은 깊이 정밀도를 제공하는 강력한 솔루션입니다. 최상의 성능 수준을 달성하기 위해 고려해야 할 많은 요소가 있습니다. 변조 주파수, 복조 대비, 양자 효율 및 판독 노이즈와 같은 요소는 이미지 센서 수준에서 성능을 결정합니다. 다른 요소로는 조명 하위 시스템, 광학 설계, 전원 관리 및 깊이 처리 알고리즘을 포함하는 시스템 수준 고려 사항이 있습니다. 이러한 모든 시스템 수준 구성 요소는 최고 정밀도의 3D ToF 카메라 시스템을 구현하는 데 중요합니다. 이러한 시스템 수준 주제는 다음 기사에서 더 자세히 다룰 것입니다. ADI의 ToF 제품 제공에 대한 자세한 내용은 analog.com/tof를 참조하십시오.

폴 오설리번 캘리포니아 산타클라라에 있는 Analog Devices의 시스템 엔지니어입니다. 그는 2004년 아일랜드의 Analog Devices에 입사하여 다양한 테스트 개발 및 애플리케이션 엔지니어링 역할을 수행한 후 소비자 애플리케이션을 위한 고급 기술 프로젝트를 수행하기 위해 2016년 캘리포니아로 이사했습니다. 그는 2019년부터 3D ToF 카메라 모듈 개발 및 캘리브레이션 작업을 하고 있습니다. 그는 B.E. University College Cork 및 M.Eng에서 학위. 아일랜드 리머릭 대학교 출신. [email protected]으로 연락할 수 있습니다.

니콜라스 르 도르츠 Analog Devices의 ToF(Time of Flight) 기술 그룹의 시스템 엔지니어링 관리자입니다. 이 역할에서 그는 ADI의 ToF 기술 제품 개발을 감독하고, ToF 카메라 시스템을 제공하고 Analog Devices 고객에게 뛰어난 성능을 제공하는 것과 관련된 교차 기능 팀을 연결합니다. 그는 석사 학위를 받았습니다. 2010년 프랑스 Ecole Polytechnique에서 전기 공학 석사 학위를 취득했습니다. 2012년 스웨덴 KTH에서 마이크로일렉트로닉스로 박사 학위를 취득했습니다. 2015년 프랑스 Ecole Centrale-Supelec에서 전기 공학 박사 학위를 받았고 2013년부터 2014년까지 UC Berkeley에서 방문 연구원으로 일했습니다. 그는 컴퓨터 비전, 신호 처리, 집적 회로 설계, 소프트웨어 개발 및 광학 설계. 그는 [email protected]으로 연락할 수 있습니다.

관련 콘텐츠:

Vision AI의 미스터리를 풀기 위해 가치 사슬을 향상시키는 도구
tinyML 및 자동화된 기계 학습으로 효과적인 IoT 애플리케이션 구축
Time-of-Flight 기술은 향상된 정확도를 약속합니다.
근적외선 ToF 센서로 햇빛 간섭 감소
Lidar 플랫폼이 점유 감지, 사회적 거리두기 지원
ToF 센서는 빠른 3D 감지를 제공합니다.
1미터 범위를 제공하는 초음파 ToF 센서

더 많은 Embedded를 보려면 Embedded의 주간 이메일 뉴스레터를 구독하세요.

Sony, 자동차 라이더용 단일 칩에 SPAD 센서 및 로직 스택 이중 카메라 시스템은 단일 AI SoC로 운전자와 도로를 모니터링합니다.

감지기