아나로그디바이스와 마이크로소프트, 초정밀 ToF 3D 이미징 제공을 위한 전략적 제휴

아나로그디바이스(ADI)와 마이크로소프트가 ToF(Time-of-Flight) 3D 이미징의 한계를 넓히기 위한 전략적 제휴를 맺었다. 마이크로소프트의 애저 키넥트 ToF 플랫폼과 ADI의 세계적 수준의 IC 및 시스템 통합 전문성을 활용하여, 인더스트리 4.0, 자동차, 게임, 증강현실, 연산 사진술 등 다양한 산업에서 높은 정확도는 물론 통합 용이성까지 갖춘 솔루션을 제공하는 것이 목표다.

시장 분석가들은 까다로운 환경에서도 신뢰성 있게 동작하는 3D 이미징 시스템의 견조한 성장을 전망한다. 인간-협업 로봇, 실내 매핑, 실시간 재고 추적 등이 인더스트리 4.0의 핵심 동력이며, 고급 탑승자 감지와 운전자 모니터링은 차세대 자동차 안전에 필수적이다.

최근 EE 타임즈와의 인터뷰에서 ADI의 향상된 이미징 수석 디렉터 토니 자롤라와 전략 마케팅 매니저 카를로스 칼보가 이 협업의 기초를 설명했다. 자롤라는 "마이크로소프트는 이미지 센서 제조업체 전반에 걸쳐 3D ToF 성능의 벤치마크를 설정했으며, 우리가 구축하는 센서와 솔루션의 기반이 되는 핵심 픽셀 기술을 ADI에 제공했습니다. 인텔리전트 에지와 인텔리전트 클라우드 양쪽에서 수십 년간 데이터 캡처와 혁신적인 알고리즘 전문성을 쌓아온 ADI는 마이크로소프트와 ADI의 실리콘, 시스템, 소프트웨어, 광학 기술의 장점을 결합할 수 있는 위치에 있습니다."라고 밝혔다.

3D ToF 설계 원리

제스처 인식은 카메라와 IC를 사용하여 2D 또는 3D로 장면을 스캔하며 일련의 인체 움직임을 포착하는 데 의존한다. ToF 기술은 레이저 펄스를 대상에 발사하고 반사된 신호를 분석하여 실시간으로 뎁스 맵을 생성한다. 기존 라이다와 달리 3D ToF는 나노초 단위의 고출력 광 펄스를 사용하며 회전 스캐너가 필요 없어, 단거리 고해상도 뎁스 캡처에 이상적이다.

ToF 카메라는 변조된 레이저 빛으로 물체를 조명하고 파장에 민감한 센서로 반사된 빔을 기록한다. 센서는 방출과 수신 사이의 시간 지연을 측정하여 거리로 변환한다. 두 가지 일반적인 측정 방식이 있다: 연속파(CW)와 펄스 방식. 대부분의 상용 ToF 센서는 CMOS 기술로 CW 방식을 사용한다.

정확한 ToF 측정은 주변광, 다중 경로 반사, 온도 드리프트, 거리 모호성 등의 도전에 직면한다. "센서, 렌즈, 펌웨어 등 모든 구성 요소가 하나의 응집된 시스템으로 최적화되어야 합니다."라고 칼보는 강조했다. "최고의 센서를 탑재했더라도 렌즈 튜닝이 부실하면 전체 성능이 저하됩니다."

RGB 카메라가 주관적 화질로 평가되는 반면, ToF 카메라는 거리라는 객관적 물리량을 측정한다. 렌즈 플레어 같은 광학적 결함은 RGB에서는 무해할 수 있지만, 특히 반사 환경에서 ToF에서는 성능 치명적이 된다.

CMOS ToF 센서는 단일 픽셀에 이미터와 수신기를 통합하여 최대 160fps에서 단일 픽셀 거리 계산을 가능하게 한다. 주요 신호 체인 요소로는 레이저 드라이버, 통합 판독 센서, 뎁스 연산 엔진이 있다. 설계 과제는 픽셀 응답도와 변조 대비부터 다운스트림 애플리케이션이 요구하는 최종 3D 포인트 클라우드 해석까지 전 범위에 걸친다.

실리콘을 넘어 ADI는 광학 기계 레이아웃, 캘리브레이션, 전기 설계, 소프트웨어 통합까지 전체 설계 주기를 다루며 고객 경험을 간소화한다.

그림 1. ToF 블록 다이어그램. (출처: ADI)

센서의 픽셀들은 서로 다른 장면 영역에서 빛을 포착하며, 이들의 신호가 결합되어 뎁스 이미지를 재구성한다. 각 픽셀의 동작은 역변조와 변조 블록 간의 상관관계에 의해 제어되며, 그림 2에 도시되어 있다.

적분 기간 동안 전류는 제어 신호에 따라 노드-A(Da) 또는 노드-B(Db)로 흐른다. ClkA와 ClkB는 적분 기간 동안 180° 위상 차로 동작하며, 위상 관계가 DA와 DB 출력을 결정한다. 적분 후 시스템은 누적된 신호(BitlineAInt1~BitlineBInt1)를 샘플링한다.

광자-전자 변환은 푸아송 분포를 따르며, 양자 효율(입사 광자 대비 생성된 전자 비율)이 시스템 성능을 정의한다. 주변광은 노이즈를 추가하며, 시야각(FoV)은 장면 커버리지에 맞춰 선택해야 한다.

그림 2. 픽셀의 전기 회로 및 타이밍. (출처: https://ieeexplore.ieee.org/document/6964815)

고주파 동작은 0.13 µm 혼성신호 저전력 CMOS 공정으로 칩을 제작하여 달성하며, 효율적인 ToF 기능을 지원하기 위해 약간의 수정이 가해졌다.

산업에 미치는 영향

이 제휴를 통해 ADI는 마이크로소프트의 생태계에 원활하게 통합되면서 서브밀리미터 뎁스 정확도를 제공하는 새로운 ToF 3D 이미지 센서 라인을 개발할 예정이다. 애저의 클라우드 역량과 에지 컴퓨팅을 활용한다.

자롤라는 협업이 여러 분야를 변화시킬 것이라 확신한다. "지금까지 마이크로소프트의 ToF 기술은 상업적 확장에 널리 활용되지 못했습니다. ADI의 실리콘과 시스템 전문성으로 소비자, 산업, 의료, 자동차 시장에서 게임 체인징 솔루션을 제공할 것으로 기대합니다."

잠재적 애플리케이션으로는 향상된 얼굴 인식 보안, 안전한 공장 자동화, 안전 울타리 없이 협업 로봇이 작동하는 인더스트리 4.0 워크플로우가 있다. 물류에서는 정밀 ToF가 박스와 팔레트 치수 측정을 자동화하여 효율을 높인다.

자롤라는 "고급 점유 감지는 에너지 사용, 안전 시스템, 인간-기계 상호작용을 개선할 것입니다. 가정용 엔터테인먼트부터 자동차 안전까지, 우리의 공동 ToF 플랫폼은 몰입형 게임 경험과 운전자/탑승자 모니터링을 가능하게 하여 내일의 혁신을 위한 무대를 마련할 것입니다."라고 덧붙였다.

양 리더는 넓은 온도 범위에서 밀리미터 수준의 뎁스 해상도가 필요함을 강조했다. 이러한 정밀도를 달성하려면 레이저 제어와 센서 픽셀 간 10ps 타이밍 정렬이 필요하며, 정렬되지 않으면 1.5mm 거리 오차가 발생한다. 또한 온도 변화 전반에 걸친 정확도 유지를 위해 공동 개발된 정교한 캘리브레이션 알고리즘이 요구된다.

또 다른 초점은 변조 주파수다. "낮은 변조 주파수는 더 높은 뎁스 노이즈를 유발하고 다중 경로나 주변광 아티팩트를 증폭시킵니다."라고 칼보가 지적했다. "평균 변조 주파수를 높이면 뎁스 노이즈를 줄이고 악영향을 완화할 수 있습니다."

ADI의 전체론적 접근법(기계적 정렬, 광학 설계, 캘리브레이션, 전기 아키텍처, 소프트웨어)은 ToF 카메라 배포를 방해하는 긴 개발 주기를 해결한다.

홀로렌즈 혼합현실 기기와 애저 키넥트 키트에 사용된 마이크로소프트의 ToF 기술과 ADI의 맞춤형 솔루션을 결합함으로써, 고성능 확장 가능한 애플리케이션의 새로운 세대를 가능하게 하고 시장 출시 시간을 단축할 것이다.

>> 이 기사는 자매 사이트 EE Times에 처음 게재되었습니다.