핵심 3D 센싱 기술 완벽 해설
이전 기사 "3D 비전 시스템 – 어떤 것이 당신에게 적합한가?"에서는 3D 비전 시스템의 가장 중요한 파라미터와 일부 파라미터가 높을 때의 트레이드오프를 다뤘습니다. 논의된 파라미터에는 스캔 볼륨, 데이터 획득 및 처리 시간, 해상도, 정확도 및 정밀도, 강건성, 설계 및 연결성, 가격/성능 비율이 포함됩니다.
이러한 각 파라미터는 특정 애플리케이션에서 각각의 역할을 합니다. 어떤 애플리케이션에서는 한 파라미터가 핵심인 반면 다른 파라미터는 부차적일 수 있고, 그 반대도 마찬가지입니다.
이러한 파라미터를 참조하여 3D 비전 시스템을 구동하는 개별 기술과 그들이 제공하는 가능성을 더 잘 비교하겠습니다.
3D 센싱 기술
3D 비전 시스템을 구동하는 기술은 두 가지 주요 그룹으로 나눌 수 있습니다. 하나는 비행 시간(Time-of-Flight) 원리를 사용하고, 다른 하나는 삼각 측량(Triangulation) 원리를 사용합니다.
A. 비행 시간(Time-of-Flight)
- 에어리어 스캔(Area scan)
- 라이다(LiDAR)
B. 삼각 측량 기반 방식
- 레이저 삼각 측량(또는 프로필로메트리)
- 사진측량(Photogrammetry)
- 스테레오 비전(수동 및 능동)
- 구조광(단일 프레임, 다중 프레임)
- 새로운 "병렬 구조광(Parallel Structured Light)" 기술
이 기사에서는 이러한 기술들 간의 기본적인 차이점을 논의합니다. 그런 다음 모든 기술이 어려움을 겪고 있으며, 어느 것도 만족스럽게 해결하지 못한 한 가지 주요 측면에 초점을 맞춥니다. 바로 움직이는 장면(in motion)의 고품질 데이터 캡처입니다. 품질과 속도 사이의 타협 없이 고속 이동 물체의 스냅샷 에어리어 스캔을 고품질로 가능하게 하는 단 하나의 새로운 기술이 있습니다. 이 방법은 이 기사 마지막 부분에서 다룹니다. 단계적으로 살펴보겠습니다.
비행 시간(ToF)
ToF 시스템은 광원에서 방출된 빛 신호가 스캔 대상 물체에 닿았다가 센서로 되돌아오는 데 걸리는 시간을 측정하는 원리입니다. 스캔 속도는 상대적으로 빠르지만 제한 요소는 빛의 속도 자체입니다. 빛 입사 순간 계산에서 작은 오류라도 밀리미터에서 센티미터 단위의 측정 오류를 초래할 수 있습니다. 또 다른 제한은 이러한 센서가 상대적으로 낮은 해상도를 제공한다는 점입니다.
ToF 접근 방식을 사용하는 두 가지 고유한 기술이 있습니다. 라이다(LiDAR)와 에어리어 센싱(Area sensing)입니다.
라이다(LiDAR)
라이다 시스템은 한 번에 하나(또는 몇 개)의 3D 포인트를 샘플링합니다. 스캔 중 센서의 위치나 방향을 변경하여 전체 작동 볼륨을 스캔합니다.
ToF 에어리어 센싱
에어리어 센싱 기반 ToF 시스템은 특수 이미지 센서를 사용하여 2D 스냅샷에서 여러 측정에 대한 시간을 측정합니다. 라이다 시스템만큼 높은 데이터 품질을 제공하지는 않지만 낮은 해상도로 충분한 동적 애플리케이션에 적합합니다. 이 방법의 특별한 단점은 장면의 부분들 간 상호 반사(interreflection)로 인해 잘못된 측정이 발생할 수 있다는 점입니다.
ToF 시스템은 주로 인간-컴퓨터 상호작용용으로 설계된 소비자 기기의 매력적인 가격 덕분에 인기가 있습니다.
삼각 측량 기반 방식
삼각 측량 기반 시스템은 두 관점에서 장면을 관찰하여 기준선(baseline)을 형성합니다. 기준선과 검사 점이 삼각형을 형성하며, 이 삼각형의 각도를 측정하여 정확한 3D 좌표를 계산할 수 있습니다. 기준선의 길이와 각도 검출 정확도가 시스템의 정밀도에 큰 영향을 미칩니다.
레이저 삼각 측량 = 프로필로메트리
레이저 삼각 측량은 가장 인기 있는 3D 센싱 방법 중 하나입니다. 좁은 대역의 빛(또는 점)을 3D 표면에 투영하여 프로젝터가 아닌 다른 각도에서 볼 때 왜곡되어 보이는 조명 라인을 생성합니다. 이 편차가 깊이 정보를 인코딩합니다.
한 번에 하나의 프로파일을 캡처하므로 센서나 물체가 움직이거나 레이저 프로파일이 장면을 스캔해야 전체 스냅샷을 만들 수 있습니다.
단일 프로파일의 깊이를 재구성하기 위해 이 방법은 좁은 영역의 스캔 이미지 캡처를 필요로 하며, 그 크기가 프레임 레이트를 제한하고 결과적으로 스캔 속도도 제한합니다. 또한 캡처된 2D 이미지에서 강도 최대값을 찾는 데 의존하여 깊이 계산이 상당히 복잡해질 수 있으며, 이는 그 자체로 복잡한 문제입니다.
사진측량(Photogrammetry)
사진측량은 대량의 미등록 2D 이미지에서 객체의 3D 재구성을 계산하는 기술입니다. 스테레오 비전과 마찬가지로 객체의 텍스처에 의존하지만 높은 기준선으로 동일한 점의 다중 샘플링을 활용할 수 있습니다. 사진측량은 라이다 시스템의 대안으로 사용될 수 있습니다.
스테레오 비전(Stereo Vision)
스테레오 비전은 카메라 - 스캔 객체 - 카메라 삼각형 계산에 기반하며, 인간의 깊이 지각을 모방합니다.
표준 스테레오는 두 이미지 간의 상관관계를 찾습니다(텍스처/동일한 세부 사항 필요). 이를 기반으로 시차(disparity)를 통해 객체로부터의 거리(깊이)를 식별합니다. 이 객체 재질 의존성 때문에 수동 3D 스테레오는 측정하지 않는 애플리케이션(예: 사람 카운팅)에 사용됩니다.
이 단점을 보완하기 위해 능동 스테레오 비전 시스템이 개발되었습니다. 이 방법은 표면에 빛 패턴을 투영하여 인공 텍스처와 장면 내 대응점을 생성합니다. 그러나 대응점 식별과 단일 깊이 포인트 측정에 여러 이웃 픽셀이 필요하여 일반적으로 측정 포인트 수가 적고 강건성이 낮습니다.
깊이 계산은 스테레오 이미지 쌍 간의 대응 관계 분석에 기반하며, 매칭 윈도우 크기와 깊이 범위가 커질수록 복잡성이 증가합니다. 엄격한 처리 시간 요구사항을 충족하기 위해 재구성 품질이 종종 타협되어 특정 애플리케이션에는 부적합합니다.
구조광(Structured Light)
삼각 측량 접근 방식에 속하는 또 다른 방법은 소위 구조광으로 스캔 객체를 조명합니다. 삼각형은 프로젝터, 스캔 객체, 카메라 사이에 형성됩니다. 이 방법은 부품을 움직일 필요 없이 장면의 전체 3D 스냅샷을 캡처할 수 있게 하여 높은 수준의 성능과 유연성을 제공합니다.
정교한 투영 기술을 사용하여 코딩된 구조 패턴을 생성하며, 이는 3D 정보를 장면 내에 직접 인코딩합니다. 이 정보는 카메라와 내부 알고리즘에 의해 분석되어 높은 수준의 정확도와 해상도를 제공합니다.
시장에 나와 있는 고해상도 구조광 시스템은 각각 다른 구조 패턴이 투영된 장면의 다중 프레임을 사용합니다. 이는 픽셀당 고정밀 3D 정보를 보장하지만 획득 순간에 정적인 장면을 요구합니다.
가장 큰 단점 중 하나는 투영 기반 접근 방식의 피사계 심도(Depth of Field)(또는 깊이 범위)입니다. 프로젝터를 초점에 유지하려면 시스템에 좁은 조리개가 필요합니다. 이는 광학적으로 비효율적입니다. 차단된 빛이 투영 시스템에 추가 열과 내부 반사를 생성하기 때문입니다. 이는 이 기술의 더 높은 깊이 범위에서의 사용을 제한합니다.
Photoneo는 구조 패턴을 생성하는 레이저로 이 문제를 해결했습니다. Photoneo 시스템은 거의 무제한의 깊이 범위를 제공하며, 좁은 대역 통과 필터를 사용하여 주변광을 차단할 수 있습니다.
이동 애플리케이션의 경우 단일 프레임 접근 방식을 사용해야 합니다. 기존 기술은 다중 프레임 시스템의 고유 특징을 하나의 구조 패턴으로 인코딩하여 XY 및 Z 해상도에 강한 영향을 미칩니다. ToF 시스템과 마찬가지로 이 범주에도 소비자 기반 제품이 있습니다.
병렬 구조광(Parallel Structured Light)
움직이는 장면 스캔의 한계를 극복할 수 있는 유일한 방법이 있습니다.
Photoneo가 개발한 특허 받은 새로운 기술인 병렬 구조광(Parallel Structured Light) 은 고품질로 움직이는 객체를 캡처할 수 있게 합니다. 이 방법은 구조광과 독점적인 모자이크 셔터 CMOS 이미지 센서를 결합합니다.
구조광 방식이 프로젝터 인코딩 패턴을 순차적으로 캡처하는 반면, 병렬 구조광 기술은 구조광의 여러 이미지를 병렬로 캡처합니다. 이것이 게임 체인저 요소입니다. 3D 표면의 이미지 획득에 여러 프레임이 필요하므로, 구조광 방식으로 움직이는 물체를 스캔하면 출력이 왜곡됩니다. 병렬 구조광 기술은 센서의 단 한 번의 샷으로 동적 장면의 3D 이미지를 재구성합니다.
특수 센서는 슈퍼 픽셀 블록으로 구성되며, 이는 다시 서브픽셀로 나뉩니다. 구조광 프로젝터에서 나오는 레이저는 계속 켜져 있는 반면, 개별 픽셀의 노출은 인코딩된 방식으로 켜고 끕니다. 이렇게 하면 하나의 투영과 하나의 캡처 이미지가 있지만, 이 이미지는 각각 사실상 다른 빛 패턴으로 조명된 여러 서브 이미지를 포함합니다.
결과는 시간이 지남에 따라 여러 이미지를 캡처한 것과 매우 유사하지만, 이 새로운 방법은 그것들을 동시에 획득합니다. 그래서 "병렬(Parallel) 구조광"입니다. 이 기술의 또 다른 장점은 센서를 순차 모드로 전환하여 완전한 2MP 해상도와 계측급 품질을 얻을 수 있다는 점입니다.
병렬 구조광 기술은 다중 프레임 구조광 시스템의 고해상도와 ToF 시스템의 빠르고 단일 프레임 획득을 모두 제공합니다.
Photoneo는 이 기술을 3D 카메라 MotionCam-3D에 구현하여 고해상도, 고정밀 에어리어 스캔 3D 카메라로 움직이는 객체를 캡처할 수 있는 최고 성능을 개발했습니다.
결론
이 기사에서는 다양한 3D 비전 방식을 제시하고 각각의 구체적인 장점과 약점을 설명했습니다. 최첨단 3D 방식 대부분은 까다로운 획득 공정이나 복잡한 데이터 처리 때문에 품질과 속도 사이에서 타협합니다. 품질과 속도를 동시에 제공하는 유일한 기술은 Photoneo 독자 CMOS 센서 기반의 병렬 구조광입니다. 이 새로운 방법은 가능한 애플리케이션 범위를 확장하고 이전에는 불가능했던 자동화를 가능하게 합니다.