3D 비전 기술이 현대 자동화를 혁신하는 방식
3D 비전은 현대 자동화의 심장으로, 산업 공정을 수많은 방식으로 개선하고 우리 삶을 더 편하게 만듭니다. 제품 분류, 품질 검사 결함 검출, 인간이 할 수 없는 속도와 효율로 다양한 작업 완수. 비전 가이드 로봇은 위험 작업과 중량물 핸들링을 맡아 안전성을 높이고 부상 위험을 없앱니다.
3D 센싱 기술은 오늘날 우리가 누리는 이 모든 이점을 제공하기까지 먼 길을 왔습니다—그리고 여전히 진화 중입니다. 최초 사진에서 디지털 이미징으로, 2D에서 3D로, 정적 물체 3D 스캐닝에서 동적 장면 포착으로. 다음은 무엇일까요?
포토네오 그룹 공동창업자 겸 CTO 토마스 코바코프스키(Tomas Kovacovsky)와 함께 3D 머신 비전 역사를 초기부터 오늘날 Industry 4.0을 주도하는 최신 발전까지 짚어봅니다.
사진술과 최초의 영상 캡처 기술
사진술 태동기부터 인간은 사건 포착·기록 가능성에 매료됐습니다. 최초의 사진은 프랑스 발명가 조제프 니세포르 니에프스(Joseph Nicéphore Niépce)가 1826~1827년 사이 촬영했습니다. 그의 방식은 최소 8시간, 길게는 수일 노출이 필요했지만, 동료 루이 다게르(Louis Daguerre)가 다게레오타입(Daguerreotype)이라 불리는 최초 공개 사진 공정을 개발해 노출 시간을 분 단위로 줄였습니다. 1839년 공개—일반적으로 실용 사진술의 원년으로 봅니다.
오랜 기간 사진은 사건 기록 매체에 그쳤습니다. 영상 처리에 시간이 걸려 아날로그 기술은 머신 비전이나 의사결정용으로 부적합했습니다.
1969년, 미국 벨 연구소의 윌리엄 보일(William Boyle)과 조지 E. 스미스(George E. Smith)가 CCD(전하 결합 소자) 이미지 센서를 발명하며 디지털 이미징의 중요한 이정표가 됐습니다. CCD는 광자를 전자로 변환—빛을 디지털 데이터로 바꿉니다. 당시 표준 필름과 화질 경쟁은 안 됐지만 특정 용도로 쓰이며 물꼬를 텄습니다.
2D에서 3D로
2D 센싱이 자동화 시대를 열었습니다 오랫동안 산업 자동화의 주류 접근법이었습니다. 지금도 일부 단순 용례에 쓰입니다.
- 광학 문자 인식(OCR)—활자·필기·인쇄 문자 판독, 바코드 읽기
- 품질 관리—특수 조명과 결합해 광학 품질 일관성 확보
- 카운팅
- 조건 명확한 환경에서의 피킹
하지만 2D 기술의 근본 한계는 물체 형상 인식과 Z축(깊이) 거리 측정이 불가능하다는 점입니다. 2D 애플리케이션은 양호하고 명확한 조건과 추가 조명이 필요해 빈 피킹(bin picking) 같은 용례엔 제약이 큽니다. 빈 안 물체 위치가 랜덤하고 장면 정보량이 많아 2D 시스템이 감당 못 합니다.
인간이 두 눈(입체시)로 3D 세상을 보고 거리를 알듯, 복잡한 작업 자동화엔 3D 정보가 필요함이 인식됐습니다.
1960년대 래리 로버츠(Larry Roberts)—컴퓨터 비전의 아버지로 불림—가 2D 선화 사진에서 3D 기하 정보 유도법과 단일 2D 사진으로부터 컴퓨터가 3D 모델 생성하는 법을 기술했습니다.
1970년대 MIT AI 랩에 '머신 비전' 과목이 개설돼 저수준 머신 비전 과제를 다뤘습니다. 데이비드 마(David Marr)는 2D 스케치로 시작해 컴퓨터가 쌓아올려 최종 3D 이미지를 얻는 독창적 장면 이해 접근법을 제시했습니다.
1980년대 머신 비전 연구가 본격화되며 새 이론·개념이 나왔고, 여러 독자적 3D 머신 비전 기술이 태어나 산업·제조 현장에 점차 도입돼 광범위한 공정 자동화를 이끌었습니다.
초기 3D 비전 기술들
인간 입체시 모방 시도로 최초 3D 센싱 기술 중 하나인 패시브 스테레오(passive stereo)가 나왔습니다. 두 관점에서 장면을 관측해 카메라–피사체–카메라 삼각형을 계산하고 두 영상 간 상관관계를 찾아 disparity(시차)로부터 피사체 거리(깊이)를 산출합니다. 하지만 영상에서 동일한 디테일을 찾아야 해 흰 벽이나 무늬 없는 장면엔 약합니다. 신뢰도 낮고 3D 출력은 노이즈가 심하며 연산량도 많습니다.
이 단점을 보완하려 빛 패턴을 장면에 투영해 인위적 텍스처를 만들고 대응점 찾기를 쉽게 한 액티브 스테레오(active stereo)가 나왔습니다. 패시브보다 신뢰도는 높지만 엄격한 처리 시간 요구로 재구성 품질이 타협돼 많은 용례에 부족합니다.
초기부터 지금도 인기인 레이저 프로필로메트리(laser profilometry). 좁은 빛띠(또는 점)를 3D 표면에 투영해 다른 각도에서 보면 왜곡된 조명선이 생기고, 이 편차가 깊이 정보를 인코딩합니다. 라인 스캐너가 깊이 프로필을 연속 캡처하려면 피사체나 카메라가 끊임없이 움직여야 합니다. 산업용으로 초기 채택된 3D 스캐닝 방식 중 하나로 계측 분야 등에서 여전히 인기입니다.
구조화 빛 패턴을 장면에 투영하는 또 다른 방식 구조화 빛(structured light). 스탠퍼드대 마크 레보이(Marc Levoy) 팀의 디지털 미켈란젤로 프로젝트가 이진 코드 구조화 빛을 디지털 복원에 쓴 가장 인용되는 사례입니다. 1998년 시작, 미켈란젤로 조각상 디지털화에 프로젝터와 카메라 센서 사용. 다비드상 레이저 스캔 데이터가 2002년 복원 작업에 쓰였습니다. 실시간용으론 느렸지만 유물·유물 디지털화 등에 필요한 초고정밀을 제공해 계측·고정밀 로봇/머신 비전 작업에 틈새를 찾았습니다.
구조화 빛 기술은 점차 계측을 넘어 비전 가이드 로봇 온라인 애플리케이션 전반으로 확장됐습니다. 장점: 스캐너를 물체 둘레로 돌릴 필요 없이 스냅샷 한 번으로 전체 영역 캡처. 레이저 프로필로메트리보다 빠르고 후처리 데이터도 적습니다.
정적 장면에서 동적 장면으로
동적 장면 포착은 정적 3D 스캐닝보다 훨씬 어렵고, 긴 획득 시간이 필요한 방식들을 탈락시킵니다.
패시브 스테레오는 추가 조명 안 쓰는 수동 방식이라 특정 조건 충족 시 동적 장면 포착 가능하지만 결과는 좋지 않습니다.
레이저 프로필로메트리도 패시브 스테레오보다 나을 게 없습니다. 한 프로필씩 캡처하려니 전체 장면 스냅샷엔 카메라나 장면이 움직여야 합니다. 단일 프로필 깊이 재구성에 좁은 영역 스캔 이미지 캡처가 필요해 프레임레이트와 스캔 속도가 제한됩니다.
구조화 빛 시스템은 여러 빛 패턴을 순차 투영하므로 장면이 정적이어야 합니다. 피사체나 카메라가 움직이면 코드가 깨지고 3D 포인트 클라우드가 왜곡됩니다.
동적 물체 3D 재구성 필요성으로 ToF(Time-of-Flight) 시스템이 개발됐습니다. 구조화 빛처럼 능동 방식이지만 빛을 공간이 아닌 시간으로 구조화합니다. 광원에서 나온 빛 신호가 피사체에 닿아 센서로 돌아오기까지 시간을 측정하는 원리입니다.
초기 ToF 시스템은 품질이 낮았습니다. 카네스타(Canesta), 3DV 시스템즈, 마이크로소프트(둘 다 인수) 등이 주요 플레이어. 3DV가 개발한 ToF 카메라 ZCam은 마이크로소프트가 인수해 Xbox 비디오 게임 콘솔의 3D 정보 획득과 가상 객체 상호작용에 썼습니다.
2010년 마이크로소프트가 Xbox용 키넥트(Kinect) 센서 시스템 출시—프라임센스(PrimeSense) 기술 기반. 구조화 패턴으로 특정 픽셀(전체 아님) 인코딩해 3D 정보 획득. 고해상도·경계 디테일은 부족했지만 처리 속도 빠르고 저렴해 학계 중심 채택, 산업용 로봇 피킹 등에도 드물게 쓰였습니다.
키넥트 1과 달리 키넥트 2는 ToF 기반. ToF 발전으로 품질이 프라임센스보다 좋아지고 널리 채택됐지만, 동적 장면 3D 스캔 해상도는 여전히 부족했습니다. 오늘날 ToF 시스템은 빠른 스캔 속도와 준실시간 획득으로 3D 비전 애플리케이션에 꽤 쓰이지만, 해상도와 노이즈가 여전히 이슈입니다.
2013년, 포토네오가 고속 이동 물체를 고해상도·서브밀리미터 정밀도로 3D 포착하는 혁신적 아이디어를 내놓았습니다.
특허받은 패럴렐 스트럭처드 라이트(Parallel Structured Light) 기술은 모자이크 픽셀 패턴을 가진 멀티탭 셔터의 특수 독자 CMOS 센서 기반으로, 이미지 촬영 방식을 근본적으로 바꿉니다.
이 새로운 스냅샷 방식은 구조화 빛을 쓰되 카메라와 프로젝터 역할을 바꿉니다. 구조화 빛 시스템이 프로젝터에서 패턴을 순차 방출하는 반면, 패럴렐 스트럭처드 라이트는 패턴 없는 단순 레이저 스위프를 장면으로 쏘고 패턴을 반대편—CMOS 센서 쪽에서 구성합니다. 이 모든 게 단일 시간 인스턴스에 일어나 단일 노출 윈도우 내에 다중 가상 이미지를 구성합니다. 결과: 모션 아티팩트 없는 고해상도·고정밀 3D 동적 장면 이미지.
패럴렐 스트럭처드 라이트 기술로 포착한 동적 장면.
이 기술은 포토네오 3D 카메라 모션캠-3D(MotionCam-3D)에 구현됐습니다. 카메라 개발과 출시는 머신 비전 역사에 이정표가 됐습니다. 비전 가이드 로보틱스를 재정의하고 자동화 가능성을 전례 없는 수준으로 확장했습니다. 이 혁신적 접근은 Vision Award 2018, Vision Systems Design Innovators Platinum Award 2019, inVision Top Innovations 2019, IERA Award 2020, Robotics Business Review's RBR50 Robotics Innovation Awards 2021, inVision Top Innovations 2021, SupplyTech Breakthrough Award 2022 등 다수 상을 받았습니다.
모션 속 3D 스캐닝과 컬러
2022년 포토네오는 모션캠-3D에 컬러 유닛을 장착해 컬러 데이터 캡처 기능을 확장했습니다. 모션캠-3D 컬러는 머신 비전의 '다음 실버 불렛'으로 불립니다. 실시간 컬러 3D 포인트 클라우드 생성을 이동 장면에서 완벽한 품질로 가능케 했기 때문입니다. 3D 기하, 모션, 컬러의 독보적 결합으로 깊이 정보뿐 아니라 컬러 데이터도 쓰는 까다로운 AI 애플리케이션과 로봇 작업의 문을 열었습니다.
모션캠-3D 컬러로 이동 장면의 실시간 컬러 3D 포인트 클라우드 생성.
머신 비전 혁신이 연 애플리케이션 영역
최신 3D 머신 비전 혁신이 제공하는 가능성으로 최근까지 불가능했던 작업 자동화가 가능해졌습니다. 제조, 물류, 자동차, 식료품, 농업, 의료 등 분야에서:
- 일정하거나 랜덤한 운동 중인 물체 로봇 핸들링
- 컨베이어 벨트·오버헤드 컨베이어 피킹
- 핸드-아이 매니퓰레이션
- 검사·품질 관리용 3D 모델 생성
- 대형 객체 세척·도장
- VR/AR 유지보수 작업
- 농업 선별·수확
- 기타 다수
다음은 무엇인가?
머신 비전은 새 발전과 가능성을 향해 계속 진화합니다. 혁신 방향은 시장 수요, 고객 기대, 경쟁 등 여러 요인에 영향받습니다.
머신 비전 전 영역에 AI 도입 추세는 계속될 것으로 보입니다. 맞춤형 알고리즘 개발 필요성을 없애기 위함입니다. AI와 패럴렐 스트럭처드 라이트 기술 결합에 거대한 잠재력을 봅니다. 한편으론 AI가 좋은 데이터에 의존하고, 다른 한편으론 새 머신 비전 기술이 대량의 고품질 실 3D 데이터를 제공합니다. 두 접근 결합이 지능형 로보틱스를 변혁하고 완전히 새 가능성 영역을 열 것입니다.
또 다른 유망 방향은 엣지 컴퓨팅. 제조사들은 AI를 센서에 직접 통합하고 용도별로 특화(예: 인원 카운팅, 치수 측정, 정의된 객체 특징 자동 검출)해 통합업체 배포를 쉽게 하고 추가 컴포넌트 필요성을 줄이려 할 것입니다. 동적 장면 포착 가능한 새 하드웨어 솔루션과 고급 AI 알고리즘 결합이 협동 로보틱스나 완전 물류 자동화 같은 더 도전적인 영역까지 적용 분야를 확장할 것입니다.