3D 비전의 진화

3D 비전은 수많은 방법으로 산업 프로세스를 개선하고 우리의 삶을 더 쉽게 만드는 현대 자동화의 핵심입니다. 그것은 우리가 제품을 분류하고, 품질 관리 응용 프로그램에서 개체를 검사하고, 결함을 찾고, 인간이 할 수 있는 것보다 더 빠르고 효율적으로 가장 다양한 작업을 완료하는 데 도움이 됩니다. 비전 가이드 로봇은 일반적으로 위험한 작업을 수행하고 무거운 물체를 취급하는 데 사용되므로 안전성을 높이고 부상 위험을 제거합니다.

3D 감지 기술은 오늘날 우리가 누릴 수 있는 이러한 모든 이점을 제공하기 위해 많은 노력을 기울였으며 여전히 발전하고 있습니다. 첫 번째 사진에서 디지털 이미징으로, 2D에서 3D로, 정적 개체의 3D 스캐닝에서 동적 장면 캡처로. 다음은 무엇인가요?

Photoneo Group의 공동 창립자이자 CTO인 Tomas Kovacovsky와 함께 3D 머신 비전의 역사를 살펴보았습니다. Industry 4.0과 같은 오늘날의 트렌드를 지배하는 최신 기술까지. 간단히 살펴보겠습니다.

사진 및 이미지 캡처를 위한 최초의 기술

사진이 시작된 이래로 사람들은 사건을 포착하고 기록할 수 있는 가능성에 매료되었습니다. 최초로 알려진 사진 사진 1826년에서 1827년 사이 프랑스 발명가 Joseph Nicéphore Niépce 그의 사진 촬영 과정은 카메라에 며칠은 아니더라도 최소 8시간이 걸렸지만 그의 동료인 Louis Daguerre는 노출 시간이 몇 분 밖에 걸리지 않는 최초의 공개적으로 발표된 사진 프로세스(Daguerreotype으로 알려짐)를 개발했습니다. 발명품은 1839 에 대중에게 소개되었습니다. – 일반적으로 실용 사진의 탄생으로 간주되는 해.

오랫동안 사진은 사건을 기록하는 매체에 불과했습니다. 사진 처리 시간이 오래 걸리기 때문에 아날로그 기술은 머신 비전이나 의사 결정 작업에 사용하기에 적합하지 않았습니다.

1969년, 윌리엄 보일과 조지 E. 스미스 Americal Bell Laboratories에서 발명한 이미지 기록용 CCD(전하 결합 장치) 센서 , 디지털 이미징 개발의 중요한 이정표였습니다. CCD 센서는 광자를 전자로 변환하여 이미지를 캡처합니다. 즉, 빛을 받아 디지털 데이터로 변환합니다. 당시 CCD는 이미지 캡처를 위한 표준 필름과 경쟁할 수 없었지만 특정 응용 분야에 사용되기 시작했고 공이 굴러갔습니다.

2D에서 3D로

자동화 시대를 연 2D 센싱 그리고 그것은 오랫동안 산업 부문의 자동화에서 널리 퍼진 접근 방식이었습니다. 2D 비전은 오늘날에도 다음과 같은 일부 간단한 애플리케이션에서 사용됩니다.

• 광학 문자 인식(OCR) – 타이핑, 손글씨 또는 인쇄된 텍스트 읽기 바코드 읽기
• 품질 관리 – 종종 특수 조명과 함께 사용되어 스캔한 개체의 광학 품질이 동일하게 유지되도록 합니다.
• 카운팅
• 잘 정의된 조건에서 항목 선택

그러나 2D 기술의 주요 한계는 Z 차원에서 물체 모양을 인식하거나 거리를 측정할 수 없다는 것입니다.

2D 애플리케이션에는 추가 조명이 포함된 양호하고 잘 정의된 조건이 필요하므로 빈 피킹과 같은 애플리케이션도 제한됩니다. 이 로봇 작업은 2D 비전 시스템으로 수행할 수 있지만 빈에 있는 물체의 임의 위치와 2D 비전 시스템이 처리할 수 없는 장면의 많은 양의 정보로 인해 일반적으로 문제가 됩니다.

사람들은 보다 복잡한 작업을 자동화할 수 있는 3D 정보의 필요성을 인식했습니다. 그들은 인간이 두 개의 눈, 즉 입체시를 가지고 있기 때문에 주변을 3D 보기로 볼 수 있고 물체의 거리를 말할 수 있다는 것을 이해했습니다.

1960년대에 래리 로버츠 컴퓨터 비전의 아버지로 인정받는 , , 선화의 2D 사진에서 3D 기하학적 정보를 추출하는 방법 설명 컴퓨터가 단일 2D 사진에서 3D 모델을 생성하는 방법.

1970년대에 MIT의 인공 지능 연구소에서 낮은 수준의 머신 비전 작업을 다루기 위해 "머신 비전" 과정이 시작되었습니다. 여기에서 David Marr는 컴퓨터 비전을 통해 장면 이해에 대한 고유한 접근 방식을 개발하여 정보 처리 시스템으로서 비전을 다루었습니다. 그의 접근 방식은 최종 3D 이미지를 얻기 위해 컴퓨터에서 구축한 2D 스케치로 시작되었습니다.

머신 비전에 대한 연구는 1980년대에 심화되었고 새로운 이론과 개념을 가져왔습니다. 이로 인해 산업 및 제조 환경에서 가장 광범위한 프로세스를 자동화하기 위해 점진적으로 채택된 수많은 고유한 3D 머신 비전 기술이 탄생했습니다.

최초의 3D 비전 기술

인간의 입체시를 모방하려는 노력으로 최초의 3D 감지 기술 중 하나인 패시브 스테레오가 개발되었습니다. . 이 삼각 측량 방법은 두 개의 유리한 지점에서 장면을 관찰하고 삼각형 카메라 – 스캔된 개체 – 카메라를 계산합니다. , 두 이미지 간의 상관 관계를 찾습니다. 이미지 간의 시차를 기반으로 스캔된 물체로부터의 거리(깊이)를 계산합니다. 그러나 이 접근 방식은 이미지에서 동일한 세부 정보를 찾는 데 의존하므로 흰색 벽이나 패턴이 없는 장면에서는 잘 작동하지 않습니다. 패시브 스테레오의 신뢰성은 작고 3D 출력은 일반적으로 노이즈가 많고 많은 컴퓨팅 성능이 필요합니다.

이러한 단점을 보완하기 위해 연구자들은 표면에 인공 텍스처를 생성하고 장면에서 대응을 더 쉽게 식별하기 위해 장면에 조명 패턴을 투사하는 실험을 시작했습니다. 이 방법을 액티브 스테레오라고 합니다. . 이 방법은 패시브 스테레오보다 더 안정적이지만 처리 시간에 대한 엄격한 요구 사항으로 인해 재구성 품질이 저하되는 경우가 많기 때문에 많은 응용 분야에서 불충분합니다.

3D 정보를 수집하는 가장 초기이자 여전히 널리 사용되는 방법 중 하나는 레이저 프로필로메트리입니다. . 이 기술은 좁은 띠의 빛(또는 점)을 3D 표면에 투사하여 프로젝터 각도가 아닌 다른 각도에서 왜곡된 조명 라인을 생성합니다. 이 편차는 깊이 정보를 인코딩합니다. 라인 스캐너는 한 번에 하나의 깊이 프로파일을 빠르게 연속적으로 캡처하므로 스캔한 물체나 카메라가 지속적으로 움직여야 합니다. 레이저 프로파일로메트리는 산업용으로 채택된 최초의 3D 스캐닝 방법 중 하나이며 예를 들어 도량형 응용 분야에서 여전히 널리 사용되고 있습니다.

구조화된 조명 패턴을 장면에 투영하여 발명한 또 다른 방법은 구조화된 조명입니다. . 디지털 복원을 위해 이진 코드가 포함된 구조화된 조명의 사용에 관해 가장 많이 인용된 작업 중 하나는 The Digital Michelangelo Project 입니다. 마크 레보이(Marc Levoy)와 스탠포드 대학의 그의 팀이 이끄는 1998년 프로젝터와 카메라 센서를 이용해 미켈란젤로 조각상을 디지털화하는 프로젝트가 시작됐다. 이후 미켈란젤로의 다비드 조각상의 레이저 스캔 데이터는 2002년부터 시작된 조각상 복원에 사용되었습니다. 이 프로젝트에서 사용된 방법은 실시간 응용에 사용할 만큼 빠르지는 않았지만 다양한 디지털화에 필요한 매우 높은 정확도를 제공했습니다. 아티팩트 및 객체. 덕분에 이 기술은 도량형 응용 프로그램과 높은 스캐닝 정밀도가 필요한 기타 로봇 및 머신 비전 작업에서 틈새를 찾았습니다.

점차적으로 구조화 조명 기술은 계측을 넘어 비전 가이드 로봇을 사용하는 모든 종류의 온라인 애플리케이션에 침투했습니다. 구조광 3D 스캐너의 장점은 움직임이 필요하지 않다는 것입니다. 전체 스캐닝 영역의 스냅샷을 만들 수 있고 스캐너로 전체 물체를 돌아다닐 필요가 없기 때문에 레이저 프로필로메트리 기반 장치보다 빠르고 많은 데이터 후처리가 필요하지 않습니다.

정적 장면에서 동적 장면으로

움직임을 포착하는 것은 정적인 장면을 3D 스캐닝하는 것보다 훨씬 더 어렵고 더 긴 획득 시간이 필요한 방법을 실격시킵니다.

패시브 스테레오 별도의 조명을 사용하지 않는 패시브 방식으로 동적 장면을 캡처하는 데 사용할 수 있지만 특정 조건이 충족되는 경우에만 사용할 수 있습니다. 그래도 결과는 좋지 않을 것입니다.

레이저 프로파일로메트리 이 점에서 패시브 스테레오보다 훨씬 더 성공적인 방법은 아닙니다. 한 번에 하나의 프로필을 캡처하기 때문에 장면의 전체 스냅샷을 만들려면 카메라나 장면을 움직여야 합니다. 그러나 이 기술은 동적 이벤트를 캡처할 수 없습니다. 단일 프로필의 깊이를 재구성하려면 협소한 영역 스캔 이미지를 캡처해야 합니다. 이 이미지의 크기는 프레임 속도를 제한하고 결과적으로 스캔 속도도 제한합니다.

구조 조명 반면에 시스템은 장면에 여러 조명 패턴을 순차적으로 투사합니다. 이를 위해서는 장면이 정적이어야 합니다. 스캔한 개체나 카메라가 움직이면 코드가 깨지고 3D 포인트 클라우드가 왜곡됩니다.

동적 물체를 3D로 재구성해야 할 필요성으로 인해 ToF(Time-of-Flight) 가 개발되었습니다. 시스템. 구조화 조명 기술과 유사하게 ToF는 빛 신호를 현장으로 보낸 다음 카메라와 소프트웨어로 신호를 해석하는 능동적 방법입니다. 구조화된 조명과 달리 ToF는 공간이 아닌 시간에 따라 조명을 구성합니다. 광원에서 방출된 빛 신호가 스캔 대상물에 부딪혀 다시 센서로 되돌아오는 시간을 측정하는 원리로 작동합니다.

첫 번째 ToF 시스템은 품질이 다소 낮았습니다. 이 분야의 빅 플레이어에는 Canesta, 3DV Systems 또는 Microsoft(나중에 두 회사를 모두 인수함)와 같은 회사가 포함되었습니다. 잘 알려진 초기 프로젝트 중 하나는 3DV에서 개발한 Time-of-Flight 카메라인 ZCam이었습니다. 이 카메라는 나중에 Microsoft의 Xbox 비디오 게임 콘솔에서 3D 정보를 수집하고 가상 개체와 상호 작용하는 데 사용하기 위해 Microsoft에서 구입했습니다.

2010년에 Microsoft는 PrimeSense 기술을 기반으로 하는 동작 감지 카메라인 Xbox용 Kinect 센서 시스템을 출시했습니다. PrimeSense 기술은 특정 픽셀(전체가 아님)을 인코딩하고 3D 정보를 얻기 위해 구조화된 패턴을 사용했습니다. 이 방법은 스캔된 물체의 가장자리에 대한 고해상도 및 상세한 윤곽선을 제공할 수 없었지만 처리 속도가 다소 빠르고 기술도 매우 저렴하여 널리 채택되었습니다. 주로 학술 분야에서 사용되었지만 로봇 피킹 및 기타 작업을 위한 산업 환경에서도 거의 찾아볼 수 없습니다.

Kinect 1과 달리 Kinect 2는 ToF 기술을 기반으로 합니다. ToF의 발전으로 인해 이 방법은 점점 대중화되고 널리 채택되었습니다. PrimeSense 기술보다 더 높은 품질을 제공할 수 있었지만 동적 장면의 3D 스캔 해상도는 여전히 충분하지 않았습니다.

오늘날의 ToF 시스템은 빠른 스캐닝 속도와 거의 실시간 획득 덕분에 3D 비전 애플리케이션에서 꽤 인기가 있습니다. 그러나 해상도는 여전히 문제이며 더 높은 소음 수준으로 인해 어려움을 겪고 있습니다.

2013년 Photoneo는 고해상도 및 1밀리미터 미만의 정확도로 3D 정보를 얻기 위해 빠르게 움직이는 물체를 캡처하는 방법에 대한 혁신적인 아이디어를 내놓았습니다.

Parallel Structured Light 특허 기술 모자이크 픽셀 패턴의 멀티탭 셔터를 특징으로 하는 특수 독점 CMOS 센서를 기반으로 하여 이미지 촬영 방식을 근본적으로 변경합니다.

이 새로운 스냅샷 접근 방식은 구조광을 활용하지만 카메라와 프로젝터의 역할을 바꿉니다. 구조광 시스템은 프로젝터에서 여러 패턴을 순차적으로 방출하는 반면 병렬 구조광 기술은 장면 전체에 패턴화 없이 매우 간단한 레이저 스윕을 보냅니다. CMOS 센서에서 다른 쪽의 패턴을 구성합니다. 이 모든 것은 한 번에 발생하며 하나의 노출 창 내에서 여러 가상 이미지를 구성할 수 있습니다. 그 결과 모션 아티팩트가 없는 움직이는 장면의 고해상도 및 고정확도 3D 이미지가 생성됩니다.

Parallel Structured Light 기술로 포착한 역동적인 장면 .

Parallel Structured Light 기술은 Photoneo의 3D 카메라 MotionCam-3D에서 구현됩니다. 카메라의 개발과 시장 출시는 비전 가이드 로봇을 재정의하고 전례 없는 수준으로 자동화 가능성을 확장하면서 머신 비전의 역사에 이정표를 세웠습니다. 참신한 접근 방식은 Vision Award 2018을 비롯한 수많은 상을 통해 인정받았습니다. , Vision Systems Design Innovators Platinum Award 2019 , inVision 최고 혁신 2019 , IERA Award 2020 , Robotics Business Review의 RBR50 Robotics Innovation Awards 2021 , inVision 최고 혁신 2021 , 및 SupplyTech Breakthrough Award 2022 .

동영상 및 컬러 3D 스캐닝

2022년 Photoneo는 컬러 데이터 캡처를 위한 컬러 유닛을 탑재하여 MotionCam-3D의 기능을 확장했습니다. MotionCam-3D Color는 움직이는 장면을 완벽한 품질로 실시간 다채로운 3D 포인트 클라우드 생성을 가능하게 하므로 머신 비전의 차세대 은총알로 간주됩니다. 3D 지오메트리, 모션 및 색상의 고유한 조합 덕분에 카메라는 깊이 정보뿐만 아니라 색상 데이터에도 의존하는 까다로운 AI 애플리케이션 및 로봇 작업의 문을 엽니다.

MotionCam-3D Color를 사용하여 움직이는 장면의 실시간 다채로운 3D 포인트 클라우드 생성 .

머신 비전 혁신으로 가능해진 응용 분야

3D 머신 비전의 최신 혁신이 제공하는 가능성을 통해 최근까지 불가능했던 작업을 자동화할 수 있습니다. 이러한 애플리케이션은 제조, 물류, 자동차, 식료품, 농업, 의약품 및 기타 부문에서 찾을 수 있으며 다음을 포함합니다.

• 일정하거나 무작위로 물체를 로봇으로 처리
• 컨베이어 벨트 및 오버헤드 컨베이어에서 피킹
• 손-눈 조작
• 검사 및 품질 관리를 위한 3D 모델 생성
• 대형 물체 청소 및 페인팅
• VR/AR의 유지 관리 작업
• 농업의 분류 및 수확
• 그 외 다수

다음은 무엇인가요?

머신 비전은 새로운 가능성과 함께 새로운 발전을 가져오기 위해 계속 발전하고 있습니다. 혁신의 방향은 항상 시장 요구, 고객 기대, 경쟁 및 기타 요인의 영향을 받습니다.

머신 비전의 모든 영역에서 AI를 배치하는 추세는 맞춤형 알고리즘의 개발을 제거하려는 목표로 확실히 계속될 것으로 예상할 수 있습니다. 우리는 인공 지능(AI) 영역과 병렬 구조 조명 기술과의 결합에서 엄청난 잠재력을 볼 수 있습니다. 한편으로 AI는 좋은 데이터에 의존합니다. 한편, 새로운 머신 비전 기술은 대량의 고품질 실제 3D 데이터를 제공할 수 있습니다. 이 두 가지 접근 방식을 결합하면 지능형 로봇 공학을 혁신하고 새로운 가능성 영역을 활성화할 수 있습니다.

미래 개발의 또 다른 유망한 방향은 에지 컴퓨팅입니다. 제조업체는 AI를 센서에 직접 통합하려는 노력을 계속할 것입니다. 정의된 목적(예:사람 수 계산, 치수 측정 또는 정의된 개체 기능의 자동 감지)에 맞게 특수화하여 통합자가 쉽게 배포하고 추가 구성 요소의 필요성을 최소화합니다. 고급 AI 알고리즘과 결합된 움직이는 장면을 캡처할 수 있는 새로운 하드웨어 솔루션은 협동 로봇 또는 완전한 물류 자동화와 같은 더 어려운 영역에서도 계속 확장되는 응용 분야를 확장할 것입니다.