비전 가이드 로봇 공학

1부

디지털화의 원동력은 정확성, 향상된 품질 및 신뢰성에 대한 수요 증가입니다. 시장 역학 관계로 인해 제조 업계는 변화하는 소비자 감정, 사용자 정의 및 더 빠른 배송에 맞게 새로운 제품, 수정된 디자인을 출시해야 했습니다. 로봇은 수십 년 동안 제조 산업의 친구였으며 "머신 비전" 자체도 마찬가지입니다.

로봇 공학과 머신 비전은 독립적으로 안정성과 기술적 성숙도에 도달했습니다. 최근 개발은 프로세스를 보다 효율적으로 만드는 데 있어 서로 보완적이었습니다. 이 문서에서는 시각 유도 로봇(VGR)에 대한 몇 가지 통찰력을 설명합니다. 제조 부문에서. VGR은 모바일 로봇, 휴머노이드, 데카르트 로봇 및 SCARA 로봇과 ​​같은 다른 로봇 유형에도 동일하게 관련되어 있지만 관절 로봇의 응용 프로그램 및 과제에 중점을 둘 것입니다. .

핵심 주제에 대해 자세히 알아보기 전에 머신 비전과 산업용 로봇의 몇 가지 중요한 개념을 이해하는 것이 중요합니다.

머신 비전 인간 보기의 원자화로 정의할 수 있습니다. 이미지를 포착하는 것(눈의 기능)뿐만 아니라 이러한 이미지를 처리하고 결과를 생성하는 것(뇌의 기능)도 필요합니다. 머신 비전 시스템은 컴퓨터 하드웨어와 소프트웨어가 의사 결정을 위한 다양한 특성을 처리, 분석 및 측정할 수 있도록 특수 광학 장치가 있는 산업용 카메라 내부에 보호되는 디지털 센서에 의존하여 이미지를 획득합니다.

일반적인 머신 비전 애플리케이션은 다음과 같이 4가지 유형으로 크게 분류할 수 있습니다.

• 안내
• 신분증
• 측정
• 검사

식별, 측정 및 검사 시스템과 같은 작업에는 로봇이 애플리케이션에 가치를 더하는 고유한 목적이 있지만 이 문서에서는 로봇 안내에 중점을 둡니다. . 머신 비전(MV) 시스템은 부품을 찾고 특정 어셈블리에 올바르게 배치되었는지 확인할 수 있습니다. MV 시스템은 2D 또는 3D 공간에서 구성 요소의 위치를 ​​식별하는 데 도움이 될 수 있으며 로봇이 이 구성 요소의 좌표를 정확하게 추적하는 데 도움이 됩니다. MV 시스템은 이러한 목적에 필요한 고정 장치를 갖는 복잡성을 줄입니다. 이를 이해하려면 먼저 로봇이 구성 요소를 찾기 위해 스스로 위치를 잡는 방법을 살펴봐야 합니다.

로봇 좌표계는 서로 다른 기준 프레임으로 구성됩니다. 로봇의 움직임을 설명하는 데 사용되는 주요 좌표계는 아래 그림 1.1에 나와 있습니다. . 그리퍼 또는 도구의 제어가 가장 중요하며 그 위치는 하나 또는 모든 로봇 축의 조정된 동작을 통해 달성됩니다. 다른 유형의 그리퍼와 도구는 치수가 다르기 때문에 도구 유형에 관계없이 도구 중심점(TCP)이라는 특수 점이 선택됩니다. 이 점은 도구 좌표계의 원점입니다. 그리퍼 또는 손목 좌표계를 설명하는 데 유사한 점을 사용할 수 있습니다. 도구, 손목 및 기타 좌표계의 상호 연결은 그림 1.2와 같습니다. .

그림 1.1

그림 1.2

이미지:ABB Robotics

TCP는 손목 좌표, 기준 좌표, 세계 좌표 및 객체 좌표계와 관계를 맺습니다. 이상적으로는 개체의 좌표가 정확하게 일치해야 합니다. TCP의 설정된 좌표와 함께 - 이는 프로그래밍을 통해 물체의 원점이 로봇에 학습되고 TCP 좌표가 기록됨을 의미합니다. 따라서 반복 정확도를 달성하려면 로봇과 물체가 매번 같은 지점에 있어야 합니다.

로봇 포지셔닝은 서보 메커니즘에 의해 제어되므로 매우 정확합니다. 고정된 위치 구성 요소의 경우 위치 지정 정확도는 가공 공차, 고정 장치 공차 위치 지정, 인덱서 테이블 위치 지정 정확도 및 반복성과 같은 여러 요인에 따라 달라집니다. 따라서 로봇의 TCP는 원하는 좌표와 실제 좌표 사이의 오프셋으로 인해 물체의 실제 좌표와 일치하지 않을 수 있으며 위치 오류가 발생합니다. 물체가 컨베이어 위에 무작위로 위치하는 동안 로봇이 물체를 집어 올리거나 작업을 수행할 것으로 예상되는 경우 원점을 결정하는 것이 거의 불가능됩니다. 머신 비전과 같은 시스템을 안내하는 시스템이 없는 경우.

배치된 경우 머신 비전 시스템은 물체의 실시간 좌표를 식별하여 로봇에 제공할 수 있으며, 로봇은 오프셋을 TCP로 보상합니다. 따라서 도구 위치 정확도가 보장됩니다. 이 방법은 용접 및 접착제 디스펜싱과 같은 응용 분야, 고정 장치 구성 요소 및 움직이는 컨베이어에 무작위로 분포된 물체의 로봇 "픽 앤 플레이스"에 주로 사용됩니다. 위의 예는 2D 평면을 따라 위치가 부정확한 개체에 적합하므로 2D 머신 비전 시스템 사용됩니다.

2D 비전 안내를 사용하여 물체를 고속 로봇 "픽 앤 플레이스"합니다. 이미지:Cognex Corporation

로봇이 상자에 무작위로 보관된 물체를 픽업할 것으로 예상되는 로봇 상자 수거와 같은 애플리케이션의 경우 3D 공간 분석이 필요합니다. 여기서 X, Y 및 Z 좌표가 중요할 뿐만 아니라 세 축 모두를 따라 방향 각도가 로봇이 충돌 없이 가장 쉽게 선택할 수 있는 물체를 식별하는 데 중요합니다. 3D 머신 비전 시스템이 이 설정에서 배포됩니다.

가장 널리 사용되는 3D 머신 비전 시스템은 좌표와 높이 맵을 제공하는 두 대의 카메라와 함께 스테레오 비전을 사용하는 설정입니다. 여기서 중요한 작업은 카메라 보정과 두 카메라의 이미지를 결합하고 3D 이미지를 만드는 머신 비전 알고리즘입니다. 빈 이미지를 분석하여 가장 선택하기 쉬운 구성 요소의 TCP 좌표를 도출합니다. 다른 3D 기술로는 레이저 삼각 측량 및 비행 시간이 있습니다.

3D 비전 안내를 사용한 로봇 쓰레기 수거 이미지:Yaskawa Robotics

2부

이미지 획득

좋은 품질의 이미지는 성공적인 VGR의 핵심입니다. 여기에서 세 가지 주요 구성 요소는 카메라, 광학 장치 및 조명입니다.

카메라: 로봇 애플리케이션용 카메라를 선택할 때 고려해야 할 몇 가지 중요한 사항이 있습니다. 시중의 상업용 카메라는 이미지를 획득하지만 이러한 시스템이 배포되는 산업 환경은 정말 까다로울 수 있습니다. 여기에서 카메라는 가혹한 환경에 노출됩니다. 수십만 사이클 동안 매번 일관된 고품질 이미지를 제공할 것으로 예상됩니다. 여기에 로봇의 움직임과 전체 장비의 진동으로 인해 발생하는 충격과 진동이 추가됩니다.

통신 인터페이스는 견고해야 하며 작동 중에 통신이 중단되지 않도록 이러한 가혹한 조건에서 지속되어야 합니다. 이더넷 기반 프로토콜은 이 애플리케이션에 필요한 우수한 안정성과 더 긴 케이블 길이를 제공합니다. . 특히 시스템이 먼지가 많은 환경에 배포되는 경우 침투 보호 규정 준수가 중요합니다. PoE는 여러 케이블을 피하는 데 선호되는 전원입니다. 카메라 케이블은 로봇 암의 케이블 트레이와 하니스를 통해 주기적으로 많이 구부러지기 때문에 드래그 체인 호환 케이블을 사용해야 합니다.

이미지:Baumer

이미지:Pickit 3D

카메라의 해상도는 전체 시야(FOV)와 원하는 위치 정확도를 고려하여 계산해야 합니다.

광학: FOV, 작동 거리(WD) 및 카메라 센서 크기에 따라 적합한 광학 장치를 선택해야 합니다. 고려해야 할 가장 중요한 두 가지 요소는 다음과 같습니다.

1. 배럴 왜곡은 가능한 최소화해야 하며
2. 카메라와 동일한 양의 충격과 진동을 받기 때문에 렌즈의 견고함; 처리하지 않으면 조리개 및 초점과 같은 중요한 렌즈 설정이 영향을 받을 수 있습니다.

조명: 물체의 조명은 VGR에서 중요한 역할을 합니다. 조명은 구성 요소에서 검사할 기능을 강조 표시해야 합니다. 프로그래밍된 구성요소 또는 윤곽은 시스템의 원하는 정확도 내에서 정확하게 식별되어야 합니다. 따라서 물체와 윤곽에 따라 적절한 조명을 선택해야 합니다. 부품 피킹 또는 용접/접착제 디스펜싱 유형의 애플리케이션은 대부분 단순 확산 막대 조명을 필요로 하지만, 스테레오 카메라를 사용하는 로봇 빈 피킹 애플리케이션은 윤곽을 수집하고 프로파일을 도출하기 위해 구성요소에 투영된 구조화된 패턴 조명을 사용하는 경우가 많습니다.

3D 빈 선택에 사용되는 구조적 조명. 이미지:솔로몬 3D

머신 비전을 사용한 로봇 공학의 과제

표준 2D 로봇 머신 비전 애플리케이션에는 해결해야 할 몇 가지 과제가 있습니다.

• 왜곡
• 좌표 보정
• Z 보정
• 좌표 정렬

왜곡: 시각 시스템이 VGR을 사용할 준비가 되기 전에 수정해야 하는 왜곡에는 두 가지 주요 유형이 있습니다.

• 렌즈 왜곡: 렌즈(특히 광각 렌즈)는 획득한 이미지에 왜곡을 일으킵니다. 이것을 "배럴 왜곡"이라고 합니다.
  

배럴 왜곡. 이미지:Baumer

• 카메라의 경사진 장착으로 인한 왜곡
  이미지:Baumer

로봇이 작동하려면 여유 공간이 필요하므로 카메라를 기울어진 위치에 장착해야 하는 경우가 많습니다. 이로 인해 획득한 이미지가 왜곡됩니다.

이러한 유형의 왜곡은 모두 획득한 좌표가 정확하도록 수정 및 보정이 필요합니다.

좌표 보정: 로봇은 밀리미터 또는 인치와 같은 단위로 정의된 좌표계에서 작동하는 반면 카메라는 픽셀 수로 작동합니다. 따라서 시스템이 픽셀과 좌표계 단위 간의 상관관계를 이해할 수 있도록 카메라를 보정해야 합니다.

이미지:Baumer

매회 동일한 working distance(카메라와 물체 사이의 거리)에서 측정하는 것이 중요합니다. 로봇이 3D로 작업하기 때문에 "gripping"도 "Z" 사양이 필요합니다. .

Z 보정: Z 보정은 Z축이 렌즈의 피사계 심도* 내에서 변하는 경우 X 및 Y 좌표를 계산하는 데 사용됩니다. 카메라는 보정 플레이트를 사용하여 특정 절차를 사용하여 보정됩니다(나중에 설명).

좌표 정렬: 로봇과 비전 시스템에는 고유한 좌표계가 있습니다. 편차는 다음과 같습니다.

이 문제를 극복하기 위해 캘리브레이션이 수행된다. 로봇은 자신의 위치와 TCP의 위치를 ​​알고 있는 반면 비전 시스템은 캘리브레이션 플레이트에서 캘리브레이션된다. 로봇은 오프셋을 계산한다. , 정렬이 수행됩니다.

이는 매우 중요한 단계입니다. 로봇은 비전 시스템에서 정의한 원점에서 시작하는 경로를 따라야 합니다. 제대로 실행되지 않으면 잘못된 캘리브레이션이 심각한 경로 편차를 일으킬 수 있으며 결과를 초래할 수 있습니다. 충돌합니다.

교정 플레이트: 비전 시스템 보정은 정확한 치수의 표시가 있는 표준 보정 플레이트를 사용하여 수행됩니다. 그림 2.1 교정 플레이트의 몇 가지 예를 보여줍니다.

그림 2.1

교정 플레이트를 사용하여 렌즈 및 장착 왜곡 수정: 그림 2.2와 같이 캘리브레이션 플레이트를 카메라 아래 일정 거리에 놓고 이미지를 획득합니다. .

그림 2.2:카메라 위치

이미지:Baumer

왜곡 보정이 수행되면 이미지가 정렬된 것처럼 보입니다. 이는 아래 그림 2.3에 나와 있습니다. .

그림 2.3

교정 판을 사용한 좌표 교정: 보정판의 격자선 또는 표시는 카메라에 포함된 픽셀 수와 관련이 있습니다. 위치 포인터를 교정 플레이트에 정확하게 위치시키는 것이 중요합니다.

포인터는 플레이트의 포인트/모서리에 배치됩니다. 이 지점들 사이의 거리는 알려진 다음 소프트웨어의 보정 매개변수화 필드에 입력됩니다. 그런 다음 비전 시스템은 해당 거리를 측정하는 데 사용되는 픽셀 수를 계산합니다. 이 설정은 작동 거리, FOV 및 카메라 장착이 유지되는 한 유효합니다. 세 가지 중 하나라도 변경되면 시스템을 다시 보정해야 합니다.

동향 및 발전 사항

VGR은 새로운 기술이 아닙니다. 이미 개발되어 상당히 성숙한 애플리케이션이 되었습니다. 거의 모든 로봇 제조업체는 이제 VGR을 위한 통합 솔루션을 제공합니다. 그러나 카메라 기술(예:고속 카메라, 3D 비행 시간 카메라 및 통합 스테레오 카메라) 및 소프트웨어 기술(예:인공 지능 및 기계 학습)의 최신 발전으로 인해 신뢰성이 추가되었습니다. 견고함 전체 응용 프로그램에.

심층 신경망은 모든 평면을 따라 구성 요소 위치 및 방향의 다양한 가능성을 가르치고 다시 가르치기 위해 배포됩니다. 학습할 수 있는 많은 가능성은 네트워크의 훈련 시간을 연장할 수 있지만 최신 컴퓨팅 장치(예:GPU)는 작업 시간을 줄여줍니다. 머신 러닝을 위한 클라우드 기반 플랫폼도 현재 배포되고 있습니다.

결론

VGR은빠른 인기를 얻고 있습니다. 산업의 모든 영역에 걸쳐 있습니다. 한때 자동차 부문에서 주로 주도했던 애플리케이션은 이제 고속 로봇 픽 앤 플레이스, 팔레타이징 및 디팔레타이징, 용접 로봇의 이음매 추적을 위한 중장비 엔지니어링, 접착제 분배 등을 위한 식품 및 의약품과 같은 다른 수용자를 찾습니다. 표준을 설정해야 합니다. 비전 시스템 제조업체와 로봇 제작업체 간의 상호 호환성을 보장합니다. 세계가 제조의 "뉴 노멀"을 바라보면서 VGR이 중요한 역할을 하고 있습니다.