로봇이 터치로 물체를 인식하도록 돕는 인공 지능

• 새로운 기계 학습 기반 인식 프레임워크는 터치로 90개 이상의 다양한 물체를 인식할 수 있습니다.
• 시각 및 촉각 관찰을 모두 사용하여 이러한 관찰이 동일한 대상에 해당하는지 여부를 식별합니다.

인간은 여러 양식에 걸쳐 물체의 모양과 물질적 특성을 연관시키는 데 능숙합니다. 가위를 볼 때 우리는 손가락이 금속 표면을 만지는 느낌을 상상할 수 있으며, 식별뿐만 아니라 크기, 모양, 비율까지 머릿속으로 상상할 수 있습니다.

반면 로봇에 대한 인식은 본질적으로 다중 모드가 아닙니다. 고급 카메라가 장착된 기존 로봇은 두 개의 서로 다른 물체를 구별할 수 있지만 특히 폐색 및 열악한 조명 조건이 있는 경우 시력만으로는 부적합한 것으로 판명될 수 있습니다.

이제 버클리 캘리포니아 대학의 연구원들은 로봇 조작자가 인간과 유사한 다중 모드 연합을 학습할 수 있도록 하는 방법을 개발했습니다. 시각적 및 촉각적 관찰을 모두 사용하여 이러한 관찰이 동일한 개체에 해당하는지 여부를 알아냅니다.

그들은 정확히 무엇을 했습니까?

연구팀은 다중 모드 연결을 위해 두 개의 GelSight 센서(로봇의 손가락에 부착됨)와 컨볼루션 신경망(CNN)을 통한 고해상도 터치 감지를 사용했습니다.

이 센서는 엘라스토머 젤과 통합된 카메라를 통해 판독값을 생성하며, 이 카메라는 물체와의 접촉으로 생성된 젤의 움푹 들어간 부분을 기록합니다. 이러한 판독값은 데이터 처리를 위해 CNN에 제공됩니다.

연구원들은 센서의 촉각 판독값과 카메라의 물체 이미지를 받아들이고 이러한 입력이 동일한 물체를 나타내는지 여부를 식별하도록 CNN을 훈련했습니다. 인스턴스 인식을 수행하기 위해 로봇의 촉각 판독값과 쿼리 개체의 시각적 관찰을 결합했습니다.

참조:arXiv:1903.03591 | UC 버클리

그들은 NVIDIA GeForce GTX 1080 및 CUDA 딥 러닝 프레임워크와 함께 TITAN X GPU를 사용하여 33,000개 이상의 이미지에서 다중 모드 연결을 위해 CNN을 훈련하고 테스트했습니다.

두 개의 GelSight 촉각 센서(각 손가락에 하나씩)와 전면 RGB 카메라로 구성된 로봇(왼쪽) | 하나의 물체에 해당하는 촉각 관찰(가운데)과 물체 이미지(오른쪽)의 예 | 연구원 제공

결과는 훈련에 사용된 적이 없는 인스턴스를 포함하여 촉각 판독만으로 개체 인스턴스를 인식할 수 있음을 보여줍니다. 실제로 CNN은 일부 자원 봉사자와 대체 방법을 능가했습니다.

다음은 무엇입니까?

지금까지 연구자들은 개별 파악만을 고려했습니다. 다음 연구에서는 쿼리 개체에 대한 보다 완전한 그림을 얻기 위해 여러 촉각 상호 작용을 사용합니다.

읽기:15가지 유형의 로봇 | 설명

팀은 또한 로봇이 제품 이미지를 보고 선반 위의 물건을 감지하여 검색하는 로봇 창고로 시스템을 확장할 계획입니다. 이 새로운 방법은 가정 환경의 로봇에 적용하여 도달하기 어려운 위치에서 물체를 검색하도록 할 수 있습니다.