SonicSense:더 스마트한 상호 작용을 위해 로봇이 인간처럼 들을 수 있도록 지원

듀크 대학의 새로운 연구에서는 로봇이 이전에 인간에게만 국한되었던 방식으로 주변 환경과 상호 작용할 수 있게 해주는 SonicSense라는 시스템을 자세히 설명합니다.

“오늘날 로봇은 대부분 세상을 해석하기 위해 비전에 의존합니다.”라고 수석 저자이자 박사 1년차인 Jiaxun Liu는 설명했습니다. 듀크대학교 기계공학 및 재료과학 교수인 보위안 첸(Boyuan Chen) 연구실의 학생입니다. "우리는 일상적으로 발견되는 복잡하고 다양한 물체를 다룰 수 있는 솔루션을 만들고 싶었고, 이를 통해 로봇이 세상을 '느끼고' 이해할 수 있는 훨씬 더 풍부한 능력을 제공하고 싶었습니다."

SonicSense는 네 개의 손가락이 있는 로봇 손을 특징으로 하며 각 손가락 끝에 접촉식 마이크가 내장되어 있습니다. 이 센서는 로봇이 물체를 두드리거나 잡거나 흔들 때 발생하는 진동을 감지하고 기록합니다. 그리고 마이크가 물체와 접촉하기 때문에 로봇이 주변 소음을 차단할 수 있습니다.

SonicSense는 상호 작용과 감지된 신호를 기반으로 주파수 특징을 추출하고 이전 지식과 최신 AI 발전을 결합하여 물체가 어떤 재료로 만들어졌는지, 그리고 물체의 3D 모양을 파악합니다. 시스템이 이전에 본 적이 없는 객체라면 시스템이 결론을 내리기까지 20가지의 서로 다른 상호 작용이 필요할 수 있습니다. 하지만 이미 데이터베이스에 있는 개체라면 4개만 있어도 정확하게 식별할 수 있습니다.

여기 독점 기술 요약이 있습니다. Chen과의 인터뷰(길이와 명확성을 위해 편집됨).

기술 요약 :SonicSense를 개발하면서 직면했던 가장 큰 기술적 과제는 무엇이었나요?

첸 :첫 번째는 음향 진동을 로봇 인식에 활용하는 것에 대한 광범위한 연구가 실제로 없었다는 것입니다. 이전 작업의 대부분은 한 손가락으로 이루어졌거나 매우 예비적인 작업이었습니다. 하지만 이것을 실제 로봇 손에 올려놓고 다양한 물체와 상호작용할 수 있다는 것은 쉬운 일이 아닙니다.

기술 요약 :이 프로젝트는 어떻게 시작하게 되었나요? 작업을 하게 된 계기는 무엇이었나요?

첸 :정말 흥미로운 이야기네요. 내 작업 중 하나는 붐박스(boombox)라고 불렸는데, 이는 코로나19 기간이었습니다. 로봇과 비전 분야의 일을 하고 싶다고 생각했어요. 그래서 저는 이미 몇 년 전부터 음향 진동을 감지에 적용하는 데 관심이 있었습니다. 왜냐하면 우리는 음향 진동을 많이 사용하기 때문입니다.

신경과학에서 인간의 피부에는 진동 뉴런이 있습니다. 그래서 저는 이런 내용을 읽고 이것을 로봇에 어떻게 적용할 수 있을지 생각하고 있었습니다. 하지만 코로나 기간에는 로봇에 접근할 수 없었습니다. 나는 박사 학위를 받았습니다. 저는 컬럼비아 대학에서 뉴욕 시의 작은 기숙사에 살았지만 이 연구를 꼭 하고 싶었습니다. 어느 날 '이것이 도움이 된다는 것을 보여주기 위해 로봇 없이 무엇을 할 수 있을까?'라는 무작위 아이디어가 떠올랐습니다.

내 방에는 장난감 상자가 있었어요. 거기에 물건을 무작위로 던지면서 '야, 이 물건을 찾으러 가야 하는데 어디에 있는지 모르겠다'는 생각이 들었습니다. 내가 어떤 물건을 던졌는가?' 그것은 완벽한 조사 질문이었습니다.

저는 모양이 서로 다른 세 개의 나무 상자로 시작하여 쓰레기통에 버렸습니다. 내가 던진 물체의 모양과 물체를 볼 수 없기 때문에 던진 후 물체가 어디로 가는지를 예측하는 AI 시스템을 훈련시켰습니다. 이것이 바로 프로젝트였습니다.

아이디어는 기본적으로 4개의 접촉 마이크가 있다는 것이었습니다. 쓰레기통 벽 주위에 부착하세요. 4개의 마이크 채널에서 나오는 음향 진동만 녹음합니다. 기타의 소리를 픽업하는 데 사용되는 마이크를 사용했습니다. 저는 그것들을 쓰레기통에 붙이고 소리부터 이 3D 작업의 예측까지 시스템을 훈련시켰습니다. 그리고 그것이 그 프로젝트의 시작이었습니다.

그리고 물론 로봇을 위해 이 일을 하고 싶었습니다. 그곳이 SonicSense의 탄생지와 거의 같습니다.

기술 요약 :어떻게 작동하는지 간단하게 설명해주실 수 있나요?

첸 :하드웨어와 소프트웨어가 통합된 시스템입니다. 하드웨어 부분에는 네 개의 손가락이 달린 로봇 그리퍼가 있고, 각 손가락 끝에는 접촉식 마이크가 내장되어 있습니다. 이 접촉식 마이크는 우리가 말하는 내용을 감지하지 못하지만 신체 접촉의 진동을 감지합니다.

소프트웨어 측면에서는 기본적으로 로봇이 컨테이너로 물체를 가볍게 두드리거나 쥐고 흔드는 방식으로 자율적으로 환경을 내보낼 수 있습니다. 소프트웨어는 4개의 접촉식 마이크와 모터 신호의 신호를 함께 수집합니다.

우리는 인공 지능 네트워크를 훈련시켜 '컨테이너에 주사위가 몇 개 있습니까?'와 같은 것을 예측합니다. 이 주사위에는 몇 개의 모서리가 있습니까? 이 물병에 액체가 얼마나 들어있나요? 다른 용기에 얼마나 붓나요?'

기술 요약 :다음 단계는 무엇입니까?

첸 :우리는 우선 인간 수준의 조작 능력을 달성하기 위해 필요한 다른 감지 방식이 무엇인지에 대한 몇 가지 새로운 아이디어를 조사하고 있습니다. 그러나 단순한 조작이 아닌 로봇 공학에 대한 더 광범위한 콘텐츠에 대해서는 더욱 그렇습니다. 또한 이동, 내비게이션 및 기타 모든 기능에도 적용됩니다. 우리에게 필요한 다른 감지 방식이 있나요? 따라서 로봇을 활성화하거나 로봇이 인간이나 동물조차 갖지 못한 능력을 갖도록 할 수 있는 새로운 방식을 탐구하는 것이 한 방향입니다.

우리가 보고 있는 또 다른 방향은 로봇에 이미 있는 다른 양식입니다. 예를 들어, 비전 — 단 하나의 관점 대신 세상에 대한 일관된 이해를 갖기 위해 어떻게 모든 양식을 함께 융합할 수 있을까요? 따라서 다양한 감지 양식을 함께 만들어 통일된 이해를 배우세요.

우리가 보고 있는 세 번째 방향은 이것을 인간의 조작 능력 벡터에 적용하는 것입니다. 현재 디자인은 거의 프로토타입입니다. 우리는 손의 형태와 감지 기능을 훨씬 더 큰 규모로 확장하여 이를 수행하려고 합니다. 이는 훨씬 더 인간과 유사한 손에 많은 센서를 장착하고 실제로 능숙한 조작 기능을 선보일 수 있음을 의미합니다. 지금은 단지 객체 인식만 하고 있지만 훨씬 더 발전된 기능으로 객체를 조작할 수 있기를 원합니다.

스크립트

00:00:00 우리는 풍부한 로봇 물체 인식을 위한 음향 진동 감지를 가능하게 하는 통합 하드웨어 및 소프트웨어 프레임워크인 Sonic sense를 도입했습니다. 최근 작업에서는 물체 재료에 대한 음향 진동 감지와 세분화된 재료의 양과 흐름을 추정하고

에 대한 물체 공간 추론을 집합적으로 수행하는 카테고리 분류 위치 예측을 활용했습니다.

00:00:23 시각적 재구성 그러나 이전 작업은 데이터 수집 및 단일 손가락 테스트를 위한 균일한 재료 구성의 제한된 설정을 사용하여 소수의 원시 개체에 초점을 맞추었습니다. 따라서 음향 진동 감지가 시끄럽고 덜 통제된 조건에서 개체 인식에 도움이 될 수 있는지 여부는 확실하지 않습니다.

00:00:44 현재 Sonic sense 향상된 음향 진동 감지를 통해 객체 인식을 위한 하드웨어 및 알고리즘 발전에 대한 전체적인 디자인 로봇 손에는 4개의 손가락이 있습니다. 전기 접촉 마이크는 각 손가락 끝 내부에 내장되어 있으며 균형추 주변은 손가락 움직임의 추진력을 높이기 위해 외부 쉘 표면에 장착되어 있습니다. 직관적인 기계 설계

00:01:07 두드리기 및 흔들기 동작을 포함하여 물체 인식을 위한 다양한 대화형 모션 프리미티브를 가능하게 합니다. 내장된 접촉 마이크는 물체 사이의 접촉 또는 물체 손 상호 작용으로 생성된 고주파 음향 진동을 수집할 수 있습니다. 로봇은

에서 컨테이너 내부의 다양한 물체의 형상 및 재고 상태를 추론할 수 있습니다.

00:01:31 상호 작용 중 고유한 음향 진동 신호 우리는 이러한 다양한 음향 진동 신호를 구별하는 데 도움이 되는 전통적인 음향 신호 처리 방법을 기반으로 12가지 해석 가능한 특징을 도출합니다. 우리는 로봇이 할 수 있는 용기를 흔들어 이 12차원 특징 벡터에 대해 감독되지 않은 비선형 차원 감소를 수행했습니다.

00:01:54 로봇이 들고 있는 병 안에 물을 부을 때 용기 안의 다양한 수의 주사위나 모양이 다른 주사위를 성공적으로 구별합니다. 병 안에 존재하는 물의 양에 따라 음향 신호의 미묘한 차이를 감지할 수 있습니다. 로봇은 병을 더 많이 흔들 때 병 안의 물의 양이 달라지는 것도 감지할 수 있습니다.

00:02:15 까다로운 객체 인식 작업 우리는 83개의 다양한 현실 세계 객체로 데이터 세트를 개발했습니다. 우리의 객체는 9가지 재료 카테고리와 간단한 프리미티브부터 복잡한 모양까지 다양한 형상을 포괄합니다. 이전 작업에서는 인간을 사용하여 수동으로 로봇의 손을 잡고 객체와 상호 작용하거나 고정된 상호 작용 포즈와 재생을 위한 힘을 설계하는 것과는 달리 간단하지만 효과적인 결과를 도출합니다.

00:02:40 객체의 음향 진동 응답을 자동으로 수집하는 경험적 기반 상호 작용 정책 우리의 정책은 다양한 크기와 형상을 포함하는 모든 실제 객체에 대해 잘 작동합니다. 충격음에서 수집된 음향 진동 신호의 Mel 스펙트로그램을 가져와 예측하는 방법을 학습하는 재료 분류 모델을 교육했습니다.

00:03:02 재료 레이블 네트워크는 3개의 컨벌루션 신경망 레이어와 2개의 MLP 레이어의 형태를 취합니다. 우리 방법의 초기 결과는 0.523 F1 점수로 이어집니다. 그러나 우리는 이 가정을 기반으로 객체 재료가 상대적으로 균일하고 로컬 영역 주변에서 매끄러움을 관찰했습니다. 우리는 최종 평균 F1 예측을 반복적으로 개선할 수 있습니다.

00:03:25 점수가 0.763에 도달합니다. 모양 Recon 구성 모델은 희박하고 노이즈가 많은 접점을 사용하여 객체의 조밀하고 완전한 3D 모양을 생성합니다. 두 개의 뾰족한 레이어를 쌓아 입력을 인코딩한 다음 전역 기능 벡터를 완전히 연결된 레이어가 있는 디코더 네트워크에 공급하여 최종 포인트 클라우드를 생성합니다. 결과는 평균 z입니다. 지

00:03:50 Z 876 거리 점수에 대한 M 챔피언 원시 형태의 물체에 대한 예측은 일반적으로 거의 완벽한 성능을 발휘합니다. 또한 우리의 방법은 스파링과 시끄러운 접촉을 통해서만 복잡한 모양의 물체를 재구성하는 기능을 보여줍니다. 우리가 목표로 하는 음향 진동 응답으로 로봇이 물체와 상호 작용할 때 지점 추정을 보여줍니다.

00:04:13 우리 로봇이 15가지 새로운 탭 상호 작용 세트를 통해 물체를 재식별하도록 합니다. 우리는 데이터 세트의 82개 물체 중 이 물체의 라벨을 예측하기 위해 Mel 스펙트로그램 컬렉션과 관련 접점을 네트워크에 입력합니다. 우리 로봇은 92% 이상의 정확도로 동일한 물체를 재식별할 수 있습니다. 우리 로봇은 주변 환경에 강한 저항력을 가지고 있습니다.

00:04:37 소음을 제거하고 물리적 접촉을 통한 진동 신호에만 초점을 맞춰 까다로운 환경 조건에서 고품질의 신뢰할 수 있는 감지 데이터를 보장합니다. 전체 로봇 손의 비용은 상용 구성 요소와 3D 프린팅을 포함해 215달러입니다. 실험 결과는 다양한 객체 인식에 대한 설계의 다양성과 효율성을 보여줍니다.

00:05:01 컨테이너 내 고체 및 액체 물체 재고 상태 추정을 포함한 작업 재료 분류 3D 형상 재구성 및 물체 재식별 전반에 걸쳐 우리의 방법은 음향 진동을 통해 촉각 인식에 고유한 기여를 제공하고 미래의 로봇 설계가 더욱 견고한 완성품을 구축할 수 있는 새로운 기회를 열어줍니다.

00:05:23 세계에 대한 다재다능하고 전체적인 인식 모델