소닉센스(SonicSense): 로봇이 인간처럼 '듣고' 더 스마트하게 상호작용

듀크대학 새 연구, 로봇이 주변 환경과 인간 한정됐던 방식 상호작용 가능케 하는 '소닉센스(SonicSense)' 시스템 상세.

"오늘날 로봇 대부분 비전으로 세계 해석" 설명한 주저자 지아쉰 리우, 듀크대 기계공학과 재료과학 부교수 보이위안 첸 연구실 1년차 박사과정. "일상 다양한 복잡한 물체 작동 가능한 솔루션 만들고 싶었습니다. 로봇에게 '느끼고' 세계 이해하는 훨씬 풍부한 능력 부여."

소닉센스: 4손가락 로봇 손, 각 손가락 끝 임베디드 콘택트 마이크 장착. 이 센서들 로봇이 물체 두드리기/잡기/흔들기 시 발생 진동 감지/기록. 마이크 물체와 접촉해 주변 소음 차단 가능.

상호작용과 감지 신호 기반, 소닉센스 주파수 특성 추출해 이전 지식과 최근 AI 발전 결합해 물체 재질과 3D 형상 파악. 처음 보는 물체면 20회 상호작용 필요할 수 있지만, 데이터베이스 있는 물체면 4회 만에 정확 식별 가능.

Tech Briefs 독점 인터뷰, 보이위안 첸 교수와 진행(길이/명료성 위해 편집).

최대 기술적 도전은?

첸: 첫째, 음향 진동 로봇 지각 활용 광범위 연구 없었음. 기존 연구 단일 손가락이나 예비적. 실제 로봇 손에 장착해 다양한 가능 물체와 상호작용하는 것 쉽지 않음.

프로젝트 기원과 촉매?

첸: 재미있는 이야기. 1부 '붐박스(boombox)' 코로나 때. 로봇과 비전 작업 하고 싶어 몇 년 전부터 음향 진동 센싱 도입 관심. 신경과학: 인간 피부 진동 뉴런. 읽고 로봇에 어떻게 가져올지 생각. 코로나 때 로봇 접근 불가. 컬럼비아대 박사과정 중 NYC 작은 기숙사 살았지만 연구 하고 싶음. 어느 날 무작위 아이디어: '로봇 없이 이게 도움됨 보여줄 수 있나?'

방에 장난감 통. 무작위 물건 던져넣고 '이 물건 꺼내야 하는데 어디 있는지 모름. 뭐 던졌지?' 완벽한 연구 질문.

서로 다른 모양 나무 상자 3개 통에 던짐. 던진 물체 모양과 착지 위치 예측하는 AI 시스템 훈련. 볼 수 없으니까. 이 프로젝트 시작.

기본: 4 콘택트 마이크. 통 벽 주변 부착. 4채널 마이크에서 음향 진동만 기록. 기타 소리 픽업용 마이크 사용. 통에 붙이고 소리→3D 조작 예측 시스템 훈련. 소닉센스 탄생.

로봇으로 하고 싶어짐. 그게 소닉센스 탄생지.

간단히 어떻게 작동하나?

첸: 통합 하드웨어/소프트웨어 시스템. 하드웨어: 4손가락 로봇 그리퍼, 각 손가락 끝 임베디드 콘택트 마이크. 이 마이크 우리 말 감지 안 함, 물리 접촉 진동 감지.

소프트웨어: 로봇 자율 탐색 가능케 함. 단순 두드리기/물체 잡기/용기 흔들기. 4 콘택트 마이크 신호와 모터 신호 함께 수집.

AI 네트워크 훈련: '용기 안 주사위 몇 개? 주사위 모서리 몇 개? 물병 물 얼마나? 다른 용기 붓기 양?' 등 예측.

다음 단계?

첸: 몇 새 아이디어 탐색. 첫째, 인간 수준 조작 민첩성 위해 다른 센싱 양식 뭐 필요? 더 넓게 로보틱스 전체: 보행, 내비게이션 등. 인간/동물도 없는 능력 주는 새로운 양식 탐색 한 방향.

둘째, 로봇 이미 가진 다른 양식. 예: 비전—어떻게 모든 양식 융합해 단일 관점 아닌 세계 통합 이해? 많은 센싱 양식 함께 모아 통합 이해 학습.

셋째, 진짜 인간 수준 조작 능력 벡터로 가져오기—현재 설계 프로토타입. 형태학과 센싱 능력 둘 다 훨씬 큰 규모로 확장. 더 인간다운 손에 많은 센서 장착, 진정한 민첩 조작 능력 시연. 현재 물체 지각만 하지만 훨씬 첨단 능력으로 물체 조작 목표.

트랜스크립트

00:00:00 소닉센스 소개: 음향 진동 센싱으로 풍부한 로봇 물체 지각 가능케 하는 통합 하드웨어/소프트웨어 프레임워크. 최근 연구 음향 진동 센싱으로 물체 재질/카테고리 분류, 위치 예측, 입자 물질 양/유량 추정, 집단적 물체 공간 추론 시각 재구성 수행했으나...

00:00:23 이전 연구 소수 원시 물체, 균질 소재 구성, 제약된 데이터 수집 설정, 단일 손가락 테스트 집중. 음향 진동 센싱 시끄럽고 덜 통제된 조건서 물체 지각 도움 되는지 불명확. 우리 소닉센스: 하드웨어/알고리즘 양면 발전으로 향상된 음향 진동 센싱 통한 물체 지각 제시.

00:00:44 우리 로봇 손 4손가락, 각 손가락 끝 임베디드 압전 콘택트 마이크, 외부 쉘 표면 카운터웨이트 장착해 손가락 운동 관성 증가. 직관적 기계 설계로...

00:01:07 물체 지각용 상호작용 모션 프리미티브 범위 가능: 두드리기, 잡기, 흔들기. 임베디드 콘택트 마이크 물체-물체/물체-손 상호작용 생성 고주파 음향 진동 수집. 우리 로봇 용기 내 다양한 물체 기하학과 재고 상태 고유 음향 진동 서명서 추론 가능.

00:01:31 전통 음향 신호 처리 기반 12 해석가능 특성 도출해 다른 음향 진동 서명 구분 도움. 이 12차원 특성 벡터 t-SNE 비지도 비선형 차원축소 수행. 용기 흔들기로...

00:01:54 우리 로봇 용기 내 다른 개수 주사위/다른 모양 주사위 성공 구분. 우리 로봇 든 물병 물 붓기 시 병 내 기존 물량 기반 미세 음향 서명 차이 감지. 흔들기로 더 어려운 물체 지각 작업서도 물량 차이 감지.

00:02:15 83가지 다양한 실제 물체 데이터셋 개발. 9 소재 카테고리, 단순 원시형상~복잡 형상 다양. 이전 연구 인간 수동 로봇 손 조작하거나 고정 상호작용 포즈/힘 재생 달리, 변수 크기/형상 모든 실제 물체 작동하는 단순하지만 효과적 휴리스틱 기반 상호작용 정책 도출해 음향 진동 반응 자율 수집.

00:02:40 충격음 멜 스펙트로그램 입력받아 소재 라벨 예측하는 소재 분류 모델 훈련. 네트워크: 3 CNN 레이어 + 2 MLP 레이어. 초기 결과 F1 0.523. 물체 소재 국소 영역서 상대적 균일/매끄러움 가정 기반 반복적 예측 정제. 최종 평균 F1 0.763 도달.

00:03:25 형상 재구성 모델: 희소 노이즈 접촉점→조밀 완전 3D 형상 생성. 2 포인트넷 레이어 스택으로 입력 인코딩, 글로벌 특성 벡터 디코더 네트워크(완전연결 레이어) 공급해 최종 포인트 클라우드 생성. 평균 샹페르 거리 점수 획득. 원시 형상 물체 예측 근사 완벽. 희소 노이즈 접촉점 추정만으로 복잡 형상 물체 재구성 능력도 보임.

00:04:13 물체 음향 진동 반응 후 15 새 두드리기 상호작용 세트로 재식별 목표. 15 멜 스펙트로그램 세트와 연관 접촉점 네트워크 입력해 82개 데이터셋 물체 중 라벨 예측. 우리 로봇 92% 이상 정확도로 동일 물체 재식별. 우리 로봇 주변 소음 강한 저항, 물리 접촉 진동 신호만 집중해 도전적 환경서 고품질 신뢰성 센싱 데이터 보장.

00:05:01 우리 전체 로봇 손 상용 부품과 3D 프린팅으로 $215. 실험 결과: 고체/액체 물체 용기 내 재고 상태 추정, 소재 분류, 3D 형상 재구성, 물체 재식별 등 다양한 물체 지각 작업서 설계 다재다능함과 효능 입증. 전반적 우리 방법 음향 진동 촉각 지각 독창적 기여, 미래 로봇 설계 더 강건/완전/다재다능/통합적 세계 지각 모델 구축 새 기회 개척.