듀크대 AI 시스템, 로봇에 인간 같은 감각 부여해 안전한 내비게이션 실현

WildFusion: 시각, 진동, 촉각, 균형감각 융합으로 4족 보행 로봇의 복잡한 지형 탐색 능력 혁신

우리가 주변 세계를 탐색할 수 있게 해주는 감각이 제공하는 정보의 풍부함은 놀랍습니다. 촉각, 후각, 청각, 강한 균형감각은 주말 아침 편안한 하이킹처럼 우리에게 쉬워 보이는 환경을 통과하는 데 필수적입니다.

로봇의 기존 한계

천연 숲의 빽빽한 수풀, 쓰러진 나무, 끊임없이 변하는 지형은 전통적 로봇에게 불확실성의 미로입니다. 로봇은 오랫동안 카메라나 라이다 같은 시각 정보에만 의존해 세상을 움직여왔습니다. 할리우드 밖에서 다중 감각 내비게이션은 기계에게 오랫동안 어려운 과제로 남아있었습니다.

WildFusion: 멀티모달 센싱 프레임워크

이제 듀크 대학교 연구진이 시각, 진동, 촉각을 융합해 로봇이 인간처럼 복잡한 야외 환경을 '감지'할 수 있게 하는 새로운 프레임워크 WildFusion을 개발했습니다.

"WildFusion은 로봇 내비게이션과 3D 매핑의 새로운 장을 엽니다."라고 듀크 대학교 기계공학재료과학과, 전기컴퓨터공학과, 컴퓨터과학과의 디킨슨 패밀리 조교수 보이위안 첸(Boyuan Chen)은 말했습니다. "숲, 재난 지역, 오프로드 지형 같은 비구조적, 예측 불가능한 환경에서 로봇이 더 자신감 있게 작동하도록 돕습니다."

"일반적인 로봇은 시각이나 라이다에만 크게 의존하는데, 명확한 경로나 예측 가능한 랜드마크 없이는 종종 실패합니다."라고 첸의 일반 로봇공학 연구실 2년차 박사과정생이자 제1저자인 옌바이후이 리우(Yanbaihui Liu)는 덧붙였습니다. "심지어 고급 3D 매핑 방법도 센서 데이터가 희소하거나 노이즈가 많거나 불완전할 때 연속적인 맵을 재구성하는 데 어려움을 겪는데, 이는 비구조적 야외 환경에서 빈번한 문제입니다. 그것이 바로 WildFusion이 해결하도록 설계된 과제입니다."

다중 센싱 모달리티 통합

4족 보행 로봇 기반의 WildFusion은 RGB 카메라, 라이다, 관성 센서, 그리고 주목할 만한 접촉 마이크와 촉각 센서를 포함한 여러 센싱 모달리티를 통합합니다. 기존 접근법처럼 카메라와 라이다가 환경 기하학, 색상, 거리 및 기타 시각적 세부사항을 포착합니다. WildFusion을 특별하게 만드는 것은 음향 진동과 촉각의 활용입니다.

로봇이 걸을 때 접촉 마이크가 각 발걸음에서 생성되는 고유한 진동을 기록해 마른 나뭇잎의 바스락거림과 진흙의 부드러운 눌림 같은 미묘한 차이를 포착합니다. 한편 촉각 센서는 각 발에 가해지는 힘의 양을 측정해 로봇이 실시간으로 안정성이나 미끄러움을 감지하도록 돕습니다. 이러한 추가 감각은 로봇이 고르지 않은 지면을 횡단할 때 얼마나 흔들리거나 피칭, 롤링하는지 평가하기 위해 가속도 데이터를 수집하는 관성 센서로도 보완됩니다.

암시적 신경 표현 기반 딥러닝 융합

각 유형의 감각 데이터는 전문 인코더를 통해 처리되어 단일 풍부한 표현으로 융합됩니다. WildFusion의 핵심은 암시적 신경 표현(implicit neural representations) 아이디어 기반 딥러닝 모델입니다. 환경을 이산적 점 집합으로 다루는 기존 방법과 달리, 이 접근법은 복잡한 표면과 특징을 연속적으로 모델링해 로봇이 시각이 차단되거나 모호할 때도 어디를 디딜지 더 똑똑하고 직관적인 결정을 내릴 수 있게 합니다.

"일부 조각이 빠진 퍼즐을 푸는 것처럼 생각하세요. 그래도 완전한 그림을 직관적으로 상상할 수 있습니다."라고 첸은 설명했습니다. "WildFusion의 멀티모달 접근법은 센서 데이터가 희소하거나 노이즈가 많을 때 로봇이 '빈칸을 채우게' 합니다. 인간이 하는 것과 아주 비슷합니다."

실제 환경 검증 결과

WildFusion은 듀크 캠퍼스 근처 노스캐롤라이나 이노 강 주립공원에서 테스트되었으며, 로봇이 빽빽한 숲, 초원, 자갈길을 성공적으로 탐색하도록 도왔습니다. "로봇이 지형을 자신감 있게 탐색하는 것을 보는 것은 엄청나게 보람찼습니다."라고 리우는 공유했습니다.

"이 실제 테스트들은 WildFusion의 통행 가능성 정확한 예측 능력을 입증했으며, 도전적인 지형에서 안전한 경로에 대한 로봇의 의사결정을 크게 개선했습니다."라고 리우는 말했습니다.

향후 확장 계획

앞으로 팀은 열 감지기나 습도 감지기 같은 추가 센서를 통합해 로봇의 복잡한 환경 이해와 적응 능력을 더욱 향상시킬 계획입니다. 유연한 모듈식 설계로 WildFusion은 숲길 너머 재난 대응, 원격 인프라 점검, 자율 탐사 등 광범위한 잠재적 응용을 제공합니다. "오늘날 로봇공학의 핵심 과제 중 하나는 실험실에서만 잘 작동하는 것이 아니라 실제 환경에서 신뢰성 있게 작동하는 시스템을 개발하는 것입니다."라고 첸은 말했습니다. "즉, 적응하고, 결정을 내리고, 계속 움직이는 로봇을 의미합니다."

자세한 정보: 보이위안 첸(Boyuan Chen), 이메일: [보호된 이메일]