듀크 대학교의 AI 시스템으로 로봇에게 인간과 같은 감지 기능을 제공하여 더욱 안전한 탐색 가능

듀크대학교, 노스캐롤라이나주 더럼

WildFusion은 시각, 촉각, 소리 및 균형의 조합을 사용하여 네발 달린 로봇이 울창한 숲과 같은 어려운 지형을 더 잘 탐색할 수 있도록 돕습니다. (이미지 :듀크 대학교)

우리 뇌가 주변 세계를 탐색할 수 있도록 해주는 감각이 제공하는 풍부한 정보는 놀랍습니다. 주말 아침의 편안한 하이킹과 같이 우리에게 쉬운 환경처럼 보이는 환경을 헤쳐나가려면 촉각, 후각, 청각 및 강한 균형 감각이 매우 중요합니다.

캐노피 오버헤드에 대한 타고난 이해는 경로가 어디로 이어지는지 파악하는 데 도움이 됩니다. 날카로운 나뭇가지의 꺾임이나 부드러운 이끼의 쿠션감은 우리의 발판이 안정되어 있음을 알려준다. 나무가 쓰러지는 소리나 강한 바람에 나뭇가지가 춤추는 소리를 통해 근처에 잠재적인 위험이 있음을 알 수 있습니다.

반면 로봇은 오랫동안 카메라나 LiDAR와 같은 시각적 정보에만 의존하여 세상을 이동해 왔습니다. 헐리우드 밖에서는 다감각 내비게이션이 오랫동안 기계에게 어려운 과제로 남아 있었습니다. 울창한 덤불, 쓰러진 통나무, 끊임없이 변화하는 지형으로 이루어진 아름다운 혼돈의 숲은 기존 로봇에게는 불확실성의 미로입니다.

이제 듀크 대학의 연구원들은 시각, 진동, 촉각을 융합하여 로봇이 인간처럼 복잡한 실외 환경을 '감지'할 수 있도록 하는 WildFusion이라는 새로운 프레임워크를 개발했습니다.

Duke University의 기계 공학 및 재료 과학, 전기 및 컴퓨터 공학, 컴퓨터 과학 분야의 Dickinson Family 조교수인 Boyan Chen은 "WildFusion은 로봇 내비게이션 및 3D 매핑의 새로운 장을 열었습니다."라고 말했습니다. “이는 로봇이 숲, 재해 지역, 오프로드 지형과 같이 체계화되지 않고 예측할 수 없는 환경에서 더욱 자신 있게 작동할 수 있도록 도와줍니다.”

수석 학생 저자이자 2년차 박사 과정인 Yanbaihui Liu는 "일반적인 로봇은 비전이나 LiDAR에만 크게 의존하며 명확한 경로나 예측 가능한 랜드마크가 없으면 종종 흔들리는 경우가 많습니다."라고 덧붙였습니다. Chen의 일반 로봇공학 연구실 학생입니다. "센서 데이터가 희박하고, 잡음이 많거나, 불완전할 경우 고급 3D 매핑 방법도 연속 지도를 재구성하는 데 어려움을 겪습니다. 이는 구조화되지 않은 실외 환경에서 흔히 발생하는 문제입니다. 이것이 바로 WildFusion이 해결하도록 설계된 과제입니다."

4족 로봇을 기반으로 구축된 WildFusion은 RGB 카메라, LiDAR, 관성 센서, 특히 접촉 마이크 및 촉각 센서를 포함한 여러 감지 양식을 통합합니다. 기존 접근 방식과 마찬가지로 카메라와 LiDAR는 환경의 기하학적 구조, 색상, 거리 및 기타 시각적 세부 정보를 캡처합니다. WildFusion을 특별하게 만드는 것은 음향 진동과 터치를 사용한다는 점입니다.

로봇이 걸을 때 접촉식 마이크는 각 단계에서 발생하는 고유한 진동을 녹음하여 마른 나뭇잎이 부서지는 소리와 진흙이 부드럽게 으깨지는 소리와 같은 미묘한 차이를 포착합니다. 한편, 촉각 센서는 각 발에 얼마나 많은 힘이 가해지는지 측정하여 로봇이 실시간으로 안정성이나 미끄러움을 감지할 수 있도록 도와줍니다. 이러한 추가된 감각은 가속도 데이터를 수집하여 로봇이 고르지 않은 지면을 횡단할 때 얼마나 흔들리고, 피칭하고, 구르는지 평가하는 관성 센서로 보완됩니다.

각 유형의 감각 데이터는 특수 인코더를 통해 처리되어 하나의 풍부한 표현으로 융합됩니다. WildFusion의 핵심은 암시적 신경 표현 아이디어를 기반으로 한 딥 러닝 모델입니다. 환경을 별개의 점들의 집합으로 취급하는 기존 방법과 달리, 이 접근 방식은 복잡한 표면과 특징을 지속적으로 모델링하여 로봇이 시야가 막히거나 모호한 경우에도 발걸음을 옮길 위치에 대해 더 스마트하고 직관적인 결정을 내릴 수 있도록 합니다.

Chen은 “몇몇 조각이 빠진 퍼즐을 푸는 것과 같다고 생각하면 전체 그림을 직관적으로 상상할 수 있습니다.”라고 Chen은 설명했습니다. "WildFusion의 다중 모드 접근 방식을 사용하면 인간이 하는 것과 마찬가지로 센서 데이터가 희박하거나 시끄러울 때 로봇이 '빈칸을 채울' 수 있습니다."

WildFusion은 듀크 캠퍼스 근처 노스캐롤라이나의 Eno River 주립공원에서 테스트되었으며, 로봇이 울창한 숲, 초원, 자갈길을 탐색하는 데 성공적으로 도움을 주었습니다. Liu는 “로봇이 자신 있게 지형을 탐색하는 모습을 지켜보는 것은 정말 보람찬 일이었습니다.”라고 말했습니다.

"이러한 실제 테스트를 통해 횡단 가능성을 정확하게 예측하는 WildFusion의 뛰어난 능력이 입증되었으며, 까다로운 지형을 통과하는 안전한 경로에 대한 로봇의 의사 결정이 크게 향상되었습니다."라고 Liu는 말했습니다.

앞으로 팀은 열 또는 습도 감지기와 같은 추가 센서를 통합하여 시스템을 확장하여 복잡한 환경을 이해하고 적응하는 로봇의 능력을 더욱 향상시킬 계획입니다. 유연한 모듈식 설계를 통해 WildFusion은 예측할 수 없는 지형에 대한 재해 대응, 원격 인프라 검사 및 자율 탐사를 포함하여 산림 산책로를 넘어 광범위한 잠재적 애플리케이션을 제공합니다. Chen은 "오늘날 로봇 공학의 주요 과제 중 하나는 실험실에서 잘 작동할 뿐만 아니라 실제 환경에서도 안정적으로 작동하는 시스템을 개발하는 것입니다."라고 말했습니다. “이는 적응하고, 결정을 내리고, 계속 움직일 수 있는 로봇을 의미합니다.”

자세한 내용은 Boyuan Chen에게 문의하세요. 이 이메일 주소는 스팸봇으로부터 보호됩니다. 보려면 JavaScript를 활성화해야 합니다.