로봇 군집이 환경을 매핑하는 방법: David Lary 박사와의 Q&A

텍사스 대학교 댈러스 캠퍼스의 David Lary 박사가 이끄는 연구 그룹은 위험하거나 접근하기 어려운 현장에서 조사와 데이터 수집에 사용할 수 있는 자율 로봇 장치 팀을 개발했습니다. 이는 인간이 제공할 수 있는 것보다 더 많고 빠른 통찰력을 제공합니다.

[그림 1]은 로봇 팀을 보여줍니다.

Tech Briefs: 종합적인 환경 데이터 세트를 수집하기 위해 여러 자율 장치를 사용하게 된 영감은 무엇입니까?

David Lary 박사: 글쎄요, 그 여정에는 두 부분이 있습니다. 첫째는 저를 움직이는 열정입니다. 저는 사람들이 위험에서 벗어나 적시에 결정을 내릴 수 있는 적절한 실행 가능한 통찰력을 얻을 수 있도록 포괄적인 전체적 센싱을 간절히 원합니다. 그것이 제 동기이지만, 이 시점까지의 실제 여정은 몇 년 전, 거의 30년 전에 시작되었습니다.

케임브리지에서 박사 과정을 할 때, 오존 구멍을 발견한 Joe Farman이라는 사람이 바로 가까이 있었습니다. 그래서 박사 논문으로 오존 고갈을 위한 최초의 3차원 전역 모델을 개발했습니다. 유럽 중기 기상 예보 센터에서 사용하던 전역 모델에 플러그인할 수 있는 화학 모듈이었습니다. 제 플러그인으로 오존 관련 화학에 대한 전역 시뮬레이션을 할 수 있었습니다. 그래서 제가 묻고 싶었던 당연한 질문은: 이 모델이 얼마나 좋은가? 그것을 검증하기 위해 위성, 항공기, 지상 센서, 풍선 등 가능한 한 많은 데이터 소스를 모아야 했습니다. 제가 직면한

교활한 문제 중 하나는 기기 간 편향(inter-instrument bias)이었습니다. 그래서 이 편향을 다루는 방법을 찾고 있었습니다. 비록 30년 전이었지만, 우연히 머신 러닝을 접하게 되었습니다. 오늘날의 대규모 채택 이전이었고, 그것이 아주 잘 작동한다는 것을 발견했습니다. 그게 제가 그것으로 무엇을 더 할 수 있는지 살펴보기 시작한 계기였습니다. 그 과정에서 우리는 화학 데이터 동화를 최초로 개발했는데, 이는 이제 전 세계 기관들이 대기질 예측 시스템의 일부로 사용하고 있습니다.

[그림 2]는 연구팀의 장비를 보여줍니다.

데이터 동화에서 우리가 하는 일 중 하나는 불확실성에 많은 주의를 기울이는 것입니다. NASA에서의 제 업무 중 일부는 전역 원격 탐사 데이터 제품을 만드는 것이었습니다. 작동 방식은 원격 탐사 정보를 사용하여 대기 구성, 지표면, 수중 구성(전 지구 해양 등)에 대한 데이터 제품을 만드는 것입니다. 위성에서 원격 탐사 데이터를 가져와 현장 지상 실측 자료와 비교합니다. 일반적으로 이를 위한 훈련 데이터를 수집하는 데 최대 10년 정도 걸릴 수 있습니다. 전 세계에서 마주칠 가능성이 있는 다양한 조건과 맥락을 최대한 많이 샘플링하고 싶기 때문에 꽤 큰 작업입니다.

우리의 자율 로봇 팀은 약 15분 만에 위성 기반 원격 탐사 데이터 제품을 만드는 데 일반적으로 사용되는 데이터 볼륨과 동일한 양을 수집했습니다. 단, 한 위치에 대한 것이었지만요. 그래서 이전에 본 적 없는 새로운 환경으로 들어가 정밀하게 조정된 관측을 신속하게 수행할 수 있습니다. 이 경우 팀은 보트와 항공기였습니다. 보트를 선택한 이유는 접근성 문제 때문에 지상 기반 측정보다 조금 더 까다롭기 때문입니다.

이러한 패러다임은 새로운 제품을 신속하게 만드는 데 도움이 될 뿐만 아니라, 위성 관측의 캘리브레이션과 검증에도 유용하며, 사람들을 위험에서 벗어나게 하는 데도 유용합니다. 매우 오염된 환경이거나 인간이 들어가면 위협이 되는 환경이라면 로봇 팀이 가서 조율된 방식으로 적절한 데이터를 수집할 수 있습니다.

우리의 논문 연구에서는 초분광 이미저를 탑재한 항공기를 사용했는데, 이는 엄청난 양의 데이터를 매우 빠르게 수집합니다. 그래서 현재 가장 빠른 데이터 파이프인 5G 셀룰러 통신조차도 초분광 이미지 스트리밍에 필요한 대역폭을 처리하기에 충분하지 않습니다. 우리는 탑재된 머신 러닝을 사용하여 즉석에서 이러한 데이터 제품을 생성한 다음 스트리밍하는 온보드 프로세싱으로 이 문제를 해결합니다. 최종 데이터 제품, 예를 들어 오염 물질의 풍부함은 훨씬 적은 양의 데이터이므로 실시간으로 쉽게 스트리밍할 수 있습니다.

따라서 사람들을 위험에서 벗어나게 하고, 생태계를 특성화하고, 화학 공장 근처 주택가가 허리케인으로 침수된 후와 같은 비상 대응 활동, 유해 조류 번성, 기름 유출, 다양한 농업 응용 등 수많은 응용 분야에 사용할 수 있는 포괄적인 데이터를 신속하게 수집하는 능력이 핵심입니다.

이것은 유연한 구성 요소 세트로 설계되었습니다. 이제 우리가 전화기에 앱 스토어를 갖고 있거나, 테슬라 자동차가 무선 업데이트를 하는 것처럼, 이 소프트웨어 정의 센서는 시간이 지남에 따라 기능을 개선할 수 있는 자체 앱 스토어를 가집니다.

Tech Briefs: 비행 센서와 지상 센서가 있고 정보를 어디로 보냅니까? 어떻게 처리됩니까? 어디서 처리됩니까?

Lary 박사: 이것을 스마트 센서의 앙상블로 생각하세요. 몇 가지가 있습니다. 먼저 소프트웨어 정의 센서가 있습니다. 소프트웨어 정의 센서는 물리적 감지 시스템(카메라, 초분광 카메라, 열화상 카메라, 질량 분석기 등)과 이를 둘러싼 소프트웨어/머신 러닝을 결합한 스마트 센싱 패키지입니다. 어떤 감지 장치든 될 수 있으며, 이를 통해 보정되거나 파생된 데이터 제품을 제공하는 시설을 제공합니다. 대부분의 센서는 어떤 형태의 보정이 필요합니다.

센서를 소프트웨어/머신 러닝 래퍼와 결합함으로써 복잡한 보정을 수행하여 훨씬 더 유연한 시스템을 가질 수 있습니다. 그래서 그 소프트웨어 정의 센서도 자체 앱 스토어를 가질 수 있습니다. 이러한 소프트웨어 정의 센서 하나 이상이 플랫폼에 탑재되어 센서에 전원을 공급하고, 생성하는 모든 데이터에 시간과 위치 스탬프를 찍으며, 통신 연결성, 그리고 관련이 있는 경우 이동성도 제공합니다.

Tech Briefs: 이게 물리적 플랫폼인가요?

Lary 박사: 네, 이 예에서는 두 개의 플랫폼이 있었습니다. 초분광 카메라와 열화상 카메라 및 몇 가지 다른 센서를 탑재한 로봇 항공기. 그리고 두 번째 플랫폼은 로봇 보트로, 아래 물속에 소나와 다양한 구성 센서 등 센서 제품군이 있었고, 위에는 초음파 기상 관측소가 있었습니다.

소프트웨어 정의 센서와 플랫폼이 센티넬(sentinel)을 형성합니다. 이 센티넬은 일반적으로 이동하며, 측정을 하고, 데이터를 처리 및/또는 스트리밍할 수 있는 것입니다.

[그림 3]은 센티넬 개념을 보여줍니다.

함께 작동하는 여러 센티넬은 서로 협력하여 혼자서는 할 수 없는 더 많은 능력을 제공하는 로봇 팀을 형성할 수 있습니다. 이 경우 센서가 탑재된 항공 로봇이 수상 로봇(로봇 보트와 그 센서)과 협력합니다. 같은 네트워크에 있기 때문에 항공 로봇은 설계상 보트와 같은 경로를 따라 활공합니다. 보트는 물속의 것을 측정하고, 항공 로봇은 원격 초분광 카메라로 위에서 물을 내려다보며, 머신 러닝을 사용하여 초분광 카메라가 보는 것에서 물의 구성으로의 매핑을 학습합니다. 한번 그 매핑을 학습하면 훨씬 더 넓은 지역을 빠르게 비행하여 기름 농도, 클로로필 풍부도, 용해성 유기 탄소 등 관심 있는 물 구성 요소의 광역 구성 지도를 제공할 수 있습니다.

우리는 그 환경을 본 적 없어도 그렇게 할 수 있습니다. 로봇 팀이 협력하여 이 훈련 데이터를 수집합니다. 훈련 데이터는 머신 러닝이 광역 구성 지도 같은 새로운 데이터 제품을 만드는 데 사용됩니다. 일단 모델이 훈련되면 초분광 감지는 항공 측정만으로도 가능하며, 항공기 내에서 처리된 후 실시간으로 스트리밍될 수 있습니다. 일반적으로 그 데이터 양이 너무 커서 연산에 상당한 시간이 걸립니다. 너무 커서 실시간 스트리밍이 불가능하므로, 온보드에서 에지 처리한 후 스트리밍할 수 있다는 것은 새로운 능력을 줄 뿐만 아니라 그러한 작업을 수행하는 데 걸리는 지연 시간도 줄여줍니다.

Tech Briefs: 에지 프로세싱으로 전송 데이터 양을 줄이는 센서 이야기와 비슷하네요.

Lary 박사: 정확히 그렇습니다.

Tech Briefs: 방금 하신 일을 프로토타이핑으로 보시나요?

Lary 박사: 네, 어디서든 시작해야 하니 이게 첫걸음입니다.

Tech Briefs: 실제로 어떻게 사용될지 예상하십니까? 재난 발생 시 당국이 귀하 시스템을 사용하려면 무엇을 해야 합니까?

Lary 박사: 이 프로토타입은 훨씬 더 포괄적인 비전의 한 사례일 뿐이며, 다중 로봇 팀이 될 수 있는 것의 최소 구현입니다. 여기서는 항공 로봇과 로봇 보트 두 대만 있었습니다. 물 감지가 접근성 문제가 있으므로 그 두 가지를 선택했습니다. 하지만 이 팀은 쉽게 더 많은 구성원을 가질 수 있습니다. 지상 보행 로봇이나, 전체 로봇 팀을 잠재적으로 위험한 환경으로 운반하여 원격으로 배치할 수 있는 양서류 차량 등이 있을 수 있습니다.

딥워터 호라이즌 같은 기름 유출에 대응할 수 있습니다. 야생 생물 영향, 어업 영향 등의 사진을 보았듯이 기름 유출은 항상 일어나고 있습니다. 화학 물질 유출도 있을 수 있습니다. 예를 들어 허리케인 하비가 휴스턴을 강타했을 때, 수많은 처리 공장이 있었고 일부 인근 동네가 오염된 물로 세 면이 둘러싸였습니다. 물 속 휘발성 유기 화합물이 기체로 빠져나가 심각한 호흡기 문제를 일으켰습니다. 사람들이 무엇을 마시는지 몰랐지만 영향을 받고 있음을 알았습니다. 청소하러 들어간 작업자들도 오염된 물의 영향을 받았습니다.

우리의 센싱 시스템으로는 정확히 무엇과 대처하는지 알 수 있어 적절하게 대응을 맞춤화할 수 있습니다. 하지만 유해 조류 번성 같은 다른 경우에도 똑같이 적용될 수 있습니다. 재난이 없더라도 이 능력은 생태계를 특성화하고 인프라 조사를 하는 데 사용될 수 있습니다. 도로, 철도, 교량 등에서 자율 로봇과 센서가 신속하게 상세한 측정을 수행할 수 있습니다.

다른 시나리오를 상상해 보세요. 이번 예시와 같은 항공 로봇이 있습니다. 초분광, 열화상, 합성 개구 레이더로 표면 질감을 보며, 지하 공극이나 기타 결함을 찾는 지표 투과 레이더를 가진 지상 로봇과 결합될 수 있습니다. 터널이든 도로든, 사용과 풍화로 공동이 형성됩니다. 농업에도 많은 시나리오를 사용할 수 있습니다. 레고 블록처럼 플러그 앤 플레이로 함께 사용할 수 있는 포괄적인 감지로 설계되었습니다. 실시간 데이터 기반 결정이 투명성을 높이고 사람들을 위험에서 벗어나게 하는 다양한 실제 유스 케이스에 신속하게 사용할 수 있습니다.

Tech Briefs: 누군가 이 시스템을 사용하려면 맞춤형 로봇과 드론이 필요합니까, 아니면 기존 장치에 장착할 수 있는 패키지가 있습니까? 이것이 어떻게 실용화될지 어떻게 보십니까?

Lary 박사: 여러 해 동안 것들이 함께 작동하게 만드는 데 애를 먹었습니다. 장비를 구입하는 것은 한 가지이고, 구성 요소들이 함께 작동하게 만드는 것은 또 다른 일입니다. 우리가 산 모든 것은 기성품이었습니다. 왜냐하면 우리의 노력이 소위 '스마트', 즉 소프트웨어 통합에 들어갔기 때문입니다.

그렇긴 하지만, 머신 러닝을 사용하는 소프트웨어 설계 센서의 핵심 단계는 기준에 대해 캘리브레이션하거나 즉석에서 학습하는 것입니다. 우리는 같은 아이디어를 대기질에 사용하여 도시 전역에 저비용 센서를 배포하고 매우 비싼 기준 센서에 대해 캘리브레이션했습니다. 이전에는 비용이 너무 많이 들어 불가능했던 이웃 단위 규모로 센서를 배치할 수 있습니다.

이 로봇 팀에서 원격 감지 능력으로 수행한 초분광 측정을 현장 구성(이 경우 물의 구성)에 대해 캘리브레이션한 것과 거의 같은 방식으로 저비용 센서를 기준에 대해 캘리브레이션함으로써, 그렇지 않으면 매우 어려웠을 것들을 달성할 수 있습니다.

정말 센서 네트워크, 머신 러닝을 사용하여 협력적으로 작동하는 자율 센티넬 네트워크가 그 구성 요소들 중 어느 하나도 혼자서는 할 수 없는 훨씬 더 많은 것을 하게 해줍니다.

Tech Briefs: 이것이 상용화되어 민간 기업이 만들 것으로 보십니까, 아니면 정부가 관여할 것으로 보십니까? 앞으로 어떻게 보십니까?

Lary 박사: 제 앞으로의 꿈은 개인, 지자체, 기업이 이러한 유형의 기능에 즉시 접근할 수 있는 스토어를 갖는 것입니다. 센서뿐만 아니라 백엔드 서비스도 얻을 수 있어서, 이것들을 플러그 앤 플레이로 연결하면 그냥 작동하고 긴 개발 과정을 거칠 필요가 없습니다. 국립과학재단(NSF)은 이를 사이버-물리 시스템으로 분류합니다. 사이버-물리 시스템은 기본적으로 더 나은, 시기적절한 결정을 내리는 데 도움이 되는 알고리즘과 결합된 감지 시스템입니다.

이 모든 것에 대한 제 꿈, 그리고 우리 중 몇몇이 노력하고 있는 것(우리는 모든 종류의 파트너를 환영합니다)은 사이버-물리-사회 관측소를 갖는 것입니다. 거대한 망원경을 가진 천문대처럼 국가 시설이어야 합니다. 왜냐하면 그 규모로 할 수 있는 다른 사람은 없기 때문입니다.

이제 여러 구성 요소를 가진 감지 능력 세트가 있다고 상상해 보세요. 우리 프로젝트에서는 항공 로봇과 로봇 보트입니다. 하지만 우리 시스템에는 실제로 다양한 상황에 대한 9가지 센티넬 유형이 있습니다. 위성과 기상 레이더에서 원격 탐사를 사용할 수 있습니다. 항공기 외에도 24/7 스트리밍하는 거리 수준 센서(대기질, 빛 강도, 이온화 방사선 등)가 있습니다. 보행 로봇, 전기 지상 차량, 로봇 보트, 웨어러블 센서도 있습니다.

위성에서 전 지구적 큰 그림인 다중 규모 감지도 원합니다. 허리케인 하비 예로 돌아가면, 하비가 상륙하기 훨씬 전에 위성으로 볼 수 있었고, 상륙이 가까워지면 기상 레이더로 볼 수 있었습니다. 하지만 상륙하는 그 순간, 미세 환경 세부 사항이 중요해집니다. 특정 하천의 정확한 높이가 지역 환경에 정말 큰 차이를 만들 수 있습니다. 우리는 여러분이 사는 그 초지역적 규모뿐만 아니라 전 지구적 대규모 정보도 동시에 감지하고 싶습니다. 동시에 대규모와 지역적 규모를 감지하려면 정말 여러 센티넬이 필요합니다.

하지만 웨어러블 감지도 정말 중요합니다. 예를 들어 우리가 하는 병렬 작업 중 일부에서, 나쁜 공기질이 당신을 '멍청하게' 만든다는 뉴스 헤드라인을 봅니다. 하지만 얼마나 멍청해지나요? 어떤 오염 물질이 우리를 나머지보다 더 멍청하게 만드나요? 그래서 우리 연구 중 하나에서 포괄적인 생체 인식 감지(초당 16,000개 이상의 매개변수 측정)와 포괄적인 환경 감지(약 2,000개 환경 매개변수)를 함께 사용하여 환경 상태가 우리의 자율 신경 반응에 어떻게 영향을 미치는지 살펴봅니다.

이 모든 것은 사람들을 위험에서 벗어나게 하는 전체적 감지가 되도록 설계되었을 뿐만 아니라, 우리 건강에 영향을 미칠 수 있는 방 안의 보이지 않는 코끼리를 찾는 것도 목표입니다. 일단 그것이 무엇인지 깨닫고 정량화하면, 일반적으로 상황을 개선하기 위한 명백한 데이터 기반 결정의 경로가 있고, 우리의 진전을 모니터링하기 위한 적절한 다음 단계를 밟을 수 있습니다.

그것이 정말 제 꿈입니다. 사회를 위한 감지: 사람들을 위험에서 벗어나게 하는 전체적 감지의 촉매가 되는 것. 우리는 많은 프로토타입을 사용 가능하게 만들기 위해 노력하고 있습니다. 그래서 항상 그 과정을 앞당기기 위한 파트너십을 환영합니다. 정부, 개인, 지역 지자체, 커뮤니티 그룹, 기업 등 모든 유형의 단체와 협력하고 있습니다.

Tech Briefs: 완전히 새로운 종류의 인프라를 발명하는 것 같네요.

Lary 박사: 노력 중입니다. 기본적으로 필요에 의해 주도됩니다. 전체적 정보는 적절한 결정을 내릴 정보를 줌으로써 큰 차이를 만들 수 있습니다. 적절한 인프라 없이는 그렇게 하기 비사소합니다.

Tech Briefs: 멋진데, 언젠가 구현되길 바랍니다.

Lary 박사: 저도요, 저도요. 우리는 먼 길을 왔습니다. 첫걸음을 떼고 있다고 생각합니다.

물리적 영역 밖의 또 다른 측면은, 제가 다루지 못한 것인데, 학교 결석 같은 것이 있습니다. 이는 열악한 학습 결과로 이어집니다. 하지만 결석이 천식 때문인 경우가 많습니다. 천식은 높은 꽃가루나 대기 오염 때문이고, 사실 효과의 연쇄입니다. 사회적 것이 환경적 것과 상호작용합니다. 우리는 이것이 일방향이 아니길 원합니다. 관찰의 트리거가 우리가 센싱에서 직접 보는 것뿐만 아니라, 건강 결과 클레스터나 조류 번성(어업 파괴), 기름 유출 같은 사회적 이슈에서도 오게 하고 싶습니다. 양방향 상호작용입니다.

사망률 추세, 결석, 암 발생률 등 이러한 환경 매개변수 레이어를 사회적 레이어와 결합할 수 있는 데이터 플랫폼을 갖는 것은 개인을 돕기 위한 의사결정 과정을 훨씬 더 투명하고 효과적으로 만들 수 있습니다.

Tech Briefs: 지금 무엇에 집중하고 계십니까? 바로 다음 단계는 무엇입니까?

Lary 박사: 보트와 항공기 로봇 팀의 바로 다음 단계는 그 자율 팀의 다양한 측면을 향상시키는 것입니다. 그리고 팀 구성원을 더 늘리고 싶습니다. 예를 들어 보트와 항공기를 오염된 환경으로 운반하여 배치하면서 스스로도 측정을 수행할 수 있는 양서류 지상 차량을 추가하는 것입니다. 또한 로봇이 복구 작업의 일부가 되도록 만들 것입니다.

서로 다른 구성 요소들이 함께 작동하는 것입니다. 같은 유형의 팀은 인프라 유지보수(도로, 철도, 교량)나 환경 품질(대기질, 수질) 등 다른 측면에도 사용될 수 있습니다. 정말, 이 개념 증명은 "이게 정말 가능하네, 이제 수많은 다른 응용 분야로 확장하고 싶다"는 것을 보여준 프로토타입일 뿐입니다.

또한 이것들은 위성 임무의 프로토타입이 될 수도 있습니다. 항공기에서 개념 증명을 가진 파이프라인을 상상할 수 있습니다. 그러면 CubeSat 같은 다른 플랫폼으로 전환될 수 있습니다. 이는 위성 임무를 위한 데이터 수집은 물론 앞서 언급한 다양한 목적을 위한 데이터 수집의 검증 과정 일부가 될 수도 있습니다.

이 인터뷰의 편집된 버전은 2021년 6월호 Tech Briefs에 실렸습니다.