Q&A:로봇팀 지도 환경 구성

댈러스에 있는 텍사스 대학교의 David Lary 박사는 위험하거나 접근하기 어려운 장소에서 설문조사를 수행하고 데이터를 수집하여 더 많은 빠른 통찰력을 제공하는 데 사용할 수 있는 자율 로봇 장치 팀을 개발한 연구 그룹을 이끌고 있습니다. 인간이 전달할 수 있는 것보다 더 많습니다.

기술 요약: 여러 개의 자율 장치를 사용하여 전체적인 환경 데이터 세트를 수집하게 된 동기는 무엇입니까?

박사. 데이비드 래리: 글쎄요, 그 여정에는 두 부분이 있습니다. 첫 번째는 나를 움직이는 열정입니다. 저는 사람들이 위험에 빠지지 않도록 포괄적이고 총체적인 감지를 하여 시기적절한 결정을 내리기 위한 적절한 실행 가능한 통찰력을 갖기를 간절히 바랍니다. 그것이 제 동기입니다. 하지만 제가 여기까지 오는 실제 여정은 몇 년 전, 거의 30년 전에 시작되었습니다.

내가 케임브리지에서 박사 학위를 했을 때 오존 구멍을 발견한 사람은 바로 조 파먼(Joe Farman)이라는 사람이었습니다. 그래서 저는 박사 학위를 위해 오존층 파괴에 대한 최초의 3차원 전지구 모델을 개발했습니다. 유럽 ​​중기 예보 센터에서 사용한 글로벌 모델의 플러그인인 화학 모듈이었습니다. 내 플러그인을 사용하여 오존 관련 화학에 대한 전역 시뮬레이션을 수행할 수 있습니다. 그래서 제가 묻고 싶었던 분명한 질문은 이 모델이 얼마나 좋은가였습니다. 이를 확인하기 위해 위성, 항공기, 지상 기반 센서, 풍선 등 가능한 한 많은 데이터 소스를 모아야 했습니다. 중 하나

내가 직면한 해로운 것은 기기 간 편견이었습니다. 그래서 저는 이러한 편견을 다루는 데 도움이 될 방법을 찾고 있었습니다. 30년 전의 일이지만 저는 아주 우연히 기계 학습을 접하게 되었습니다. 이것은 오늘날과 같이 널리 채택되기 전이었고 정말 잘 작동한다는 것을 알았습니다. 그것으로 우리가 무엇을 할 수 있는지 알아보기 시작했습니다. 그 과정에서 우리는 화학 데이터 동화를 개발한 최초의 사람들이었고, 현재 전 세계 기관에서 대기 질 예측 시스템의 일부로 이를 사용하고 있습니다.

데이터 동화에서 우리가 하는 일 중 하나는 불확실성에 많은 주의를 기울이는 것입니다. NASA에서 제 업무 중 일부는 글로벌 원격 감지 데이터 제품을 만드는 것이었습니다. 작동 방식은 원격 감지 정보를 사용하여 대기 구성, 지표면 또는 수중 구성(예:전 세계 해양)에 대한 데이터 제품을 만드는 것입니다. 위성에서 원격 감지 데이터를 가져와 현장 실측과 비교합니다. 일반적으로 이를 위해 훈련 데이터를 수집하는 데 최대 10년 정도가 소요될 수 있습니다. 전 세계적으로 접할 수 있는 다양한 조건과 컨텍스트를 샘플링할 수 있기를 원하기 때문에 상당히 어려운 작업입니다.

우리의 자율 로봇 팀은 약 15분 만에 위성 기반 원격 감지 데이터 제품을 만드는 데 일반적으로 사용되는 것과 동일한 양의 데이터를 수집했습니다. 따라서 이전에는 볼 수 없었던 새로운 환경으로 이동하여 신속하게 정밀하게 조정된 관찰을 수행할 수 있습니다. 이 경우 팀은 보트와 항공기였습니다. 접근 문제로 인해 지상 측정보다 약간 더 어렵기 때문에 보트를 선택했습니다.

이러한 유형의 패러다임은 새로운 제품을 신속하게 생성하는 데 도움이 될 뿐만 아니라 위성 관측의 보정 및 검증에 유용하며 사람들이 피해를 입지 않도록 하는 데에도 유용합니다. 매우 오염된 환경이나 그 안에 인간을 위협하는 환경이 있는 경우 로봇 팀이 그곳에 가서 조정된 방식으로 적절한 데이터를 수집할 수 있습니다.

우리 논문의 연구는 엄청난 양의 데이터를 매우 빠르게 수집하는 초분광 이미저가 장착된 항공기를 사용했습니다. 따라서 현재 가장 빠른 데이터 파이프, 아마도 5G 셀룰러 통신조차도 초분광 이미지 스트리밍에 필요한 대역폭을 처리할 만큼 충분히 빠르지 않습니다. 우리는 온보드 기계 학습을 사용하여 이러한 데이터 제품을 즉석에서 생성한 다음 스트리밍할 수 있는 온보드 처리로 이 문제를 해결합니다. 오염 물질이 풍부하다는 최종 데이터 제품은 실시간으로 쉽게 스트리밍할 수 있는 훨씬 적은 양의 데이터입니다.

따라서 사람들이 피해를 입지 않도록 하고, 생태계를 특성화하고, 비상 대응 활동의 일부가 되는 데 사용할 수 있는 포괄적인 데이터를 신속하게 수집하는 능력입니다. , 또는 이러한 응용 프로그램의 수:유해한 조류 번성, 기름 유출 또는 다양한 농업 응용 프로그램.

유연한 구성 요소 집합으로 설계되었습니다. 지금처럼 우리는 휴대폰에 앱 스토어를 두거나 무선 업데이트를 제공하는 Tesla 자동차에 익숙해졌습니다. 이러한 센서는 시간이 지남에 따라 기능을 개선하기 위해 업데이트할 수 있는 자체 앱 스토어가 있는 소프트웨어 정의 센서입니다.

기술 요약: 비행 센서와 지상 센서가 있고 정보를 어디로 다시 보낼까요? 그 모든 것이 어떻게 처리됩니까? 어디에서 처리되나요?

박사. 래리: 이것을 스마트 센서의 앙상블이라고 생각하십시오. 여러 가지가 있습니다. 먼저 소프트웨어 정의 센서가 있습니다. 소프트웨어 정의 센서는 물리적 감지 시스템(예:카메라, 초분광 카메라, 열화상 카메라 또는 질량 분석기)을 결합한 스마트 감지 패키지입니다. 일부 소프트웨어/기계 학습이 포함된 감지 장치가 될 수 있으며, 그런 다음 일부 보정 및/또는 파생 데이터 제품을 제공할 수 있는 기능을 제공합니다. 대부분의 센서는 일종의 보정이 필요합니다.

센서를 소프트웨어/머신 러닝 래퍼와 결합하면 훨씬 더 유연한 시스템을 가질 수 있는 복잡한 보정을 수행할 수 있습니다. 따라서 소프트웨어 정의 센서는 자체 앱 스토어를 가질 수도 있습니다. 이러한 소프트웨어 정의 센서 중 하나 이상이 생성하는 모든 데이터에 대한 전력, 시간 및 위치 스탬프를 센서에 제공하는 플랫폼에 있을 수 있습니다.

기술 요약: 여기가 물리적 플랫폼인가요?

박사. 래리: 예 — 이 예에서는 두 개의 플랫폼이 있었습니다. 우리는 초분광 카메라와 열화상 카메라, 그리고 몇 가지 다른 센서가 탑재된 로봇 항공기를 가지고 있었습니다. 그리고 두 번째 플랫폼은 수중 음파 탐지기 및 다양한 구성 센서를 포함하여 물 속에 전체 센서 제품군이 있는 로봇 보트였으며 그 위에는 초음파 기상 관측소가 있었습니다.

소프트웨어 정의 센서와 플랫폼이 센티넬을 형성합니다. 이 센티넬은 일반적으로 이동, 측정, 데이터 처리 및/또는 스트리밍할 수 있는 것입니다.

여러 센티넬이 함께 작업하면 로봇 팀을 구성하여 서로 협력하여 스스로 할 수 있는 것보다 더 많은 기능을 제공할 수 있습니다. 이 경우 센서가 있는 항공 로봇은 로봇 보트와 센서인 수상 로봇과 협력합니다. 같은 네트워크에 있기 때문에 공중 로봇은 설계상 보트와 같은 경로를 활공합니다. 보트는 물 속에 있는 것을 측정하고 공중 로봇은 원격 초분광 카메라로 위에서 물을 내려다보고 기계 학습을 사용하여 초분광 카메라가 보는 것에서 물의 구성에 대한 매핑을 학습합니다. 매핑이 학습되면 이제 훨씬 더 넓은 지역으로 빠르게 날아갈 수 있으며 예를 들어 기름 농도, 엽록소 풍부, 용존 유기 탄소 또는 물의 모든 구성 요소에 대한 광역 구성 맵을 제공할 수 있습니다. 관심을 가져주세요.

우리는 전에 그 환경을 본 적이 없었지만 그렇게 할 수 있습니다. 로봇 팀은 이 훈련 데이터를 수집하기 위해 협력합니다. 훈련 데이터는 기계 학습에서 광역 구성 맵과 같은 새로운 데이터 제품을 생성하는 데 사용됩니다. 해당 모델이 훈련되면 항공 측정에서 초분광 감지를 수행할 수 있으며 항공기에서 처리한 다음 결과를 실시간으로 스트리밍할 수 있습니다. 일반적으로 이는 데이터의 양이 너무 많아서 숫자 크런칭을 수행하는 데 상당한 시간이 걸릴 수 있습니다. 크기가 너무 커서 실시간으로 스트리밍할 수 없기 때문에 보드에서 에지 처리한 다음 스트리밍할 수 있으므로 새로운 기능을 제공할 뿐만 아니라 대기 시간을 줄입니다. 그런 일을 하십시오.

기술 요약: 전송해야 하는 데이터의 양을 줄이기 위해 에지 처리용 센서에 대해 이야기하는 것과 같습니다.

박사. 래리: 맞습니다.

기술 요약: 방금 수행한 작업을 프로토타입으로 간주하시겠습니까?

박사. 래리: 예, 어딘가에서 시작해야 하므로 이것이 우리의 첫 번째 단계입니다.

기술 요약: 실제로 어떻게 사용될 것이라고 예상하십니까? 재난이 있고 당국이 귀하의 시스템을 사용하기를 원한다고 가정하면 어떻게 하시겠습니까?

박사. 래리: 이 프로토타입은 훨씬 더 포괄적인 비전의 한 예일 뿐이며 다중 로봇 팀이 될 수 있는 것을 최소한으로 구현한 것입니다. 여기에는 공중 로봇과 로봇 보트의 두 로봇만 있었습니다. 물을 감지할 수 있는 것은 접근에 어려움이 있기 때문에 우리는 이 두 가지를 선택했습니다. 그러나 이 팀은 지상 보행 로봇이나 전체 로봇 팀을 잠재적으로 위험한 환경으로 운반하여 원격으로 배치할 수 있는 수륙 양용 차량과 같이 더 많은 구성원을 쉽게 추가할 수 있습니다.

우리가 야생 동물에 미치는 영향, 어업이 영향을 받는 등의 사진을 본 Deepwater Horizon과 같은 기름 유출에 대응할 수 있으며 기름 유출은 항상 일어나고 있습니다. 또는 화학 물질이 유출될 수 있습니다. 예를 들어, 허리케인 Harvey가 처리 공장이 많은 휴스턴을 강타했을 때 해당 시설이 심하게 침수되었고 일부 인근 지역은 삼면이 오염된 물로 둘러싸여 있었습니다. 물에 있는 휘발성 유기 화합물은 결국 가스를 방출하여 심각한 호흡기 문제를 일으켰습니다. 사람들은 자신이 무엇을 호흡하고 있는지 몰랐지만 그것이 자신에게 영향을 미치고 있다는 것을 알고 있었습니다. 청소를 하러 가는 작업자들도 오염된 물의 영향을 받고 있었습니다.

당사의 감지 시스템을 사용하면 자신이 무엇을 다루고 있는지 정확히 알 수 있으므로 적절하게 대응할 수 있습니다. 그러나 해로운 조류 번성 같은 다른 경우에도 마찬가지로 적용할 수 있습니다. 또는 재해가 없더라도 이러한 유형의 기능을 사용하여 생태계를 특성화하고 인프라를 조사할 수 있습니다. 감지 기능이 있는 자율 로봇이 신속하게 상세한 측정을 수행할 수 있는 도로, 철도 및 교량을 예로 들 수 있습니다.

이제 다른 시나리오를 상상해 보십시오. 이 예에서와 같은 공중 로봇이 있다고 가정해 보겠습니다. 표면의 질감을 관찰하는 초분광, 열 및 합성 조리개 레이더를 사용하면 보이드 또는 기타 결함을 찾는 지상 관통 레이더가 있는 지상 로봇과 결합될 수 있습니다. 터널이든 도로이든, 공동은 사용과 풍화작용으로 형성됩니다. 또한 농업에 대한 다양한 시나리오가 있습니다. 플러그 앤 플레이와 같이 함께 사용할 수 있는 레고 ​​블록처럼 포괄적인 감지 기능을 제공하도록 설계되었습니다. 실시간 데이터 기반 의사 결정으로 더 많은 투명성을 확보하고 사람들이 피해를 입지 않도록 하는 다양한 실제 사용 사례에 신속하게 사용할 수 있습니다.

기술 요약: 누군가 이 시스템을 사용하려면 맞춤형 로봇과 드론이 있어야 합니까, 아니면 기존 장치에 장착할 수 있는 패키지가 있어야 합니까? 이것이 어떻게 현실화될 것이라고 생각하시나요?

박사. 래리: 나는 여러 해 동안 일을 함께 하는 데 어려움을 겪어야 했습니다. 장비를 구입하는 것과 구성 요소가 함께 작동하는 것은 별개입니다. 소프트웨어 통합과 같은 더 나은 단어가 필요하지 않기 때문에 우리의 노력이 투입되었기 때문에 우리가 구입한 모든 것이 진열대에서 벗어났습니다.

우리가 기계 학습을 사용하는 이러한 소프트웨어 설계 센서의 핵심 단계는 참조에 대해 보정하거나 즉석에서 학습하는 것입니다. 우리는 공기 질에 대해 동일한 유형의 아이디어를 사용하고 있으며 정말 비싼 기준 센서에 대해 보정된 저렴한 센서를 도시 전역에 배포하고 있습니다. 이전에는 비용이 많이 들던 이웃 규모로 센서를 배포할 수 있습니다.

이 로봇 팀과 거의 동일한 방식으로 기준에 대해 저비용 센서를 보정할 수 있으므로 원격 감지 기능으로 수행된 초분광 측정을 현장 구성(이 경우 물의 경우)에 대해 보정했습니다. 그렇지 않으면 매우 어려운 일을 성취할 수 있습니다.

실제로 센서 네트워크, 머신 러닝을 사용하여 협력하여 함께 작동하는 자율 센티넬 네트워크를 통해 이러한 구성 요소가 자체적으로 수행할 수 있는 것보다 훨씬 더 많은 작업을 수행할 수 있습니다.

기술 요약: 이것이 상업화되거나 민간 기업이 건설할 것으로 예상하십니까? 아니면 정부가 이에 관여할 것으로 보십니까? 앞으로 어떻게 될 것으로 보십니까?

박사. 래리: 앞으로의 제 꿈은 개인, 지방 자치 단체 또는 회사가 이러한 유형의 기능에 즉시 액세스할 수 있고 센서뿐만 아니라 백엔드 서비스도 받을 수 있는 매장을 갖는 것입니다. 따라서 이 항목을 함께 연결하고 플레이하면 제대로 작동하고 긴 개발 과정을 거칠 필요가 없습니다. 국립과학재단은 이를 사이버-물리 시스템으로 분류합니다. 사이버 물리 시스템은 기본적으로 더 나은 시기 적절한 결정을 내리는 데 도움이 되는 알고리즘과 결합된 감지 시스템입니다.

그래서, 이 모든 것에 대한 제 꿈과 우리 중 몇몇이 노력하고 있는 것 – 그리고 우리는 모든 종류의 파트너를 환영합니다 – 사이버-물리적 사회적 관측소를 갖는 것입니다. 거대한 망원경이 있는 천문대와 같은 국가 시설이어야 합니다. 다른 누구도 그 규모로 무언가를 할 여유가 없기 때문입니다.

이제 우리 프로젝트에서 항공 로봇과 로봇 보트인 여러 구성 요소가 있는 감지 기능 세트가 있다고 상상해 보십시오. 그러나 우리 시스템에는 실제로 다양한 유형의 상황에 대한 9개의 센티넬 유형이 있습니다. 우리는 위성과 기상 레이더의 원격 감지를 사용할 수 있습니다. 항공 차량 외에도 거리 수준 센서, 스트리밍 24/7 공기 품질, 조도, 이온화 ​​방사선 등을 보유하고 있습니다. 걷는 로봇, 전기 지상 차량, 로봇 보트가 있지만 웨어러블 센서도 있습니다.

우리는 또한 위성에서 지구 전체의 큰 그림에서 다중 스케일 감지를 할 수 있기를 원합니다. 이제 허리케인 Harvey의 사례로 돌아가 보자. 허리케인 Harvey가 상륙하기 오래 전에 우리는 위성으로 그것을 볼 수 있었고 육지에 가까워지면 기상 레이더로 볼 수 있었습니다. 그러나 상륙하는 순간 미시 환경의 세부 사항이 중요해집니다. 특정 하천의 정확한 높이는 지역 환경에 정말 큰 차이를 만들 수 있습니다. 그래서 우리는 당신과 내가 매우 지역화된 규모에서 살고 있기 때문에 글로벌 대규모 및 하이퍼 로컬 규모에 대한 정보를 갖고 싶습니다. 대규모와 로컬 규모를 동시에 감지하려면 여러 센티넬이 필요합니다.

하지만 웨어러블 센싱도 정말 중요합니다. 예를 들어, 우리가 하고 있는 일부 병행 작업에서 나쁜 공기 질이 당신을 "멍청하게 만든다"는 뉴스 헤드라인을 봅니다. 그러나 얼마나 어리석은가 어리석은가? 어떤 오염 물질이 우리를 다른 사람들보다 멍청하게 만들 수 있습니까? 따라서 우리 연구 중 하나에서는 환경 상태가 자율 반응에 어떤 영향을 미치는지 알아보기 위해 포괄적인 생체 인식 감지를 사용하고 초당 16,000개 이상의 매개변수를 측정하고 약 2,000개의 환경 매개변수에 대한 포괄적인 환경 감지를 사용하고 있습니다.

이 모든 것은 사람들을 위험으로부터 보호하는 전체적인 감지 기능을 제공할 뿐만 아니라 우리의 건강에 영향을 줄 수 있는 보이지 않는 코끼리를 찾기 위해 설계되었습니다. 그것이 무엇인지 깨닫고 수량화할 수 있게 되면 일반적으로 상황을 개선하고 진행 상황을 모니터링하기 위해 적절한 다음 단계를 취하기 위한 데이터 기반 의사 결정의 분명한 경로가 있습니다.

그것이 바로 제 꿈입니다. 사람들을 위험으로부터 보호하기 위한 이 전체적인 감지의 촉매제, 즉 사회에 봉사하는 감지입니다. 사용할 수 있는 수준까지 가져오려고 하는 프로토타입이 많이 있습니다. 따라서 우리는 정부, 개인, 지방 자치 단체, 커뮤니티 그룹, 회사의 협력을 항상 환영합니다. 우리는 이러한 모든 유형의 법인과 협력하고 있습니다.

기술 요약: 완전히 새로운 종류의 인프라를 발명하고 있는 것 같습니다.

박사. 래리: 우리는 기본적으로 필요에 따라 노력하고 있습니다. 전체적인 정보는 적절한 결정을 내리기 위한 정보를 제공함으로써 큰 ​​차이를 만들 수 있습니다. 적절한 인프라 없이는 그렇게 하는 것이 쉽지 않을 것입니다.

기술 요약: 정말 멋지네요. 언젠가 구현될 수 있기를 바랄 뿐입니다.

박사. 래리: 나도 나도. 우리는 먼 길을 왔습니다. 첫 걸음을 내딛고 있다고 생각합니다.

다른 부분은 제가 다루지 못한 신체적인 것 밖에 있다는 것입니다. 결석과 같은 일을 겪을 수 있으며, 이는 나쁜 학습 결과로 이어질 수 있다는 것입니다. 그러나 결석이 천식과 같은 이유로 인해 발생할 수 있음이 종종 밝혀집니다. 천식은 높은 꽃가루나 대기 오염으로 인해 발생하며 실제로는 효과의 연속입니다. 사회적인 것은 환경과 상호 작용합니다. 우리는 이것이 단지 일방통행이 되는 것을 원하지 않습니다. 우리는 관찰의 촉발제가 감지에서 직접 보는 것뿐만 아니라 건강 결과의 클러스터 또는 어업을 앗아갈 수 있는 조류 번성 또는 기름 유출과 같은 사회적 문제 모두에서 발생하기를 원합니다. 이는 양방향 상호 작용입니다.

사망률 추세, 결근, 암 발병률 등과 같은 사회적 계층과 이러한 모든 환경 매개변수 계층을 결합할 수 있는 데이터 플랫폼이 있으면 개인을 돕기 위한 의사 결정 프로세스를 훨씬 더 투명하고 효과적으로 만드는 데 도움이 될 수 있습니다.

기술 요약: 지금 어떤 작업을 하고 있나요? 다음 단계는 무엇입니까?

박사. 래리: 보트와 항공 차량이 있는 이 특정 로봇 팀의 바로 다음 단계는 자율 팀의 다양한 측면을 향상시키는 것입니다. 그런 다음 더 많은 팀원을 확보할 수 있도록 확장하고자 합니다. 예를 들어, 보트와 공중 차량을 오염된 환경으로 운반할 수 있는 수륙 양용 지상 차량을 보유하고 자체적으로 측정을 수행하면서 배치할 수 있습니다. 또한 로봇이 개선의 일부가 되도록 합니다.

서로 다른 구성 요소가 함께 작동하는 것입니다. 동일한 유형의 팀은 도로, 철도 또는 교량과 같은 기반 시설의 유지 관리와 환경 품질의 다른 측면(대기 품질, 수질)을 살펴보는 데에도 사용할 수 있습니다. 따라서 이 개념 증명은 "이것이 정말 가능하고 이제 우리는 다양한 응용 프로그램에서 확장하고 싶습니다."라는 것을 보여주기 위한 프로토타입에 불과했습니다.

또한 이들은 위성 임무의 프로토타입이 될 수 있습니다. 항공기에 대한 개념 증명이 있는 파이프라인을 상상할 수 있습니다. 그런 다음 예를 들어 CubeSat과 같은 다른 플랫폼으로 전환할 수 있습니다. 이것은 또한 내가 언급한 다양한 목적을 위한 데이터 수집뿐만 아니라 위성 임무를 위한 데이터 수집과 같은 검증 프로세스의 일부일 수도 있습니다.

이 인터뷰의 편집된 버전은 Tech Briefs의 2021년 6월호에 실렸습니다.