AV에 더 나은 청력 제공

운전자는 사이렌 소리를 들을 수 있지만 자율 주행 차량은 들리지 않는 이유 똑같다?

심각한 교통사고와 같은 비상 상황에서는 1초가 중요하고 충분히 넓은 구조 차선이 삶과 죽음을 가를 수 있습니다. 운전자가 사이렌을 들을 수 있다면 왜 자율주행차는 그렇게 할 수 없습니까? 이집트 카이로에 기반을 둔 Avelabs는 시각을 보완하고 자율 주행 시스템을 개선하기 위해 차량에 청각을 제공하는 센서 솔루션을 개발했습니다.

Avelabs의 제품 관리 이사인 Amr Abdelsabour는 올해 AutoSens Brussels의 패널 세션에서 “비전은 환경을 평가할 때 가장 중요한 감각입니다. “그러나 인간 운전자로서 우리는 비전에만 의존하지 않습니다. 우리는 운전할 때 청각에도 의존합니다. 우리가 들을 수는 있지만 뒤에서 울리는 사이렌처럼 볼 수 없는 정보가 많이 있습니다. 또는 막힌 교차로로 운전하다가 차가 오는 경우 실제로 볼 수는 없지만 소리는 들을 수 있습니다.”

AutoSens에서 Avelabs는 차량의 복잡한 환경을 이해하는 데 도움이 되도록 소리를 감지, 분류 및 지역화하는 음향 감지 시스템인 AutoHears를 소개했습니다. 하드웨어, 기계적 인클로저 및 감지 기능을 실행하는 소프트웨어를 포함하는 AutoHears는 긴급 차량, 가려진 필드, 자연 재해(예:낙석) 및 안전 이벤트(예:인근 충돌, 총성, 폭발) 감지를 실행하는 것을 목표로 합니다. 차량 자가 진단 및 음성 인식으로.

EE Times Europe과의 후속 토론에서 , Abdelsabour는 차량에 청각을 제공하기 위해 무엇이 필요한지, 소프트웨어와 하드웨어가 서로 어떻게 의존하는지, 데이터 융합 프로세스가 어디서 어떻게 수행되는지, 그리고 언제 AutoHears가 도로에 출시될 것으로 예상할 수 있는지 설명했습니다.

EE Times Europe:AutoHears가 감지할 수 있는 소리와 감지할 수 없는 소리 유형을 설명할 수 있습니까?

암르 압델사부르: 우리는 전 세계적으로 다양한 표준의 경적과 사이렌뿐만 아니라 달리는 차량 소리(예:타이어, 엔진, 브레이크 및 공기 역학적 소리)로 시작했습니다. 이러한 클래스는 지금까지 테스트 및 시연된 것입니다. 현재 자연 재해 및 충돌 감지와 같은 새로운 클래스를 추가하는 작업을 진행 중이지만 아직 기능 개발 단계에 있습니다. 기능 개발을 위한 로드맵이 구축 중입니다.

EE Times Europe:AutoHears는 모든 각도에서 소리를 감지합니다. 신체적 제한이 있습니까?

압델사부르: AutoHears는 모든 각도에서 소리를 감지할 수 있습니다. 뿐만 아니라 벽 뒤 및 기타 장애물에서 오는 소리도 감지할 수 있습니다. 물론 물리적인 한계는 있다. 소리 측정은 소리가 환경에 상대적으로 감지되는 상대적 감지 프로세스입니다. 즉, 환경이 조용한 경우 AutoHears가 자전거 및 발자국 소리와 같은 희미하고 약한 소리를 감지할 수 있습니다. 그러나 환경이 시끄럽다면 AutoHears는 가장 중요한 소리만 감지할 수 있습니다. 예를 들어, 큰 사이렌이 근처에서 활성화되면 큰 소리가 조용한 소리를 덮기 때문에 다른 차량의 모터 소리를 감지할 수 없습니다. 그럼에도 불구하고 우리는 고객에게 신뢰할 수 있는 한계를 전달할 수 있도록 객관적인 수치에서 정확한 물리적 한계를 찾기 위해 노력하고 있습니다.

EE Times Europe:소리의 분류는 어떻습니까?

압델사부르: 소리의 분류는 특히 표준화되지 않은 소리의 경우 복잡한 프로세스입니다. 사이렌과 같은 표준화된 소리에 대해 이야기하면 분류 프로세스가 쉽고 상당히 간단해지며 모델 기반 알고리즘을 사용하여 수행할 수 있습니다. 그러나 달리는 차량 감지는 우리의 귀나 센서가 듣는 최종 소리를 생성하는 다양한 물리적 구성 요소로 구성된 소리의 비표준 조합이기 때문에 더 복잡한 프로세스입니다. 여기에 다양한 인공 지능 방법이 적용되어 수집된 데이터를 통해 기계 학습을 기반으로 소리를 분류하고 학습한 내용에 따라 소리를 감지하고 분류할 수 있습니다. AutoHears에서 감지할 대상 소리에 따라 소리를 분류하기 위해 모델 기반 알고리즘과 기계 학습의 조합을 배포했다고 자랑스럽게 생각합니다.

EE Times Europe:오디오 데이터는 자동차에 내장된 카메라 또는 기타 센서의 이미지 데이터와 어떻게 융합되나요?

압델사부르: 인간 운전자의 경우와 마찬가지로 소리는 시각을 보완합니다. 이것이 우리가 AutoHears를 보는 방식이며 그에 따라 개발했습니다. 주로 음향 센싱 부분에 관심을 가지고 있기 때문에 카메라, 레이더 등 다른 센서와 융합할 수 있는 원시 음향 센싱 정보를 전달하여 각각의 개별 센서의 강점을 활용하고 약점을 극복할 수 있도록 물체를 분류 및 위치화하고 있습니다. . 예를 들어 레이더, 카메라 및 AutoHears를 결합하면 사각지대에 있는 차량을 다음과 같이 감지할 수 있습니다. 카메라가 해당 물체를 분류하고(대상 차량이 있는 방향을 바라보는 카메라가 있는 경우) AutoHears는 이 차량의 자체 분류 및 위치 파악으로 감지를 확인하고 해당 차량이 다음과 같은 소리를 내는 경우 정보를 추가합니다. 경적을 울리거나 사이렌을 울리는 것처럼. 모든 센서를 함께 결합하면 센서 융합이 가능한 가장 좋은 방법으로 주변 환경을 매우 결정적으로 재구성할 수 있습니다.

EE Times Europe:완전한 시스템을 구축하기로 결정한 이유는 무엇입니까? 모든 소프트웨어 및 하드웨어 측면을 다루는 것이 왜 필수적이었습니까?

압델사부르: 감지 시스템으로서의 AutoHears는 이러한 종류의 최초 감지 시스템 중 하나인 음향 감지 시스템입니다. Avelabs는 소프트웨어 회사이기 때문에 처음에는 하드웨어 부품에 초점을 맞추지 않고 소프트웨어 관점에서 기능을 감지하는 데에만 중점을 두기를 원했습니다. 그러나 감지 하드웨어 없이는 감지 기능이 있을 수 없습니다. 감지 하드웨어는 감지 기능을 가능하게 하는 주요 요소입니다. 센서가 감지를 가능하게 하기 위해 차량에 마이크를 넣는 것만큼 간단하지 않기 때문입니다. 오히려 하드웨어는 주변 환경의 정확한 위치 파악이 가능하도록 신중하게 설계되어야 합니다. 물체의 위치를 ​​파악하기 위해 위치 파악 알고리즘은 소리 도달 시간 차이와 같은 물리적 요인에 의존합니다. 이는 하드웨어가 이를 감지할 수 있는 방식으로 설계된 경우에만 감지할 수 있습니다. 마이크 수, 마이크 사이의 거리, 차량에서의 배치와 같은 몇 가지 하드웨어 요소가 관련되어 있습니다. 이러한 모든 하드웨어 요구 사항으로 인해 우리는 우리가 제공하는 음향 감지 기능을 활성화하기 위해 하드웨어를 직접 설계하고 구축해야 했습니다. 간단히 말해서 차량용 외부 음향 감지 하드웨어를 제공하는 회사가 없기 때문에 우리가 직접 개발해야 했습니다.

EE Times Europe:음향 센서 자체에 대해 자세히 설명해 주시겠습니까? 그리고 알고리즘이 실행되는 CPU에서?

압델사부르: 우리는 센서 및 프로세서 시스템과 관련하여 중앙 집중식 아키텍처를 결정했습니다. 이 결정은 현재 모든 자동차 회사가 취하는 추세, 즉 원시 데이터(카메라, 레이더 등)를 감지하는 센서에 의존하는 추세에 따라 움직이기 위한 것입니다. 그런 다음 원시 데이터는 센서 융합이 발생하는 중앙 집중식 도메인 컨트롤러로 전송됩니다. 이것이 바로 우리가 음향 센서를 원시 데이터 센서로 구축하고 모든 음향 정보를 감지하고 감지 알고리즘이 실행되는 중앙 집중식 도메인 컨트롤러로 보내는 이유입니다. 아시다시피 우리는 음향 센서를 직접 설계했지만 Xilinx FPGA 및 TI ADAS TDA SoC와 같은 기성 자동차 도메인 컨트롤러를 알고리즘을 실행하는 CPU로 사용합니다. 그러나 각 고객은 자신의 도메인 컨트롤러를 사용하기 때문에 이러한 프로세서를 참조 하드웨어로만 사용하고 있습니다. 필요한 사용자 지정이 주어지면 모든 유형의 도메인 컨트롤러에 간단히 배포할 수 있기 때문입니다.

EE Times Europe:AutoHears가 "하드웨어 종속적"이라고 말하는 이유는 무엇입니까?

압델사부르: 센서 및 감지 알고리즘으로서의 AutoHears에는 고객이 원하는 기능과 고객이 사용하는 처리 컨트롤러에 따라 일반 구성 요소와 하드웨어 특정 구성 요소가 있습니다. 따라서 예를 들어 고객이 소리 이벤트의 방향만 원할 경우(소리를 방출하는 물체까지의 거리 없이) 하나의 센서만 사용하면 됩니다. 그러나 고객이 물체의 거리도 감지하려면 여러 센서를 사용하여 물체의 거리를 삼각 측량해야 합니다. 예를 들어 이것은 하드웨어 종속 기능입니다.

하드웨어 종속성과 관련된 다른 측면은 감지 기능을 처리하는 데 사용되는 도메인 컨트롤러입니다. 기능의 성능은 해당 기능을 실행하는 프로세서와 기능에 따라 다릅니다. 하드웨어의 성능과 처리 요구 사항 사이에는 균형이 있습니다. 따라서 예를 들어 AutoHears가 1도 해상도로 감지하도록 하려면 더 많은 처리 리소스가 필요합니다. 원하는 성능이 감소하면 처리 요구 사항도 감소합니다. 또한, 각각의 새로운 하드웨어에는 고객의 기본 소프트웨어 환경에 구현되는 AutoHears 센서 드라이버와 같은 마이크로컨트롤러 추상화 계층에 대한 일부 하드웨어별 사용자 정의가 함께 제공됩니다.

EE Times Europe:개발 측면에서 현재 위치는 어디입니까? 언제 공공 도로에서 AutoHears를 테스트할 계획입니까? AutoHears가 언제 생산될 것으로 예상하십니까?

압델사부르: AutoHears는 제품 개발 단계에서 고려할 수 있습니다. 우리는 이미 기술 및 재정적 관점에서 개념을 입증했고 타당성을 입증하기 위해 시연 및 테스트를 수행했으며 현재 개발을 "제품화"하는 작업을 하고 있습니다. 여기에는 공공 도로 검증과 자동차 인증 획득이 포함됩니다. 제품 개발에서 상용화까지 두 단계가 필요합니다. 이는 프로덕션 준비가 되기 전에 수행해야 하는 필수 단계입니다.

EE Times Europe:솔루션을 테스트하는 초기 고객이 있습니까?

압델사부르: 올해 9월 AutoSens에서 제품을 발표하기 시작했지만 이미 솔루션 테스트와 관련하여 고객과 논의하고 있습니다. 우리가 자동차 시장에 신제품을 출시하려고 하는 동안 고객과 파트너가 시장 기대치와 요구 사항에 대해 더 많이 배우고 교육을 위해 더 많은 데이터를 수집하기 위해 데이터 수집 차량 차량에 센서를 통합할 수 있기를 바랍니다. 및 검증 목적.

관련 콘텐츠:

• 성공적인 실시간 음향 처리에는 신중한 계획이 필요합니다.
• 더 나은 오디오를 위한 하드웨어와 소프트웨어의 결합
• 실리콘 달팽이관으로 들을 수 있는 저전력 기기
• 향상된 오디오 기능을 제공하는 적응형 ANC 솔루션

더 많은 Embedded를 보려면 Embedded의 주간 이메일 뉴스레터를 구독하세요.