센싱 시스템이 ADAS 기능을 어떻게 구현하는가

자동 운전 시스템용 센서에 대한 최신 정보를 알아보기 위해 알베르토 마리노니(Alberto Marinoni), TDK/InvenSense(산호세, CA) 제품 마케팅 이사를 인터뷰했습니다.

일반적으로 사용되는 용어인 첨단 운전자 지원 시스템(ADAS)은 본질적으로 SAE 레벨 2(L2), 부분 주행 자동화를 의미합니다. 그 레벨에서 운전자는 차 안에 있어야 하고 경계를 유지해야 합니다. 예를 들어 책을 읽을 수 없습니다. 그건 레벨 3 이상이 필요합니다. (최고 레벨 5는 우리 인간 중 누구도 차량에 탑승할 필요가 없는 완전 자동화 차량입니다.)

레벨 2에서 자동차는 애플리케이션에 따라 종방향(가속/감속) 또는 횡방향(조향)으로 자동 제어될 수 있습니다. 그러나 운전자는 반드시 탑승해 도로에 눈을 두고 필요시 제어권을 인수할 준비가 된 채로 경계해야 합니다. 반면 레벨 1은 자동 제동/가속 또는 횡방향 조향 중 하나만 할 수 있으며 둘 다는 할 수 없습니다.

L2에는 카메라, 레이더, 관성 측정 장치(IMU) 등 여러 센서가 있습니다. 전지구 위성 항법 시스템(GNSS)도 포함됩니다.

특정 L2 응용에는 라이다도 사용할 수 있지만 주로 레벨 3용입니다. 다른 기술에 비해 높은 비용 때문에 L2에 항상 포함되는 것은 아닙니다. 마리노니는 레이더가 장거리 검출기이며, 장애물을 먼 거리에서 감지해 자동차 앞에 무언가 있음을 알리는 데 사용된다고 설명했습니다. 라이다는 자동차 근처의 물체를 자세히 인식함으로써 자동화 조합에 추가됩니다. 또한 주변을 스캔해 즉각적 환경에 대한 정보를 얻을 수 있습니다. 이 정보는 관성 항법 시스템(INS)을 구성하는 IMU와 GNSS를 사용하여 지구에 대해 지오레퍼런싱되어 자동차의 절대 위치를 정확히 파악할 수 있습니다. INS의 절대 위치 정보와 라이다 기반 상대적 주변 환경 이미지를 결합하여 3D 맵을 구축해 물체를 정확히 위치시킬 수 있습니다.

관성 측정 장치(IMU)

TDK/InvenSense IMU는 같은 하우징에 두 개의 MEMS 구성 요소를 가집니다: 3축 가속도계와 3축 자이로스코프. 가속도계는 정적(예: 중력)과 동적 가속도를 세 축 모두에서 감지하며 IMU의 기울기 각도 결정에 사용될 수 있습니다. 자이로스코프는 중력 외에 각속도가 있는 동적 조건에서 주로 사용됩니다. 이 두 센서의 출력은 수학적으로 결합되어 시스템의 방향을 결정합니다.

오늘날 일반적인 추세는 각 센서 옆에 IMU를 배치해 검출 정확도를 높이는 것입니다.

가속/감속

마리노니에 따르면 가장 중요한 감속 기능은 비상 제동과 충돌 회피입니다. 이 응용을 위해 레이더 같은 센서가 차량 앞을 스캔하여 물체나 사람을 찾습니다. 스캔 데이터는 중앙 처리 장치로 전송되어 차량이 정지해야 하는지 결정합니다. 그렇다면 운전자가 브레이크 페달을 밟아 충돌 전 차를 세우는 것과 같은 방식으로 작동하는 액추에이터에 신호를 출력합니다.

IMU는 여기서 중요한 역할을 합니다. 레이더 센서는 일반적으로 차량 범퍼에 장착되며 도로와 평행할 때 완벽하게 작동합니다. 하지만 어떤 이유로 범퍼가 변형되면 레이더 정보는 신뢰할 수 없게 됩니다. 레이더 센서 옆에 장착된 IMU는 동적으로 기울기를 모니터링하여 보정 정보를 제공할 수 있습니다. 같은 개념이 카메라 모듈에도 적용됩니다.

조향

오늘날 차량에는 ADAS용으로 10개 이상의 여러 카메라가 있습니다. 하지만 주행 시 진동이 많아 카메라 모듈이 포착한 이미지가 흐릿할 수 있습니다. 각 카메라 근처에 IMU를 두면 카메라가 사진을 찍는 정확한 순간에 가해진 진동을 쉽게 측정할 수 있습니다. 이 정보로 이미지를 안정화하고 노이즈를 제거해 선명한 시야를 확보할 수 있습니다.

대표적인 카메라 기반 응용은 능동 차선 유지 지원입니다. 이를 위해 보통 룸미러 근처에 카메라가 있어 차선을 감지하고 이미지 처리를 수행합니다. 이미지 품질이 중요합니다. 차선을 인식하고 차가 차선을 넘는지 알아야 하기 때문입니다. 카메라 옆에 IMU를 장착해 안정화하면 더 선명한 이미지를 만들어 중앙 프로세서의 연산 부담을 줄입니다. 일부 차선 유지 응용에서는 운전자에게 경고해 조향을 제어해 차선을 유지하게 합니다. 다른 응용에서는 이 정보를 자동차가 직접 조향을 제어해 자동으로 차선에 머무르는 데 사용합니다.

센서 퓨전

그다음 마리노니에게 ADAS에서 센서 퓨전의 역할에 대해 물었습니다. 그는 여러 센서에서 오는 정보를 결합하여 각 개별 센서의 합보다 더 나은 출력을 제공할 수 있는 알고리즘이라고 설명했습니다.

한 예는 INS입니다. GNSS가 위성에서 정보를 받아 차량의 절대 위치를 결정합니다. 하지만 터널, 도심 협곡, 다층 주차장 등 GNSS 정보가 신뢰할 수 없는 조건이 있습니다. 따라서 GNSS 근처에 IMU를 두어 GNSS를 사용할 수 없을 때 시스템 위치를 계산해야 합니다. GNSS 모듈에서 실행되는 센서 퓨전 알고리즘은 IMU와 GNSS 정보를 결합해 모든 조건에서 신뢰할 수 있는 위치를 생성합니다. 이는 IMU와 GNSS가 각자의 강점과 약점으로 서로 보완하기 때문에 시스템을 최적화합니다. 퓨전 알고리즘은 GNSS가 신뢰할 수 없을 때 IMU 정보를 유지하고, 차량이 개활지에 있을 때 GNSS 시스템 정보를 사용합니다. 좋은 GNSS 신호가 있을 때 퓨전 알고리즘은 GNSS 데이터로 GNSS를 사용할 수 없는 때를 위해 IMU를 보정할 수도 있습니다.

데드 레코닝(Dead Reckoning)

GNSS 신호가 없을 때 IMU는 마지막으로 받은 절대 위치에서 시작해 데드 레코닝으로 항법합니다. 그때부터 자이로스코프 정보를 시간 적분해 위치를 업데이트합니다. 좋은 자이로스코프 정보와 좋은 타이밍이 있으면 좋은 결과가 나옵니다. 하지만 자이로스코프 출력이 좋아도 타이밍이 좋지 않으면 결과가 나쁩니다. 둘 다 나쁘면 완전히 나쁜 결과입니다. 적분하기 때문에 오류가 누적되고 일정 시간 후 데드 레코닝 결과는 더 이상 수용할 수 없게 될 수 있습니다.

터널이나 도시를 운전할 때 GNSS 신호가 충분히 오랫동안 나쁘면 IMU 기반 데드 레코닝은 신뢰할 수 없습니다. 그런 조건에서는 자동차 제조사 몫입니다. 운전자 경고를 개시할 수 있고, 운전자가 경고에 반응하지 않으면 두 번째 경고를 생성할 수 있습니다. 그것도 무시되면 ADAS가 제어권을 가져와 속도를 줄일 수 있습니다(하지만 차를 세우지는 않음, 그건 위험함). 추가 조치로는 온스타(OnStar) 같은 곳으로 전화를 걸어 운전자가 안전한지 확인하는 것일 수 있습니다. 상황을 관리하는 방법은 여러 가지가 있습니다.

ADAS 시스템 신뢰성

ADAS 시스템 자체의 신뢰성은 분명히 중요합니다. 데이터 무결성은 모든 조건에서 보장되어야 합니다. 마리노니에 따르면 ADAS용 TDK/InvenSense 6축 IMU에는 자동차 안전 무결성(ASIL) 레벨 B까지 요구사항을 충족하는 시스템을 위해 개발된 내장 진단 기능이 포함되어 있습니다. 중앙 장치와의 통신이 신뢰할 수 없으면 운전자에게 경보를 생성할 수 있습니다. 내장 안전 칩은 시스템의 모든 블록 기능을 지속적으로 확인하는 메커니즘을 포함합니다. 구성 요소가 가속도계, 자이로스코프, 디지털 로직, 통신 버스에서 오작동을 감지하면 시스템에 경보를 보내 정보가 더 이상 신뢰할 수 없음을 알립니다. 자기 진단은 속도, 제동, 조향을 제어하는 경우 특히 자동차 안전 응용에서 필수입니다. 이러한 문제는 ASIL 사양에서 다뤄집니다. 하지만 레벨 2 응용이 아니더라도 전자식 안정성 제어 같은 시스템도 100% 신뢰할 수 있어야 합니다.

현재 위치와 미래 전망

마리노니에게 이 기술이 지금 어디에 있고 미래에 무엇을 기대할 수 있는지 물었습니다. "지금 이 순간 레벨 2는 현실입니다. 이미 거리에 있습니다."라고 그는 말했습니다. "하지만 지금부터 2030년까지 IMU 볼륨이 1천만 대 미만 차량에서 4천만 대 이상으로 증가할 것으로 예상되며 지금 램프업 중입니다." 다음 단계인 레벨 3에서는 라이다 같은 신기술 도입이 주요 변화일 것입니다. "우리 IMU 관점에서 보면 6축 통합 덕분에 이미 L3 응용에 대비되어 있습니다."라고 그는 말했습니다.

그는 이 분야의 다음 혁신 포인트는 전력 소비 감소일 수 있다고 계속했습니다. 일부 ADAS 응용은 엔진이 꺼져도 켜져 있어야 합니다. 그래서 애플리케이션의 각 구성 요소 전력 소비가 중요합니다. 과거에는 엔진이 켜져 있을 때만 응용이 실행되었으므로 문제가 아니었습니다. 하지만 이제 제조사들이 사양에 전력 소비를 포함하도록 변경하고 있습니다.

마지막으로, 데드 레코닝 적분이 시간이 지남에 따라 누적 오차의 영향을 받으므로, 특히 자율주행차에서 구성 요소 노이즈를 더욱 줄여 센서 성능을 개선하고, 총 오차를 제어하면서 더 긴 데드 레코닝 적분을 구현하는 것이 또 다른 중요한 포인트입니다.

마리노니에게 레벨 3가 언제 거리에 나올지 물었습니다. 그의 추측은 2025년까지 L3 시장에서 큰 움직임을 보지 못할 것이라는 것입니다.

"또 다른 중요한 주제는 이론에 기반한 건 아니고 경험칙인데, L2 시스템에는 두 개의 병렬 기술이면 충분합니다. L3 시스템에서는 정확성, 안정성, 성능을 보장하기 위해 최소 세 가지 기술을 결합해야 하며, L4에서는 아마 네 가지가 필요할 것입니다. 이는 성능과 안전을 보장하는 복잡성을 느끼게 해줍니다."라고 그는 말했습니다. 이는 필요한 알고리즘과 컴퓨터 리소스에 더 큰 요구를 할 것입니다. 거기서 5G가 클라우드로 많은 계산을 이동시키기 위해 등장할 가능성이 높습니다. 물론 그건 해킹 가능성의 문을 열기도 합니다.

본 기사는 Ed Brown(Sensor Technology 편집자)이 작성했습니다. 자세한 정보는 여기를 방문하세요.