엣지 인텔리전스 추가:NXP와의 인터뷰

오늘날 임베디드 세계 2021의 많은 강연에서 분명히 다루어진 핵심 주제는 엣지 인텔리전스를 활성화하기 위해 엣지 컴퓨팅을 광범위하게 채택하는 것입니다. 일부 예측에서는 2025년까지 모든 에지 장치의 90%가 일종의 기계 학습 또는 인공 지능을 사용할 것으로 예상합니다.

이 엣지 인텔리전스를 활성화하는 것과 관련된 문제는 무엇이며 어떻게 구현합니까? 이것은 NXP Semiconductors의 에지 프로세싱 비즈니스 총괄 책임자이자 수석 부사장인 Ron Martino와의 최근 팟캐스트 대화 주제입니다. 여기에서 전체 팟캐스트를 들을 수 있지만 이 기사에서는 토론에서 일부 발췌한 내용을 소개합니다.

에지 컴퓨팅 정의

기본적으로 에지 컴퓨팅은 사용자와 더 가까운 곳에서 효율적으로 처리할 수 있는 기능입니다. 데이터에 대한 더 빠른 통찰력을 얻을 수 있습니다. NXP가 해결하는 방식의 맥락에서 에지 컴퓨팅을 정의할 수 있습니까?

마티노 :엣지 컴퓨팅은 단순히 분산된 로컬 컴퓨팅 및 감각 기능입니다. 센서 데이터를 효과적으로 해석, 분석 및 작동하여 일련의 의미 있는 기능을 수행합니다. 클라우드를 대체하거나 대체하려고 하는 것이 아니라 무료가 됩니다. 예를 들어 음성 지원의 경우 일반적으로 경험을 향상시키기 위해 더 높은 컴퓨팅 용량이 사용되는 클라우드로 많은 데이터가 전송됩니다. 에지 컴퓨팅은 더 똑똑해지고 더 지능적이 되기 위해 진화하고 있습니다. 스마트 에지 컴퓨팅은 로컬 컴퓨팅과 중앙 또는 클라우드 컴퓨팅의 균형을 유지합니다. 이것이 더 발전함에 따라 최종 장치가 해석, 분석을 수행한 다음 로컬에서 결정을 내릴 수 있는 더 많은 기능을 갖기를 원하는 더 많은 인텔리전스가 있습니다.

에지 컴퓨팅을 사용하여 생산성과 안전성을 높이는 방법에 대한 몇 가지 예를 들어 주시겠습니까?

마티노 :생산성의 경우 좋은 예는 인력 강화입니다. 비전 및 머신 러닝이 지원되는 에지 처리 또는 웨어러블 장치를 활용하여 작업자가 가정에서든 공장에서든 문제를 진단하고 보다 신속하게 수리할 수 있습니다. .

지능형 에지 장치는 경보, 넘어진 사람, 유리 깨짐 등 다양한 위험 신호를 인식하고 추가 센서 정보 및 계산을 사용하여 문제를 판별하여 안전성을 높입니다. NXP가 개발 중인 레이더 감지 장치를 사용하는지, 비전 기능을 사용하는지, 아니면 장치에 입력된 오디오의 해석만 사용하는지 여부입니다.

친환경 및 에너지 의식으로 이동하면 다루어야 할 한 가지 개념은 뱀파이어 전력에 관한 것입니다. 여기서 장치를 연결하면 장치가 아무것도 하지 않고 전력만 소비하는 것입니다.

우리는 또한 장치가 인간과 같은 행동으로 더 많이 반응하는 '인식 에지' 개념으로 이동하고 있습니다. 그들은 자신의 환경을 이해하기 시작하고 정보를 수집하고 상황의 맥락을 이해하기 위해 입력을 집계하고 다른 장치와 상호 작용한 다음 그에 따라 결정을 내립니다. 이에 대한 간단한 실제 예는 차량 수와 조건을 관찰하고 감지하여 운전을 보다 효율적으로 만들어 시간을 낭비하지 않음으로써 군중과 다양한 혼잡 지점을 해석하고 상황을 현지에서 최적화할 수 있는 로컬 기능을 갖춘 교통 패턴입니다.

엣지 인텔리전스를 가능하게 하는 기술 요소

기술적 관점에서 지능형 에지와 인식 에지를 구성하는 요소는 무엇입니까?

마티노 :파운데이션부터 시작하겠습니다. 컴퓨팅 플랫폼이 있어야 하고 확장해야 합니다. 에너지 효율적이어야 합니다. 과거와 달리 이제는 여러 개의 독립적인 이기종 컴퓨팅 하위 시스템에 관한 것입니다. 기본적으로 GPU, CPU, 신경망 처리 장치, 비디오 처리 장치 및 DSP가 있습니다.

이러한 다양한 하드웨어 가속기 및 컴퓨팅 장치를 어떻게 최적화하고 주어진 최종 애플리케이션에 맞게 최적화합니까? NXP가 다른 모든 요소와 함께 확장 가능한 컴퓨팅 범위를 갖는 데 정말 탁월한 이유가 바로 여기에 있습니다. 그런 다음 시각과 음성을 모두 포함하는 음성 애플리케이션, 인간-기계 상호 작용을 대상으로 하는 최적화된 하드웨어 가속기 또는 기능의 통합이 있습니다. 일부 워크로드를 볼 때 필요한 이러한 대용량 온칩 메모리를 사용하더라도 에너지 사용을 최적화합니다.

이는 머신 러닝 기능의 최적화, 다양한 공격 표면에 대한 최고 수준의 보안 통합, 효율적인 연결, 효율적인 에너지 사용 및 개방형 표준으로 이어집니다. 또한 NXP가 UWB 기술을 사용하여 주어진 사람이나 추적 장치의 물리적 위치를 매우 정확한 방식으로 찾는 것과 같은 고정밀 거리 측정과 같은 기술을 활용할 수 있습니다.

마지막으로 이 모든 것을 원활한 사용자 경험으로 포장하는 것입니다. 사용하기 쉽지 않고 사용하기 자연스럽지 않으면 사용되지 않기 때문입니다. 따라서 원활하고 편안한 환경을 확보하는 것이 절대적으로 중요합니다.

사용자는 어떻게 이러한 솔루션을 구축할 수 있습니까?

마티노 :우리는 프로세서 또는 마이크로컨트롤러의 기본 제품부터 로컬 음성, 비전, 감지 및 추론 기능 또는 이들의 조합에 대해 사전 최적화된 참조 플랫폼에 이르기까지 모든 것을 제공합니다. RT 장치 제품군과 같이 고객이 구매할 수 있는 참조 플랫폼을 함께 제공합니다. 우리는 구매할 수 있는 얼굴 인식 제품을 가지고 있습니다. 이 제품은 고객이 전문화하고 싶은 곳이나 브랜드를 지정하려는 곳에서 요구 사항을 수정하는 출발점으로 삼을 수 있는 완전히 활성화되고 설계된 시스템입니다.

소비자 및 산업용 사용 사례의 기술 차이

업계 대부분은 가정과 직장의 지능형 장치와 시스템이 주목을 받고 있다는 데 동의할 것입니다. 당신이 말했듯이 평범한 오래된 IoT와 산업 시장 사이의 기술적인 차이점은 무엇입니까?

마티노 :연결 표준, 환경 요구 사항, 수명 요구 사항(15년 이상 가능) 및 안전 요구 사항은 [소비자] IoT 세계와 비교할 때 산업 공간에서 훨씬 더 광범위하고 까다롭습니다. NXP가 투자하고 있는 한 영역은 TSN(Time-Sensitive Networking)이며, Mac과 스위치 모두를 데이지 체인 방식으로 연결된 여러 시스템의 설정을 지원할 수 있는 전체 장치 세트로 통합하여 엔드포인트 기능을 작동하고 지원할 수 있습니다. TSN 백본은 또한 많은 레거시 표준이 통합되고 있는 훨씬 더 높은 데이터 속도와 처리량을 지원합니다.

이것을 [소비자] IoT 시장과 비교하십시오. 스마트 홈 및 웨어러블과 같은 애플리케이션을 위한 극도의 에너지 효율성, 음성 HMI의 더 높은 사용, 무선 연결, 더 짧은 수명 주기에 대한 요구가 훨씬 더 광범위합니다. 웨어러블 전면에서는 뛰어난 사용자 경험을 원하지만 가장 긴 배터리 수명을 원합니다. 이러한 에지 장치를 최적화하여 기능을 수행하지만 종료하고 배터리 수명을 보존하는 것은 매우 중요하며, 정말 풍부한 사용자 경험은 가장 효율적인 방법으로 이루어져야 합니다. 바로 이때 배터리가 소모되기 때문입니다.

상호 운용성 문제

스마트 홈 분야에서는 한 회사의 제품을 가져와 다른 기기와도 연동하기가 어려운 경우가 많습니다. NXP는 스마트 홈 무선 상호 운용성 문제를 어떻게 바꾸려고 합니까?

마티노 :스마트 홈 기기를 예로 들자면, 표준과 상호 운용성 기능이 매우 단편적입니다. 우리는 표준 프로젝트인 CHIP 또는 "Connected Home over IP"라는 프로젝트를 가지고 있습니다. NXP는 물론 다른 여러 업계 리더들이 독점 표준이 아니라 모든 업계에서 공통적인 공개 표준으로 통합하기 위해 협력하고 있으며 사람들이 이 공개 표준을 기반으로 구축할 수 있도록 합니다.

이 프로젝트의 초점은 NXP 등이 ZigBee 및 Thread 및 ZigBee Alliance를 중심으로 수행한 다년간의 작업을 기반으로 한 다음 Amazon, Apple, 그리고 Google은 우리가 CHIP라고 하는 이 공개 표준을 구축하고 기기 간의 이러한 공통 연결을 구축하기 위해 출시했습니다. 무언가를 연결하면 매우 간단하게 연결할 수 있습니다.

NXP의 계획은 올해 말에 CHIP 표준의 첫 번째 버전과 함께 실제 제품을 시장에 출시하는 것입니다.

에지 인텔리전스 추가의 복잡성 및 비용 해결

에지에서 머신 러닝 및 AI로 전환 다소 복잡하고 비용이 많이 들죠?

마티노 :많은 사람들에게 AI와 ML에 대해 이야기할 때 그것은 매우 복잡한 추상적 개념입니다. 2025년까지 모든 에지 장치의 90%가 일종의 기계 학습 또는 인공 지능을 사용할 것으로 예상됩니다. 우리는 그것이 사실이라고 진정으로 믿고 이에 최적화된 제품을 출시하고 있습니다. 사용되는 하드웨어, 프로세서 및 이 기능을 실행하는 마이크로컨트롤러를 최적화하기 위해 우리가 하는 일의 조합입니다. 최종 사용자의 경우 최종 사용 사례에 의미 있는 실용적인 ML을 배포하는 것이 얼마나 복잡한지 더 중요합니다.

데이터를 수집하고 자체 모델을 만들고자 하는 회사가 많이 있습니다. NXP가 집중하고 있는 것은 간단한 사용자 인터페이스 또는 개발 환경에서 유연성을 허용하는 클라우드 불가지론적 기능을 어떻게 활성화할 수 있을까요?

이것이 우리가 최근 Au-Zone에 대한 투자로 발표한 내용이며, 2021년에는 가져올 콘텐츠 유형을 선택할 수 있는 향상된 개발 환경을 출시할 예정입니다. 선호하는 소스 또는 클라우드 제공업체를 통해 구입하고 가져와서 최적화하고 최종 장치에 배포하기로 선택했습니다. 그것이 바로 최적화이기 때문입니다.

머신 러닝은 최종 솔루션의 비용을 어떻게 증가시키나요?

마티노 :매우 복잡하고 무거운 기계 학습 모델이나 기능이 있는 경우 훨씬 더 높은 계산 기능이 필요하고 계산 기능이 높을수록 비용이 더 많이 듭니다. 에지 프로세서에서 수행하도록 선택하거나 클라우드에 배포하도록 선택할 수 있습니다. 특정 사용 사례에 대해 이러한 사용 사례 또는 이러한 모델을 조정하려고 하면 매우 효율적이 될 수 있으며 기존 기술 확장 및 무어의 법칙을 활용하여 ML에 특정한 하드웨어 가속을 실제로 추가할 수 있습니다. 많은 실리콘 영역.

그것은 작은 비용 추가가되지만 원하는 주어진 작업을 수행하는 데 매우 최적의 기능입니다. 사람을 감지하고 현지에서 그들이 누구인지 식별하는 것과 같이 이제 마이크로 컨트롤러에서 매우 효율적으로 수행할 수 있으며 매우 효율적인 실리콘 구현으로 최적화됩니다. 그런 다음 외부 고성능 신경망 프로세서로 확장하거나 클라우드와 상호 보완적인 방식으로 작업할 수 있는 일부 프로세서로 확장 가능하게 만들 수 있습니다. 다시 말하지만, 모두 비용이 들고 작업의 복잡성에 따라 다르지만 롤아웃할 수 있는 매우 복잡한 기능에 매우 효율적일 수 있습니다.

윤리적 AI

ML 모델과 AI의 편향에 대한 우려가 증가하고 있습니다. 윤리적 AI를 보장하는 데 있어 업계의 역할은 무엇입니까?

마티노 :'내 말을 듣고 있는지, 지켜보고 있는지 알고 싶다'라는 단순한 개념이던 명확한 운영 투명성이 필요하지만, 행동을 취하겠다는 결론을 어떻게 결정하느냐가 매우 중요하다. 시스템이 안전하고 공격 표면 측면에서 백도어 액세스 또는 기타 민감성 또는 취약성이 없는지 확인하는 보안 표준, 누군가가 AI 시스템에 액세스한 다음 영향을 주어 특정 작업을 수행하거나 특정 결정을 내릴 수 있도록 합니다. 시스템을 공격하는 사람에게 유리할 수 있습니다.

기본적으로 잘못된 사전 설정 편견이 없는 AI 시스템을 어떻게 구현합니까? NXP는 이러한 윤리적 발전에 대한 우리의 약속을 강조하는 AI 윤리 이니셔티브를 시작했습니다. 그 안에서 우리는 선한 존재가 되는 것에 대해 이야기하고, AI 시스템에 대한 종속이나 강요를 피하는 것과 관련된 인간 중심의 AI를 보존하는 것에 대해 이야기합니다. 또한 이러한 투명성, 과학적 우수성에 대한 높은 기준 및 신뢰에 대해서도 이야기합니다. AI 시스템에서.

에지 기술을 구현하는 데 어떤 과제가 남아 있다고 보십니까?

마티노 :이것은 지속적인 활동이며 지속적인 최적화를 위한 많은 영역이 있습니다. 에너지 효율성, 에너지 수확 개념의 추진 및 활용, 장치의 거의 임계값 작동은 업계의 많은 사람들이 지속적으로 투자하고 있습니다. 데이터를 보호하고 이를 계속 발전시켜야 하는 보안 및 필요성은 지속적인 활동입니다.

실리콘 고유의 서명, 다양한 유형의 암호화, 동형 암호화와 같은 보호된 방식으로 컴퓨팅을 수행하는 방법, 암호화된 환경에서 계산을 수행하고 절대 복호화하지 않는 방법에 대한 투자. 그런 다음 대기 시간 요구 사항의 처리량 연결과 전력 소비를 중심으로 확장합니다. 이를 최적화하기 위해 계속해서 연결을 최적화하고 더 효율적인 방식으로 이러한 에지 장치에 연결할 것입니다.

마지막으로, 인지 최종 인텔리전스의 전체 개념은 신경망 프로세서 또는 프로세서에 들어가는 하위 시스템을 개발하고 구현하는 3세대에 있습니다. 이는 효율성과 확장성의 개선을 주도하고 있지만 가속기를 사용하여 더 높은 수준의 효율성을 구현하고 스파이크 신경망 및 양자 AI와 관련된 다양한 기술을 사용하는 측면에서 이 분야에서 계속 연구가 진행되고 있습니다. 가까운 장래에 보다 전통적인 가속기와 NXP가 시장에 제공하는 확장 가능한 프로세서에 대한 통합을 중심으로 계속 진화하는 것을 보게 될 것입니다.

여기에서 27분 분량의 팟캐스트 "Empowering the edge everything"을 들을 수 있습니다.