AI 및 ML을 사용하여 에지 애플리케이션에서 실행 가능한 통찰력 추출

데이터가 에지에서 시작된다면 AI의 관점에서 바로 그곳에서 최대한 많은 일을 할 수 없는 이유는 무엇입니까?

에지 장치 및 응용 프로그램의 폭발적인 성장은 데이터가 분석되고 통찰력이 도출되는 위치와 방법에 대한 새로운 사고를 요구합니다. 새로운 엣지 컴퓨팅 옵션은 많은 사용 사례에서 더욱 까다로워진 인사이트 구현 속도 요구 사항과 결합되어 엣지 애플리케이션에서 인공 지능(AI) 및 머신 러닝(ML) 사용을 촉진하고 있습니다.

AI 및 ML이 적용되는 위치(엣지 또는 데이터 센터 또는 클라우드 시설)는 복잡한 문제입니다. 현재 전략 및 모범 사례에 대한 통찰력을 얻기 위해 최근 AI/ML 및 Edge 수석 설계자인 Said Tabet과 함께 했습니다. 및Calvin Smith, CTO, Emerging Technology Solutions; 둘 다 Dell Technologies의 글로벌 CTO 사무실에 있습니다.

우리는 오늘날 생성되는 많은 양의 엣지 데이터, 엣지 애플리케이션의 AI/ML에 대한 컴퓨팅 요구 사항, 엣지 또는 데이터 센터 또는 클라우드 시설에서 이러한 계산을 수행해야 하는지 여부를 이해하기 위해 AI 및 ML에 대한 증가하는 요구 사항에 대해 논의했습니다.

새로운 트렌드

RTI통계: 오늘날의 새로운 트렌드는 무엇이며 AI와 ML은 Edgediscussion에 어떻게 적합합니까?

타벳: 오늘날 사람들은 새로운 트렌드에 대해 이야기할 때 종종 Edge, IoT, AI/ML, 증강 현실, 가상 현실, 블록체인 및 5G와 같은 많은 것을 언급합니다. 우리는 트렌드뿐만 아니라 진정한 채택이라는 이러한 기술을 통해 우리가 나아가야 할 방향 측면에서 Edge를 다음 단계로 포지셔닝합니다. 데이터와 사용자 경험의 관점에서 통찰력이 필요하고 인간으로서의 조바심 덕분에 실제 대기 시간 문제와 함께 가능한 한 빨리 통찰력을 얻을 수 있다고 생각합니다. 또한 데이터가 Edge에서 시작하면 AI 관점에서 바로 거기에서 최대한 많은 것을 할 수 없다는 생각이 듭니다.

분명히 AI, 특히 ML은 필요한 데이터 양 측면에서 욕심이 많습니다. 빨리 배워야 합니다. Edge에서 우리가 실제로 할 수 있는 것은 무엇입니까? 그것이 바로 이 논의가 시작되는 것이라고 생각합니다. 블록체인 또는 분산 원장은 여기에서 고려해야 할 다른 영역입니다. 일반적으로 특히 데이터 관점에서 상당한 신뢰가 필요합니다. 또한 우리가 생성하는 통찰력, 우리가 반응하는 방식, 이러한 결과에서 나온 실행 가능한 항목을 신뢰해야 합니다. 이는 전반적인 보안, 개인 정보 보호 및 거버넌스 관점에서 몇 가지 추가 요구 사항을 가져옵니다. 비즈니스 사람이든 개인이든, 차량이든 관계없이 해당 경험 내에서 이 모든 것을 고려해야 합니다.

스미스: 현재 연결되어 있는 IoT 장치가 200억에서 300억 사이라고 가정해 보겠습니다. 돌아가서 말하자면, 2014년 전후로 연결된 모바일 기기의 수가 세계 인구의 수를 넘어섰던 것 같아요. 맞죠? 그리고 2017년에는 IoT 기기가 전 세계 인구를 추월하기도 했습니다.

타벳: 예. 맞습니다.

스미스: 그것은 큰 도약이었고, 계속 도약할 것입니다. 이 Edge 장치를 유지 관리하기 위해 270억 명의 사람들을 고용할 예정입니까? 그런 다음 인프라 스택을 통해 위로 올라가면 분명히 1:1 매핑은 아니지만 충분한 데이터베이스 관리자, 데이터 과학자, 설계자 및 엔지니어를 고용하는 것은 물리적으로 불가능합니다. 대신 Edge에서 자동화 및 최적화를 구동하는 것이 전부입니다. 엄청난 양의 데이터와 asDr. Tabet은 특히 AI에서 응용 프로그램과 기능의 탐욕을 언급했습니다. 여러 가지 이유로 많은 양의 정보를 처리할 수 있어야 하며 그 중 하나는 비용입니다. 데이터 센터나 클라우드로 보내기 전에 Edge에서 실제로 중요한 데이터가 무엇인지 분석하려고 합니다.

Edge에서 AI/ML의 역할

RTI통계: Edge에 대해 이야기할 때 AI/ML이 필요한 이유는 무엇입니까?

타벳: 몇 가지 이유가 있습니다. 첫째, 이유가 있습니다. 자동화의 관점에서 볼 때 AI와 ML은 더 많이 자동화하고 이에 대해 좀 더 훈련을 받는 방법이며, 이를 Edge에서 수행합니다. 당신은 오늘 그것을 참조하십시오. 데이터 플레인, 컨트롤 플레인, 개발 키트 등을 포함하여 에지에 클라우드의 연속체를 구축하는 이 관점에 의해 개발자가 느끼도록 해야 합니다. 클라우드와 동일합니다.

AIperspective에서 자동화는 큰 문제입니다. 에지에서는 최소한 일반적으로 하지 않는 진정한 딥 러닝(예:딥 러닝 – DL) 처리를 수행하지 않습니다. 내가 정말 중요하다고 생각하는 또 다른 측면은 Edge에서 매우 빠르게 얻을 수 있는 통찰력이 데이터 센터나 클라우드로 가져와 다른 데이터 센터와 연결하는 것과 종종 다르다는 사실입니다. 정보의 종류. 그 시점에서, 얻고 있는 통찰력 또는 Edge에서 그렇게 하는 경우 수행할 의사 결정 측면에서 상당한 인텔리전스 추진력을 잃고 있습니다. 그래도 Edge에는 AI가 필요합니다. 그들은 손을 잡고 간다.

스미스: 다른 이유는 비즈니스 때문이라고 생각합니다. 이 모든 "사물, 센서, 액추에이터, 장치"는 연결된 집, 연결된 유람선 또는 연결된 자동차만큼 클 수 있습니다. 또는 공장, 견인기 또는 펌프 내부 또는 위에 있을 수 있습니다. 요컨대 이제 모든 산업이 상품화되고 있지 않습니까? 전 세계에서 물건을 만들고 구매할 수 있는 옵션이 있습니다. 기업이 차별화하려는 방법은 판매하는 제품 및 자산과 관련된 서비스를 통한 것입니다. 가치를 더 많이 창출할수록 많은 기업이 제품에서 서비스로 전환하고 있습니다. 제품에서 서비스로의 전환이라고 합니다.

그들은 자산을 서비스로 팔려고 합니다. 때로는 비즈니스 모델의 전환이며 CapEx에서 OpEx로 이동합니다. 때때로 그들은 여전히 ​​CapEx로만 판매할 예정이지만 제품이 스마트하고 연결되어 있을 때 추가 서비스 세트를 판매하거나 차별화 요소로 사용할 수 있습니다. 다시 Said가 언급했듯이 최적화 및 자동화를 통해 적시에 적절한 데이터를 가져와 적절한 위치에서 기업이 경쟁할 수 있습니다. 단순히 아이템을 제조하는 것만으로는 더 이상 가치를 얻을 수 없습니다.

타벳: 한 가지 더 추가하고 싶은 점은 Edge에서 단일 기업 또는 조직의 수십 또는 수십만 개의 장치를 살펴보고 있다면 그것이 자율 주행 차량에 있든 상관없이 각각의 caras 인스턴스를 보고 있다는 것입니다. 이러한 자동차는 다른 환경에서 다르게 작동할 수 있습니다. 그것을 하나로 모을 때 그로부터 배우는 것이 매우 중요합니다. 산업 자동화에서도 마찬가지입니다. 풍력 터빈, 엔진에서 비행기 또는 의료를 볼 수 있습니다. 이러한 다양한 환경에서 해당 정보를 데이터 센터나 클라우드로 다시 가져올 때 이러한 AI 모듈 또는 AI 알고리즘의 훨씬 더 정확하고 훨씬 효율적이며 더 나은 성능을 얻을 수 있습니다. 다시 말해, 한 자산의 데이터에는 분명히 가치가 있지만 연결된 자산 집합과 다양한 환경에서의 상호 작용에서 진정한 통찰력을 얻기 시작합니다.

Edge AI/ML이 수행되어야 하는 위치 결정

RTI통계: Edge 애플리케이션에 대한 AI/ML 컴퓨팅 작업은 어디에서 수행됩니까?

타벳: 이것은 이러한 많은 경우에 AI 알고리즘이 훈련하기 위해 많은 양의 데이터를 수행했던 이전 지점으로 돌아갑니다. 데이터 센터나 클라우드, 이러한 고성능 컴퓨팅 기능을 가질 수 있는 중앙 집중식 환경에서 그렇게 하면 됩니다. Edge에서 이러한 알고리즘을 배포하고 Edge에서 영향을 미치는 목적으로 사용하는 것이 훨씬 더 효율적일 수 있습니다. 분명히 이야기가 있습니다. 어느 시점에서 우리는 Edge에서도 어느 정도 수준의 훈련을 할 수 있을 것입니다. 이것은 대부분의 Edge 환경의 무거운 제약으로 인해 처음에는 제한됩니다.

에지 컴퓨팅에 대한 고려 사항

RTI통계: Edge의 컴퓨팅 솔루션에 대한 요구 사항은 무엇입니까?

타벳: Edgeis에 대한 정의가 다르기 때문에 이것은 매우 까다롭습니다. 당신은 자동차 제조업체와 이야기를 나누며 내 차는 Edge라고 합니다. 터빈 제조업체와 이야기할 때 풍력 터빈은 그들의 에지입니다. 공장에서 제조하는 장치도 Edge입니다. 그들은 다른 환경을 가질 것입니다. 그들 중 일부는 매우 가혹할 것입니다. Dell은 진동이 심하고 온도가 매우 높거나 낮은 혹독한 조건을 포함할 수 있는 환경에서 컴퓨팅에 대한 많은 경험을 갖고 있습니다. 제가 말하고 싶은 한 가지는 [Edge의 컴퓨팅 솔루션에 대한] 최고의 요구 사항입니다. 소비전력이다. 저전력이어야 합니다. 이것은 특히 HPC에서 우리가 알고 있는 것과 반대되는 것입니다. 그렇죠? GPU를 많이 사용하고 열이 있고 전원이 필요합니다. 이러한 [Edge] 환경에서는 불가능합니다. 우리는 [컴퓨팅 구성 요소]를 다른 폼팩터로 가져와야 하거나 아마도 차세대 AI 관련 가속기와 같은 다른 종류의 가속기로 생각할 수도 있습니다. 앞으로 몇 년 안에 출시될 가속기의 유형입니다.

스미스: 멋지고 흥미로운 점은 우리가 가혹한 환경을 위한 러기다이즈웨이에서 지속적으로 작업할 수 있고 예를 들어 영하 5도, 때로는 섭씨 10도, 그리고 섭씨 55도 이상에서도 작업할 수 있다는 것입니다. Dr.Tabet이 언급했듯이 위험하거나 가혹한 환경의 경우 진동, 충격 및 모든 종류의 재즈와 관련된 문제를 방지할 수 있어야 합니다.그러나 우리는 지속적으로 폼 팩터를 점점 더 작게 만들 수 있습니다.분명히 , 우리는 파트너와 칩 개발자의 도움을 받아 이 작업을 수행합니다.

흥미로운 점은 폼 팩터를 더 작고 더 견고하게 만드는 동시에 가능한 한 간단하게 작동하고 사용할 수 있도록 한다는 이 개념입니다. 애플리케이션의 관점에서 볼 때 엣지에서 실행되는 클라우드 자체에 관한 것은 아니지만 그렇게 될 수도 있습니다. 엣지로 가져오는 클라우드 네이티브 원칙에 관한 것입니다. 컨테이너 또는 VM[가상 머신]이든 상관없이 다양한 유형의 인프라 및 다양한 유형의 환경으로 이식하고 단일 창에서 볼 수 있는 단순성과 용이성. 그러면 잠재적으로 다중 클라우드 환경을 활성화할 수도 있습니다. Edge는 새로운 제어 지점이 될 수 있으며, OT 또는 운영 기술 측면과 IT 측면 사이의 간극을 메워주는 새로운 상황에 대한 가시성입니다. 정말 매력적입니다. 탐색을 위한 새로운 개척지이자 미래를 위한 많은 제품 로드맵을 주도하고 있습니다.

Edge AI/ML 사용 사례

RTI통계: AI/ML Edge 애플리케이션의 몇 가지 예를 들어 주시겠습니까?

타벳: 제가 몇 년 동안 작업해 온 것은 [자율 차량과 같은] 모빌리티 애플리케이션과 관련된 문제에 관한 것입니다. 여러 조직 및 고객과 직접 협력하여 이 시장에 다양한 기능을 제공할 수 있는 방법을 찾고 있습니다. 나는 그것을 조금 추상화하고 이러한 종류의 Edgedeployment를 용이하게 할 수 있는 예제도 제공할 것입니다. 우리가 RSU라고 부르는 것, 도로변 유닛, 차량 자체 또는 그들이 하고 있는 감지와 관련된 Edge의 사용 사례가 있습니다. 이러한 예 중 일부는 우리가 HD 지도라고 부르는 것의 확장된 버전, 즉 지도가 의미론적으로 풍부하고 컨텍스트 기반이며 거의 실시간으로 업데이트되는 고화질 지도입니다.

AI가 전송되는 데이터의 양과 비용을 줄이는 데 사용되는 한 가지 예입니다. 이러한 특정 서비스에 필요한 것만 처리합니다. 예를 들어 비디오를 줄일 수 있습니다. 데이터 양을 줄일 수 있습니다. 감지하려는 매우 구체적인 개체에 초점을 맞출 수 있습니다. 도움이 될 수 있는 수준의 예입니다.

다른 것들은 특정 장치, 엔진, 전체 자동차 등을 모니터링하는 Edge 장치의 상태와 관련이 있으며 차량 또는 장치 수준, 특히 안전을 위해 최대한 많은 분석을 수행하려고 합니다. 이유(즉, 많은 IoT 사용 사례에서 상태 기반 모니터링).

소매 도메인에도 더 많은 Edgedeployment가 있지만 다른 방식으로 볼 수 있는 다른 예가 있습니다. 에지에서 클라우드, 데이터 센터로의 연결이 있다는 의미에서 에지 클라우드에서는 에지에서 최대한 많은 작업을 수행할 수 있습니다. [Edge is where] 데이터를 수집하고 필요한 모든 분석을 수행합니다. 예를 들어 소매업의 경우 최종 사용자에게 더 나은 경험을 제공하고 있습니다. 비용을 최소화하면서 서비스를 최적화할 수 있도록 경험을 개인화하려고 합니다.

특히 지금 우리가 처한 상황에서 의료와 관련된 사례가 많이 있습니다.얼마나 많은 데이터를 Edge에서 최대한 빨리 수집하고 대응할 수 있습니까?보통 우리는 분산 환경에 대해 이야기하고 있습니다. Calvin이 말했듯이 수십만 또는 수백만 개의 장치 규모입니다. 이것은 AI와 ML이 훨씬 더 큰 역할을 할 수 있는 영역입니다. 우리는 항상 데이터 변화에 대해 이야기하며 AI 기능을 통해 이러한 애플리케이션 중 일부는 스스로 적응할 것입니다. 학습이 계속되고 해당 수준에서 교육이 계속됩니다.

의료, 소매, 자율 주행 차량, 일반 이동성 및 기타 여러 영역과 같은 모든 영역에서 예측 또는 조건부 유지 관리를 통해 비용을 절감하고 있습니다. Edge는 또한 장치를 원격으로 제어할 수 있는 기능을 제공하므로 전문가가 데이터가 수집되는 장소에 안전하게 갈 수 없는 경우 실제로 원격으로 해당 기능을 제공할 수 있으며 AR 또는 VR과 같은 것을 포함할 수도 있습니다. 그러나 Edge에서 대부분의 작업을 미리 수행하므로 필요한 경우 직접 대면하여 존재를 최소화할 수 있습니다. 이것들은 단지 몇 가지 예일 뿐입니다.

스미스: 나는 중요한 것보다 2개를 더 추가할 것이다. 하나는 우리가 안전과 보안과 관련된 대규모 사업을 하고 있다는 것입니다. Said가 언급한 것처럼 매우 큰 알고리즘을 실행하고 다음과 같은 데이터를 처리할 수 있습니다. 예를 들어보겠습니다. 공공 장소에서 총성이 발생하는 시나리오가 있다고 상상해 보세요. 주유소 밖이라고 가정해 보겠습니다. 어떤 조치를 취해야 하는지 알아내려면 많은 자동화되고 즉각적인 결정을 내려야 합니다. 한 가지는 오디오 관점에서 총상 인식에 대해 생각하고 컴퓨터 비전 관점에서 사물 인식과 연관시켜 실제로 그것이 무기임을 보여줍니다. , 그리고 단지 자동차 역효과가 아닙니다.

그런 다음, 이런 일을 한 가해자가 있다면 이제 Edge에서 실행할 수 있는 상당히 단순한 알고리즘도 가질 수 있습니다. 하지만 아마도 데이터 센터에서 시작되었을 것입니다. 그러면 도주한 용의자의 번호판을 식별할 수 있습니다. Edge에서 모두 자동화되고 실행됩니다. 그 영역에는 카메라, 감시, 보안, 시민의 일반 안전과 관련된 많은 사용 사례가 있습니다.

우리가 말할 것도 없이 무시할 수 있는 다른 빅 사용 사례 영역은 우리가 꽤 오래 전에 Toshiba와 함께 시작한 Industrial Internet Consortium의 테스트베드인 스마트 시설을 위한 딥 러닝입니다. 처음부터 SAS와 Wipro도 추가했으며 다양한 회사에서 다양한 가치를 제공하고 있습니다.

원래 개념은 최첨단으로 설계된 거대한 시설을 건설하는 것이 었습니다. 내가 틀리지 않았다면 2011년에 지어진 것 같은데, 이미 센서가 몇 개나 있었을까? 20,000개의 센서 같은 것이 있습니까?

타벳: 그 이상으로 나는 말할 것이다. 2011년에 지어졌을 때 아마 35,000개였을 것입니다.

스미스: 35,000, 맞습니다. 그것은 완전히 새로운 최첨단 시설이었지만 설계자들은 한계를 뛰어넘고 더 많이 배우고 더 많은 일을 하고 싶어했습니다. 신경망은 매개변수 서버에 연결된 일련의 서버를 통해 구현되어 건물이 핵심 시스템과 관련하여 본질적으로 자체 학습하도록 했습니다. 우리는 엘리베이터, 에스컬레이터, 그리고 물론 HVAC 시스템과 같은 고가의 것들에 대해 이야기하고 있습니다. 아이디어는 최소한 처음에는 이상 감지를 수행하고 AI가 없는 사람이 찾기 힘든 것들 간의 상관 관계를 찾는 것이었습니다.

예를 들어, 부엌에서 일어나는 일에 대한 매우 흥미로운 발견이 있었습니다. 데이터에 따르면 이러한 일이 실제로 비용을 증가시켰고 그러한 행동으로 인해 특정 환기 구역이 폐쇄되고 있었습니다. 인간이 사물을 조사하는 것이 아니라 데이터일 때 찾기 시작할 수 있다는 것은 정말 놀라운 일입니다. 우리는 스스로 학습하는 진정한 심층 신경망에 대해 이야기하고 있습니다. 무엇을 찾아야 하는지 스스로 가르치고 인간이 일반적으로 스스로 결정하지 못하는 상호 상관 관계를 찾습니다. 곰곰이 생각해보면 이 모든 것이 "Edge"에 있었습니다. 이것은 모두 건물 내에서 실행되고 있습니다. 그 다음에는 물론 핵심 처리의 일부가 다시 데이터 센터로 돌아갔습니다.

타벳: 프로젝트에 대한 보다 최근의 사용 사례에서 우리는 건물 내의 HVAC 및 기타 사항을 처리하는 이러한 모든 자산과 유사한 여러 장치를 추가했습니다. 그리고 그것은 그들이 자립할 수 있게 하면서도 동시에 서로에게서 배울 수 있게 해주었습니다. Calvin의 이야기로 돌아가서, 이것은 내가 그 용어를 사용할 수 있다면 이러한 종류의 자율 AI를 점점 더 많이 보게 될 방식으로 수행됩니다. 실제로, 우리가 방향을 제시하지 않는다는 아이디어는 시간이 지남에 따라 매개 변수 및 필요한 생산성 최적화 측면에서 자체 수준을 유지하고 스스로 학습할 것입니다.