AI·ML로 엣지 인사이트 실현… 데이터 분석의 새로운 패러다임

데이터가 엣지에서 시작된다면, AI 관점에서 가능한 한 많은 것을 거기서 바로 수행할 수 없을까?

엣지 기기와 애플리케이션의 폭발적 증가는 데이터가 분석되고 인사이트가 도출되는 위치와 방식에 대한 새로운 사고를 요구합니다. 새로운 엣지 컴퓨팅 옵션과 많은 활용 사례에서 더 엄격해진 인사이트 속도 요구사항이 엣지 애플리케이션에서 인공지능(AI)과 머신러닝(ML) 사용을 늘리고 있습니다.

AI와 ML을 어디에 적용할지(엣지, 데이터 센터, 클라우드)는 복잡한 문제입니다. 현재 전략과 모범 사례에 대한 통찰을 얻기 위해, 델 테크놀로지스 글로벌 CTO 사무실의 AI/ML & 엣지 수석 아키텍트 사이드 타벳(Said Tabet)과 신기술 솔루션 CTO 캘빈 스미스(Calvin Smith)와 최근 대담을 나눴습니다.

오늘날 생성되는 방대한 양의 엣지 데이터를 이해하기 위한 AI/ML의 증가하는 필요성, 엣지 애플리케이션에서 AI/ML 컴퓨팅 요구사항, 그러한 연산을 엣지에서 할지 데이터 센터나 클라우드에서 할지 등에 대해 논의했습니다.

신기술 트렌드

RTInsights: 오늘날의 신기술 트렌드는 무엇이며, AI와 ML은 엣지 논의에 어떻게 부합합니까?

타벳: 오늘날 사람들이 신기술 트렌드를 말할 때 엣지, IoT, AI/ML, 증강현실, 가상현실, 블록체인, 5G 등 많은 것을 언급합니다. 우리는 데이터와 사용자 경험 관점에서 인사이트에 대한 필요가 있으며, 인간의 조급함과 현실 세계의 지연 시간 문제 덕분에 가능한 한 빨리 그 인사이트를 얻고자 한다고 봅니다. 또한 데이터가 엣지에서 시작한다면, 왜 AI 관점에서 가능한 한 많은 것을 거기서 바로 할 수 없을까라는 생각이 듭니다.

분명히 AI, 특히 ML은 데이터 양 측면에서 욕심이 많습니다. 빠르게 학습해야 합니다. 엣지에서 무엇을 정말 할 수 있을까? 이 논의가 시작되는 지점입니다. 블록체인이나 분산 원장도 여기에서 고려되는 영역입니다. 일반적으로 데이터 관점에서 많은 신뢰가 필요합니다. 우리가 생성하는 인사이트, 우리가 반응하는 방식, 이러한 발견에서 나오는 실행 가능한 항목에 대한 신뢰도 필요합니다. 이는 전반적인 보안, 프라이버시, 거버넌스 관점에서 추가적인 필요성을 가져옵니다. 비즈니스 담당자, 개인, 차량 함대 등 어떤 주체든 그 경험 내에서 이 모든 것을 고려해야 합니다.

스미스: 오늘날 대략 200억~300억 개의 IoT 기기가 연결되어 있다고 추정해 봅시다. 사이드, 2014년쯤 연결된 모바일 기기 수가 세계 인구를 추월했죠? 2017년에는 IoT 기기 수도 세계 인구를 넘어섰습니다.

타벳: 맞습니다.

스미스: 큰 도약이었고 계속 늘어날 것입니다. 이 엣지 기기들을 유지보수하려고 270억 명을 고용할 겁니까? 인프라 스택을 올라가면, 1:1 매핑은 아니지만 데이터베이스 관리자, 데이터 과학자, 아키텍트, 엔지니어를 충분히 고용하는 것은 물리적으로 불가능합니다. 대신 엣지에서 자동화와 최적화를 추진하는 것이 전부입니다. 데이터의 엄청난 양과, 타벳 박사가 언급한 애플리케이션과 기능의 탐욕스러움, 특히 AI에서 그렇습니다. 여러 이유로 대량의 정보를 처리할 수 있어야 하는데, 그중 하나가 비용입니다. 데이터 센터나 클라우드로 보내기 전에 엣지에서 실제로 가치 있는 데이터가 무엇인지 분석하고 싶습니다.

엣지에서 AI/ML의 역할

RTInsights: 엣지를 논할 때 왜 AI/ML이 필요합니까?

타벳: 여러 이유가 있습니다. 첫째, '왜'입니다. 자동화 관점에서 AI와 ML은 더 많은 것을 자동화하고 그에 대해 조금 더 규율을 세우는 방법이며, 이를 엣지에서 수행합니다. 오늘날 그게 보입니다. 클라우드에서 엣지까지, 데이터 플레인이나 컨트롤 플레인, 개발 키트 등을 포함하는 이 연속체를 구축한다는 관점에서 강화되어야 합니다. 개발자들이 엣지를 위해 쓰는 것이 클라우드를 위해 쓰는 것과 같다고 느끼게 말이죠.

AI 관점에서 자동화는 큰 주제입니다. 엣지에서는 진정한 딥 프로세싱(딥러닝)을 하지 않습니다. 적어도 보통은요. 또 하나 정말 중요한 측면은 엣지에서 아주 빠르게 얻는 인사이트가 데이터 센터나 클라우드로 가져가 다른 유형의 정보와 연결했을 때 얻는 인사이트와 종종 다르다는 점입니다. 그 시점에서 당신은 얻는 인사이트나 엣지에서 할 의사결정 측면에서 많은 인텔리전스 모멘텀을 잃게 됩니다. 그럼에도 엣지에는 AI가 필요합니다. 둘은 함께 갑니다.

스미스: 또 다른 이유는 비즈니스적 이유입니다. 이 모든 '사물, 센서, 액추에이터, 기기'는 커넥티드 홈, 커넥티드 크루즈선, 커넥티드 카만큼 클 수도 있고, 공장, 트랙터, 펌프 안이나 위에 있을 수도 있습니다. 긴 이야기 짧게, 모든 산업이 이제 상품화되고 있죠? 전 세계 어디서나 물건을 만들고 살 수 있는 옵션이 있습니다. 기업들이 제품과 자산 판매와 연계된 서비스를 통해 차별화하려는 방식입니다. 올바른 데이터를 올바른 시간, 올바른 장소에서 끌어내어 최적화하고 자동화할 수 있는 것이 기업 경쟁력을 가능하게 합니다. 단순히 제품을 제조하는 것만으로는 더 이상 가치를 창출하지 못합니다.

타벳: 한 가지 더 덧붙이자면, 단일 기업이나 조직의 수만, 수십만 개 기기를 엣지에서 볼 때, 자율주행차든 산업 자동화든, 그 각각의 차나 풍력 터빈, 항공기 엔진, 의료 기기 등은 서로 다른 환경에서 다르게 행동할 수 있습니다. 그걸 학습해 통합하는 것이 매우 중요합니다. 많은 다른 환경에서 이 AI 모듈이나 알고리즘의 훨씬 더 정밀하고 효율적이며 나은 성능을 볼 수 있습니다. 즉, 단일 자산의 데이터에도 분명히 가치가 있지만, 연결된 자산 함대와 그들이 서로 다른 환경에서 상호작용하는 것에서 진정한 인사이트를 얻기 시작합니다.

엣지 AI/ML 컴퓨팅 위치 결정

RTInsights: 엣지 애플리케이션을 위한 AI/ML 컴퓨팅 작업은 어디에서 수행됩니까?

타벳: 이는 이전 포인트로 돌아갑니다. 많은 경우 AI 알고리즘은 훈련을 위해 대량의 데이터가 필요합니다. 그건 (이견은 있지만) 데이터 센터나 클라우드, 고성능 컴퓨팅 역량을 갖춘 중앙 집중식 환경에서 수행합니다. 엣지에서는 이 알고리즘을 배포하며, 엣지에서 영향력을 행사하는 데 훨씬 더 효율적으로 사용할 수 있습니다. 당연히 언젠가 엣지에서도 어느 정도 수준의 훈련을 할 수 있게 될 것이라는 이야기도 있습니다. 이는 대부분의 엣지 환경의 무거운 제약으로 인해 처음에는 제한적일 것입니다.

엣지 컴퓨팅 고려사항

RTInsights: 엣지에서 컴퓨팅 솔루션에 필요한 요구사항은 무엇입니까?

타벳: 이건 매우 까다롭습니다. 엣지의 정의가 다르기 때문입니다. 자동차 제조사와 이야기하면 내 차가 엣지라고 합니다. 풍력 터빈 제조사와 이야기하면 풍력 터빈이 그들의 엣지입니다. 공장의 제조 장치도 엣지입니다. 이들은 각기 다른 환경을 가집니다. 일부는 매우 가혹할 수 있습니다. 델에서는 강한 진동, 극도로 높거나 낮은 온도 등 그런 가혹한 조건을 포함할 수 있는 환경에서의 컴퓨팅 경험이 풍부합니다. 제가 말하건대, 엣지 컴퓨팅 솔루션의 1순위 요구사항은 전력 소비입니다. 저전력이어야 합니다. 이는 우리가 아는 것, 특히 HPC와는 정반대죠? 많은 GPU를 사용하고, 열이 나고, 전력이 필요합니다. 그건 이런 [엣지] 환경에서 불가능합니다. 우리는 그 [컴퓨팅 구성요소]를 다른 폼팩터로 가져와야 하거나, 향후 몇 년 내 등장할 AI 특화 새로운 세대 가속기 같은 다른 종류의 가속기 관점에서 생각해야 할 수도 있습니다.

스미스: 멋지고 흥미로운 점은 우리가 가혹한 환경에서 견고하게 작동할 수 있도록 지속적으로 노력하고 있으며, 영하 5도, 때로는 영하 10도에서 55도 이상까지 작동할 수 있다는 점입니다. 타벳 박사가 언급한 유해하거나 가혹한 환경에서는 진동, 충격 등과 관련된 문제를 예방할 수 있어야 합니다. 그런데 우리는 폼팩터를 점점 더 작게 만들 수 있습니다. 분명히 파트너들과 칩 개발자들의 도움을 받아 그렇게 합니다.

흥미로운 점은 폼팩터를 더 작고 견고하게 만들면서 동시에 조작과 사용을 최대한 단순하게 만든다는 것입니다. 애플리케이션 관점에서 클라우드가 엣지에서 실행되는 것에 관한 것은 아닙니다. 그건 클라우드 네이티브 원칙을 엣지로 가져오는 것에 가깝습니다. 컨테이너나 VM[가상 머신]을 다양한 인프라와 환경으로 포팅할 수 있는 단순함과 용이함, 그리고 단일 창(single-pane-of-glass) 뷰를 가질 수 있습니다. 그러면 잠재적으로 멀티클라우드 환경도 가능해집니다. 엣지가 당신의 새로운 제어점, OT(운영 기술) 측면과 IT 측면 사이의 간극을 메우는 새로운 창 가시성이 될 수 있습니다. 매혹적입니다. 탐험의 새로운 프론티어이며, 미래 제품 로드맵의 많은 부분을 주도하고 있다고 생각합니다.

엣지 AI/ML 활용 사례

RTInsights: AI/ML 엣지 애플리케이션의 예를 들어줄 수 있습니까?

타벳: 몇 년간 작업해온 것 중 하나는 모빌리티 애플리케이션[자율주행차 등] 관련 과제입니다. 여러 조직 및 고객과 직접 협력해 이 시장에 다양한 역량을 제공하는 방법을 모색 중입니다. 조금 추상화해서 엣지 배포를 촉진할 수 있는 예들도 드리겠습니다. RSU(노변 장치), 차량 자체, 또는 그들이 수행하는 센싱에서 엣지 활용 사례가 있습니다. 이들 중 일부는 우리가 HD 맵(고해상도 맵)이라고 부르는 것의 확장 버전으로, 맵이 의미론적으로 풍부하고 컨텍스트 기반이며 준실시간으로 업데이트됩니다.

이는 전송되는 데이터의 양과 비용을 줄이기 위해 AI를 사용하는 한 예입니다. 특정 서비스에 필요한 것만 다룹니다. 예를 들어 비디오를 줄일 수 있습니다. 데이터 양을 줄이고, 감지하려는 매우 구체적인 객체에 집중할 수 있습니다. 그게 그 수준에서 도움이 될 수 있는 종류의 예들입니다.

다른 예들은 해당 엣지 기기의 건강 상태 관련입니다. 특정 기기, 엔진, 자동차 전체 등을 모니터링하면서 기기나 차량 수준에서 가능한 한 많은 분석을 수행하려 합니다. 특히 안전 이유(다양한 IoT 활용 사례에서 상태 기반 모니터링)로 그렇습니다.

소매 분야에서도 다른 예들이 있습니다. 다른 방식으로 많은 엣지 배포가 보일 것입니다. 엣지에서 클라우드, 데이터 센터로의 연결, 우리가 엣지 클라우드라고 부르는 곳에서 엣지에서 할 수 있는 만큼 많이 합니다. [엣지는] 데이터를 수집하고 필요한 모든 분석을 수행하는 곳입니다. 최종 사용자에게 더 나은 경험을 제공합니다. 소매의 경우, 그 경험을 개인화하여 비용을 최소화하면서 서비스를 최적화하려 합니다.

현재 우리가 처한 상황에서는 특히 헬스케어 관련 사례가 많습니다. 엣지에서 얼마나 많은 데이터를 수집하고 가능한 한 빨리 반응할 수 있을까요? 일반적으로 캘빈이 말했듯 수만, 수백만 대 기기 규모의 분산 환경을 이야기합니다. 이 영역에서 AI와 ML이 훨씬 더 큰 역할을 할 수 있습니다. 데이터가 계속 변하고, AI 역량으로 일부 애플리케이션이 스스로 적응합니다. 학습이 계속되고 그 수준에서 훈련이 계속됩니다.

이 모든 영역—헬스케어, 소매, 자율주행차, 모빌리티 일반, 기타 많은 영역—에서 예측 또는 상태 기반 유지보수를 통해 비용을 낮춥니다. 엣지는 기기 원격 제어 능력도 줍니다. 전문가들이 데이터 수집 현장에 안전하게 갈 수 없을 때, 원격으로 그 역량을 제공할 수 있고, AR이나 VR 같은 것도 포함할 수 있습니다. 하지만 엣지에서 사전 작업을 대부분 수행해 현장 방문이 필요하면 최소화할 수 있습니다. 몇 가지 예일 뿐입니다.

스미스: 중요한 두 가지를 더 추가하겠습니다. 하나는 안전과 보안 분야에서 큰 비즈니스를 하고 있다는 점입니다. 사이드가 언급했듯, 매우 큰 알고리즘을 실행하고 데이터를 처리하는 시나리오를 상상해 보세요. 예를 들어, 주유소 밖 공공장소에서 총소리가 났다고 가정해 봅시다. 취해야 할 조치를 파악하기 위해 많은 자동화된 즉각적 결정을 내려야 합니다. 한 가지는 오디오 관점의 총소리 인식이지만, 컴퓨터 비전 관점의 객체 인식과 연계해 실제로 무기인지, 단순히 차 시동 소리인지 확인하는 것입니다.

그런 다음 범인이 있다면, 지금은 데이터 센터에서 유래했을 수 있지만 엣지에서 실행될 수 있는 꽤 단순화된 알고리즘으로 차량 번호판 인식을 할 수도 있습니다. 그러면 도주 용의자의 번호판을 식별할 수 있습니다. 모든 게 자동화되고 엣지에서 실행됩니다. 카메라, 감시, 보안, 시민 일반 안전에 관련된 많은 활용 사례가 그 영역에 있습니다.

우리가 언급하지 않으면 안 될 또 다른 큰 활용 사례 영역은 스마트 시설을 위한 딥러닝입니다. 이는 도시바와 함께 꽤 오래전 시작한 산업 인터넷 컨소시엄의 테스트베드입니다. 출범 이래 SAS와 위프로도 합류해 각기 다른 가치를 더하고 있습니다.

최첨단으로 설계된 거대한 시설을 짓자는 게 원래 생각이었습니다. 2011년에 지어졌고, 당시 센서가 몇 개였더라, 사이드? 2만 개 정도?

타벳: 그보다 많을 겁니다. 2011년 건립 당시 3만 5천 개쯤 됐을 겁니다.

스미스: 3만 5천 개, 맞습니다. 완전히 새롭고 최첨단 시설이었지만, 설계자들은 한계를 밀어붙여 더 배우고 더 하길 원했습니다. 신경망이 매개변수 서버에 연결된 일련의 서버를 통해 구현되어, 건물이 핵심 시스템과 연계해 본질적으로 자기 학습을 하게 했습니다. 엘리베이터, 에스컬레이터, 물론 HVAC 시스템 같은 고비용 항목들에 대해 이야기합니다. 초기에는 이상 탐지와 사람이(AI 없이) 찾기 힘든 것들 간의 상관관계를 찾는 것이 목표였습니다.

예를 들어, 주방에서 일어나는 일들에 대한 매우 매력적인 발견들이 있었습니다. 데이터에 따르면 그 일이 비용을 증가시켰고, 그 행동 때문에 환기 특정 구역이 폐쇄되고 있었습니다. 인간이 조사하는 게 아니라 데이터가 찾아내기 시작하면 믿을 수 없는 것들을 발견할 수 있습니다. 진정한 딥 뉴럴 넷으로, 자기 학습 — 무엇을 찾아야 할지 스스로 가르치고, 인간이 스스로 결정하지 못할 교차 상관관계를 찾습니다. 정말 생각해 보면, 이 모든 것이 '엣지'에서 실행되었습니다. 모두 건물 내부에서 실행되었습니다. 물론 일부 핵심 처리는 데이터 센터에서 돌아갔습니다.

타벳: 더 최근 프로젝트 활용 사례에서, 우리는 HVAC와 건물 내 다른 것들을 다루는 이러한 자산들과 유사한 수많은 기기를 추가했습니다. 각 기기마다 자체 머신러닝 알고리즘이나 AI 알고리즘을 탑재해 자기 스스로 지속 가능하면서 동시에 서로 학습할 수 있게 했습니다. 캘빈의 이야기로 돌아가면, 이는 우리가 '자율적 AI'라고 부를 수 있는 종류를 점점 더 보게 될 방식으로 수행됩니다. 우리가 방향을 주지 않아도 시간이 지나면 자기 수평을 맞추고, 자기 학습을 통해 필요한 생산성 최적화를 위한 파라미터를 조정한다는 아이디어입니다.