엣지 AI: 온디바이스 인텔리전스 가속화로 소비자 및 기업 시장 변혁

2020년 애널리스트들은 7억 5천만 개 이상의 엣지 AI 칩(하드웨어에서 직접 머신러닝을 수행하거나 가속화하는 디바이스)이 판매되어 약 26억 달러의 수익을 창출할 것으로 예측했습니다. 엣지 AI 부문은 전체 반도체 산업을 앞지를 것으로 예상되며, 단위 판매량은 2024년까지 15억 개를 초과할 것으로 예상되어 전체 시장의 9% CAGR 대비 최소 20%의 연간 성장률을 암시합니다.

이 칩들은 점점 더 하이엔드 스마트폰, 태블릿, 스마트 스피커, 웨어러블, 로봇, 카메라, 센서, 일반 IoT 디바이스를 포함한 증가하는 기업 장비에서 발견됩니다.

소비자 부문이 여전히 더 크지만, 2020~2024년 18% CAGR로 성장할 것으로 예상되는 반면, 기업 부문은 같은 기간 50%로 가속화될 것으로 예상됩니다.

2020년 소비자 디바이스는 엣지 AI 칩 시장의 볼륨과 가치 기준으로 90% 이상을 차지했습니다. 하이엔드 스마트폰이 사용 중인 소비자 유닛의 70% 이상을 차지했으며, 그해 15억 6천만 대 스마트폰 출하량의 1/3 이상이 엣지 AI 칩을 포함했을 가능성이 높습니다.

역사적으로 AI 워크로드는 계산 강도 때문에 데이터 센터에서 처리되었습니다. 그러나 엣지 AI 칩은 더 작고, 저렴하며, 전력을 훨씬 적게 소비하고, 열을 최소화하여 휴대용 기기와 로봇에 통합할 수 있게 합니다. 데이터를 로컬에서 처리함으로써 지연시간을 줄이고, 사용성을 개선하며, 개인 정보를 기기에 유지함으로써 프라이버시와 보안을 강화합니다.

디바이스 리소스가 불충분할 때, 온디바이스와 클라우드 처리를 결합한 하이브리드 접근 방식을 사용할 수 있습니다. 최적의 조합은 특정 AI 워크로드에 따라 달라집니다.

그림 1: 인텔리전스를 임베드할 수 있는 위치 (이미지: Deloitte Insights)

스마트폰에서의 엣지 AI 경제성

스마트폰이 시장을 지배하지만, 태블릿, 웨어러블, 스마트 스피커 같은 다른 카테고리도 엣지 AI 칩을 통합합니다. 2020년 태블릿은 대체로 정체된 반면, 스마트 스피커와 웨어러블은 합쳐서 1억 2,500만 대 출하가 예상되어 전체 판매에 미치는 영향은 제한적입니다. 그럼에도 불구하고 이들 디바이스의 침투율은 이미 높습니다.

그림 2: 엣지 AI 칩 시장 (이미지: Deloitte Insights)

현재 가격 스펙트럼의 상위 3분의 1에 해당하는 가장 비싼 스마트폰만 엣지 AI 칩을 탑재하는 경향이 있지만, 증분 비용은 미미합니다.

Samsung, Apple, Huawei의 실리콘 다이 샷을 조사하면 SoC의 AI 전용 영역 비중을 추정할 수 있습니다. 예를 들어 Samsung의 Exynos 9820은 다이 면적의 약 5%를 NPU에 할당합니다. 총 SoC 비용이 약 70.50달러인 경우, AI 부분은 그 비용의 약 5%인 칩당 약 3.50달러를 차지합니다.

그림 3: Samsung Exynos 9820 다이 샷, ~5% AI 영역 표시 (이미지: ChipRebel, 주석: AnandTech)

Apple의 A12 Bionic은 다이의 약 7%를 머신러닝에 할당하여 약 5.10달러의 추정 비용으로 이어집니다. Huawei의 Kirin 970은 면적의 2.1%를 NPU에 할당하여, 면적 또는 트랜지스터 수를 지표로 사용하느냐에 따라 1.10달러에서 1.42달러 사이의 비용을 시사합니다.

그림 4: Apple A12 Bionic, 다이의 ~7%를 머신러닝에 할당 (이미지: TechInsights / AnandTech)

넓은 비용 범위에도 불구하고, NPU당 평균 3.50달러는 합리적인 추정입니다. 5억 대 스마트폰에 태블릿, 스피커, 웨어러블을 더해 곱하면 시장 볼륨이 상당합니다. 중요하게도, 1달러 제조 비용 추가는 일반적으로 소비자 가격 2달러 인상으로 이어져, 엣지 AI NPU가 마진 영향 없이 250달러 가격대의 폰에도 탑재될 수 있게 합니다.

AI 칩 소싱: 인하우스 또는 서드파티?

디바이스 제조사는 제품 티어와 지리에 따라 소싱 전략을 선택합니다. Qualcomm과 MediaTek 같은 회사는 많은 제조사에 SoC를 공급하며 2018년 스마트폰 SoC 시장의 약 60%를 점유했습니다. 그들의 하이엔드 라인인 Snapdragon 845, 855, MediaTek의 Helio P60은 보통 엣지 AI 역량을 통합합니다.

반면 Apple은 자체 SoC(A11~A13 Bionic)를 설계하고 AI를 전반에 내장합니다. Samsung과 Huawei는 서드파티에서 일부 SoC를 구매하면서 하이엔드 디바이스에는 자체 Exynos와 Kirin 칩을 배포하는 하이브리드 모델을 채택합니다.

기업 및 산업용 엣지 AI를 놓고 50개 이상 AI 가속기 기업 경쟁

스마트폰급 칩이 소비자 용도에는 잘 작동하지만, 많은 기업 및 산업 애플리케이션은 더 집중되고 전력 효율적인 솔루션을 요구합니다. SoC의 AI 부분만 차지하는 독립형 NPU는 전체 SoC보다 95% 적은 전력을 사용하고 훨씬 저렴합니다.

오늘날 50개 이상의 기업이 독립형 엣지 AI 가속기를 개발하고 있습니다. 2019년 개발자들은 단일 칩을 약 80달러에 구매할 수 있었습니다. 대량으로 제조사들은 1달러에서 몇 달러까지 구매할 수 있습니다. 스마트폰 NPU를 대리 지표로 사용하면 평균 3.50달러 비용을 가정하겠습니다.

독립형 칩은 저렴할 뿐만 아니라 작고 저전력으로, 1~10W를 소모합니다. 반면 16-GPU 데이터센터 클러스터는 40만 달러, 무게 350파운드, 10kW를 소비합니다.

엣지 AI는 기업이 데이터를 로컬에서 처리하게 하여 방대한 데이터셋을 클라우드로 전송할 필요를 줄이고, 비용을 절감하며, 아키텍처를 단순화하고, 보안 위험을 완화합니다.

데이터 보안과 프라이버시

로컬 처리는 사이버 위협과 규제 감시에 대한 노출을 최소화합니다. 예를 들어 스마트 카메라는 영상을 온디바이스에서 분석하고 관련 세그먼트만 클라우드로 전송할 수 있으며, 스마트 스피커는 웨이크 워드 탐지를 개선하여 불필요한 오디오 캡처를 줄일 수 있습니다.

낮은 연결성

자율 드론 같은 네트워크 열악한 환경에서 동작하는 기기는 온디바이스 AI로 연결성에 의존하지 않고 실시간 의사결정이 가능합니다.

대용량 데이터

IoT 배포는 하루에 테라바이트의 데이터를 생성할 수 있습니다. 엣지 AI는 이 데이터를 필터링하고 사전 처리하여 실행 가능한 통찰만 전송함으로써 스토리지와 대역폭 비용을 줄입니다.

전력 제약

저전력 가속기는 사용 패턴을 로컬에서 분석하고 간결한 지표를 스마트폰으로 전송하는 흡입기 같은 소형 배터리 디바이스를 가능하게 합니다. Google의 TensorFlow Lite for microcontrollers 같은 노력은 딥러닝을 마이크로컨트롤러로 밀어넣어 'Tiny Machine Learning'을 가능하게 합니다.

낮은 지연시간 요구사항

온디바이스 추론은 데이터 센터까지의 왕복 지연시간을 제거합니다. 이는 자율주행차, 로봇, 기타 안전 중요한 애플리케이션에 중요할 수 있습니다.

결론: 엣지 AI는 데이터 집약적 애플리케이션에 필수적

소비자는 안전한 기기 잠금 해제, 오프라인 음성 비서, 지속적인 연결 없이 고품질 사진 같은 기능의 혜택을 누릴 것입니다. 기업에게 엣지 AI는 새로운 비즈니스 모델을 열고, 운영 효율을 개선하며, 제조, 물류, 농업, 에너지를 실시간 온디바이스 분석을 가능하게 함으로써 변혁할 수 있습니다.

Duncan Stewart와 Jeff Loucks는 Deloitte의 기술, 미디어, 통신 센터 소속입니다. 이 기사는 Deloitte가 TMT Predictions 2020 보고서를 위해 원래 발행한 기사를 기반으로 합니다.