AI를 최첨단으로 이끄는 요인

2020년에는 7억 5천만 개 이상의 에지 AI 칩(원격 데이터 센터가 아닌 기기에서 기계 학습 작업을 수행하거나 가속화하는 칩 또는 칩의 일부)이 판매되어 26억 달러의 매출을 기록할 것으로 예상합니다. 또한 엣지 AI 칩 시장은 전체 칩 시장보다 훨씬 빠르게 성장할 것입니다. 2024년까지 엣지 AI 칩의 판매량이 15억 개를 넘어설 것으로 예상하고 있습니다. 이는 전체 반도체 산업의 9% CAGR이라는 장기 예측치의 두 배 이상인 최소 20%의 연간 단위 판매 성장률을 나타냅니다.

이러한 에지 AI 칩은 고급 스마트폰, 태블릿, 스마트 스피커 및 웨어러블과 같은 점점 더 많은 소비자 기기에 적용될 것입니다. 또한 로봇, 카메라, 센서 및 기타 IoT(사물 인터넷) 장치와 같은 다양한 기업 시장에서도 사용될 것입니다.

소비자 에지 AI 칩 시장은 기업 시장보다 훨씬 크지만 2020년에서 2024년 사이에 18%의 CAGR이 예상되면서 더 천천히 성장할 것입니다. 엔터프라이즈 에지 AI 칩 시장은 예측된 CAGR과 함께 훨씬 빠르게 성장하고 있습니다. 같은 기간 동안 50%입니다.

그럼에도 불구하고 2020년 현재 소비자 기기 시장은 판매량과 달러 가치 모두에서 엣지 AI 칩 시장의 90% 이상을 차지할 것입니다. 이러한 에지 AI 칩의 대다수는 현재 사용 중인 모든 소비자 에지 AI 칩의 70% 이상을 차지하는 고급 스마트폰에 들어갈 것입니다. 따라서 2020년과 향후 몇 년 동안 AI 칩 성장은 주로 스마트폰에 의해 주도될 것입니다. 2020년에는 15억 6천만 대 스마트폰 시장의 3분의 1 이상이 엣지 AI 칩을 탑재할 것으로 예상됩니다.

극도로 프로세서 집약적인 요구 사항으로 인해 AI 계산은 거의 모든 장치가 로컬이 아닌 데이터 센터, 엔터프라이즈 코어 어플라이언스 또는 통신 에지 프로세서에서 원격으로 수행되었습니다. Edge AI 칩이 모든 것을 바꾸고 있습니다. 물리적으로 더 작고, 상대적으로 저렴하고, 훨씬 적은 전력을 사용하고, 훨씬 더 적은 열을 발생하므로 로봇과 같은 비소비자 장치뿐만 아니라 핸드헬드 장치에 통합할 수 있습니다. 이러한 장치가 프로세서 집약적인 AI 계산을 로컬에서 수행할 수 있도록 함으로써 에지 AI 칩은 대량의 데이터를 원격 위치로 보낼 필요성을 줄이거나 제거함으로써 사용성, 속도, 데이터 보안 및 개인 정보 보호 측면에서 이점을 제공합니다.

장치에서 처리를 유지하는 것이 개인 정보 및 보안 측면에서 더 좋습니다. 휴대폰을 떠나지 않는 개인 정보는 가로채거나 오용될 수 없습니다. 그리고 엣지 AI 칩이 전화기에 있으면 네트워크에 연결되어 있지 않아도 이 모든 작업을 수행할 수 있습니다.

물론 모든 AI 계산이 로컬에서 이루어져야 하는 것은 아닙니다. 일부 애플리케이션의 경우 원격 AI 어레이에서 처리할 데이터를 보내는 것이 적절하거나 더 선호될 수 있습니다. 예를 들어 장치의 에지 AI 칩이 처리할 데이터가 너무 많은 경우입니다. 사실, 대부분의 경우 AI는 하이브리드 방식으로 수행됩니다. 일부는 기기에서, 일부는 클라우드에서 수행됩니다. 주어진 상황에서 선호하는 조합은 정확히 어떤 종류의 AI 처리를 수행해야 하는지에 따라 달라집니다.

그림 1:인텔리전스가 포함될 수 있는 위치(이미지:Deloitte Insights)

스마트폰에서 엣지 AI의 경제성

엣지 AI 칩을 사용하는 기기는 스마트폰만이 아니다. 태블릿, 웨어러블, 스마트 스피커와 같은 다른 장치 범주에도 포함됩니다. 단기적으로 이러한 비-스마트폰 기기는 스마트폰보다 엣지 AI 칩 판매에 미치는 영향이 훨씬 적을 것입니다. 시장이 성장하지 않거나(태블릿의 경우) 시장 규모가 너무 작아 실질적인 차이를 만들 수 없기 때문입니다( 예를 들어, 스마트 스피커와 웨어러블을 결합하면 2020년에 1억 2,500만 대가 판매될 것으로 예상됩니다. 하지만 많은 웨어러블과 스마트 스피커가 엣지 AI 칩에 의존하기 때문에 이미 보급률이 높다.

그림 2:Edge AI 칩 시장(이미지:Deloitte Insights)

현재 가장 비싼 스마트폰(가격 분포의 상위 3분의 1에 해당하는 스마트폰)만이 엣지 AI 칩을 사용할 가능성이 높습니다. 스마트폰에 AI 칩을 탑재하는 것이 소비자에게 꼭 비싼 가격일 필요는 없습니다.

스마트폰의 엣지 AI 칩에 대한 상당히 건전한 추정치에 도달하는 것이 가능합니다. 현재까지 Samsung, Apple 및 Huawei의 전화 프로세서 이미지는 모든 기능이 보이는 노출된 실리콘 다이를 보여주므로 칩의 어느 부분이 어떤 기능에 사용되는지 식별할 수 있습니다. Samsung Exynos 9820용 칩의 다이 샷은 전체 칩 면적의 약 5%가 AI 프로세서 전용임을 보여줍니다. 전체 SoC 애플리케이션 프로세서에 대한 삼성의 비용은 70.50달러로 추정되며, 이는 디스플레이 다음으로 휴대폰에서 두 번째로 비싼 구성 요소로, 기기의 총 BOM(Bill of Material)의 약 17%를 차지합니다. AI 부분의 비용이 나머지 부품과 다이 면적 기준으로 동일하다고 가정하면 Exynos의 엣지 AI NPU(신경 처리 장치)는 칩 총 비용의 약 5%를 차지합니다. 이는 개당 약 $3.50로 환산됩니다.

그림 3:Samsung Exynos 9820용 칩의 다이 샷은 전체 칩 면적의 약 5%가 AI 프로세서 전용임을 보여줍니다. (이미지:ChipRebel, 주석:AnandTech)

마찬가지로 Apple의 A12 Bionic 칩은 다이 영역의 약 7%를 기계 학습에 할애합니다. 전체 프로세서에 대해 약 72달러로 추정되는 이는 엣지 AI 부분에 대해 5.10달러의 비용을 의미합니다. 제조업체 비용이 $52.50인 것으로 추정되는 Huawei Kirin 970 칩은 다이의 2.1%를 NPU에 할애하여 $1.10의 비용을 제시합니다. (다이 영역은 칩의 총 비용 중 AI에 들어가는 비율을 측정하는 유일한 방법은 아닙니다. 그러나 Huawei에 따르면 Kirin 970의 NPU에는 1억 5천만 개의 트랜지스터가 있으며 이는 칩의 총 55억 개 트랜지스터의 2.7%에 해당합니다. $1.42의 약간 더 높은 NPU 비용을 제안합니다.

그림 4:Apple의 A12 Bionic 칩은 다이 영역의 약 7%를 기계 학습에 할당합니다. (이미지:TechInsights / AnandTech)

이 비용 범위는 넓지만 NPU의 비용은 칩당 평균 $3.50라고 가정하는 것이 합리적일 수 있습니다. 5억 개의 스마트폰(태블릿, 스피커 및 웨어러블은 말할 것도 없고)을 곱하면 칩당 저렴한 가격에도 불구하고 큰 시장이 됩니다. 더 중요한 것은 제조업체에 평균 3.50달러의 비용과 최소 1달러일 경우 스마트폰 처리 칩에 전용 에지 AI NPU를 추가하는 것이 간단해 보이기 시작한다는 것입니다. 정상적인 마크업을 가정할 때 제조 비용에 1달러를 추가하면 최종 고객에게 2달러만 추가됩니다. 즉, NPU와 그에 따른 혜택(더 나은 카메라, 오프라인 음성 지원 등)을 1% 미만의 가격 인상으로 250달러 스마트폰에 넣을 수 있습니다.

AI 칩 소싱:사내 또는 타사?

스마트폰 및 기타 장치 유형을 제조하는 회사는 전화 모델 및 (때로는) 지역을 포함한 요인에 따라 결정을 내리면서 에지 AI 칩을 얻기 위해 다른 접근 방식을 취합니다. 일부는 전화 제조업체에 판매하는 전문 타사 회사에서 응용 프로그램 프로세서/모뎀 칩을 구입하지만 자체 전화를 만들지는 않습니다. Qualcomm과 MediaTek이 두 가지 대표적인 예입니다. 이 두 회사를 합하면 2018년 스마트폰 SoC 칩 시장의 약 60%를 차지했습니다.

Qualcomm과 MediaTek은 모두 다양한 가격으로 다양한 SoC를 제공합니다. 모든 제품에 에지 AI 칩이 포함되어 있는 것은 아니지만 고급 제품(Qualcomm의 Snapdragon 845 및 855 및 MediaTek의 Helio P60 포함)에는 일반적으로 포함됩니다. 반면에 Apple은 외부 AP 칩을 전혀 사용하지 않습니다. Apple은 A11, A12, A13 Bionic 칩과 같은 자체 SoC 프로세서를 설계하고 사용하며 모두 에지 AI가 있습니다.

Samsung 및 Huawei와 같은 다른 장치 제조업체는 하이브리드 전략을 사용하여 상업 시장 실리콘 공급업체로부터 일부 SoC를 구매하고 나머지는 자체 칩(예:Samsung의 Exynos 9820 및 Huawei의 Kirin 970/980)을 사용합니다.

엔터프라이즈 및 산업 분야에서 에지 AI를 놓고 경쟁하는 50개 이상의 AI 가속기 회사

스마트폰 등의 기기에 사용되는 엣지 AI 프로세서가 그렇게 뛰어나다면 기업용 애플리케이션에도 사용하지 않겠습니까? 이것은 실제로 일부 자율 드론과 같은 일부 사용 사례에서 이미 발생했습니다. 스마트폰 SoC 애플리케이션 프로세서가 장착된 드론은 네트워크 연결 없이도 기기에서 실시간으로 내비게이션 및 장애물 회피를 완벽하게 수행할 수 있습니다.

그러나 스마트폰이나 태블릿에 최적화된 칩은 많은 기업 또는 산업용 애플리케이션에 적합한 선택이 아닙니다. 앞서 논의한 바와 같이 스마트폰 SoC의 에지 AI 부분은 전체 면적의 약 5%, 총 비용의 약 $3.50이며 전체 SoC보다 약 95% 적은 전력을 사용합니다. 누군가가 단 비용이 적게 들고 전기를 덜 사용하며 더 작은 엣지 AI 부분(메모리와 같은 몇 가지 다른 필수 기능과 함께)?

글쎄요. 모두 합쳐 50여 개 기업이 다양한 종류의 AI 가속기를 개발하고 있는 것으로 알려졌다. 2019년에 출시된 독립형 에지 AI 칩은 한 번에 하나씩 약 80달러에 구매할 개발자를 대상으로 했습니다. 수천 또는 수백만 개의 이러한 칩은 장치 제조업체가 구매하는 데 훨씬 적은 비용이 소요될 것입니다. 현재로서는 스마트폰 에지 AI 칩을 프록시로 사용할 경우 평균 비용이 약 3.50달러라고 가정합니다.

독립형 에지 AI 프로세서는 상대적으로 저렴할 뿐만 아니라 소형이라는 장점이 있습니다. 또한 1~10와트를 소비하는 비교적 저전력입니다. 비교를 위해 16개의 GPU와 2개의 CPU로 구성된 데이터 센터 클러스터(매우 강력하지만)는 $400,000, 무게는 350파운드, 10,000와트의 전력을 소비합니다.

작업 중인 이러한 칩을 통해 에지 AI는 특히 IoT 애플리케이션과 관련하여 기업에 많은 새로운 가능성을 열어줄 수 있습니다. 기업은 에지 AI 칩을 사용하여 연결된 장치에서 데이터를 수집하는 것뿐만 아니라 분석하고 이 분석을 실행으로 전환하는 능력을 크게 향상시키면서 막대한 양의 데이터를 클라우드로 보내는 비용, 복잡성 및 보안 문제를 피할 수 있습니다. AI 칩이 해결하는 데 도움이 될 수 있는 문제는 다음과 같습니다.

데이터 보안 및 개인정보 보호. 데이터를 수집, 저장 및 클라우드로 이동하면 기업이 데이터 보호에 대해 경계하는 경우에도 필연적으로 조직이 사이버 보안 및 개인 정보 위협에 노출됩니다. 이 엄청나게 중요한 위험은 시간이 지남에 따라 해결해야 할 훨씬 더 중요해지고 있습니다. 개인 식별 정보에 대한 규정이 여러 관할 구역에서 등장하고 있으며, 소비자는 기업이 수집하는 데이터에 대해 점점 더 잘 알고 있습니다. 응답자의 80%는 기업이 소비자 개인 정보를 보호하기 위해 최선을 다하고 있다고 생각하지 않는다고 말했습니다. 스마트 스피커와 같은 일부 기기는 환자의 개인정보가 훨씬 더 엄격하게 규제되는 병원과 같은 환경에서 사용되기 시작했습니다.

에지 AI 칩은 대량의 데이터를 로컬에서 처리할 수 있도록 함으로써 개인 또는 기업 데이터가 가로채거나 오용될 위험을 줄일 수 있습니다. 예를 들어 머신 러닝 처리 기능이 있는 보안 카메라는 비디오를 분석하여 비디오의 어떤 부분이 관련이 있는지 확인하고 해당 부분만 클라우드로 전송함으로써 개인 정보 위험을 줄일 수 있습니다. 머신 러닝 칩은 또한 광범위한 음성 명령을 인식할 수 있으므로 클라우드에서 더 적은 오디오를 분석해야 합니다. 보다 정확한 음성 인식은 스마트 스피커가 "깨어난 단어"를 보다 정확하게 감지하여 관련 없는 대화를 듣지 않도록 하는 추가 보너스를 제공할 수 있습니다.

낮은 연결. 클라우드에서 데이터를 처리하려면 장치가 연결되어 있어야 합니다. 그러나 어떤 경우에는 장치를 연결하는 것이 비실용적입니다. 드론을 예로 들어보자. 드론이 작동하는 위치에 따라 연결을 유지하는 것이 어려울 수 있으며 연결 자체와 클라우드에 데이터 업로드 모두 배터리 수명을 단축할 수 있습니다. 호주 뉴사우스웨일즈에서는 머신러닝이 내장된 드론이 해변을 순찰하여 수영자를 안전하게 보호합니다. 그들은 인터넷 연결 없이도 조수에 휩쓸린 수영 선수를 식별하거나 공격 전에 수영 선수에게 상어와 악어를 경고할 수 있습니다.

(너무) 큰 데이터. IoT 장치는 엄청난 양의 데이터를 생성할 수 있습니다. 예를 들어, Airbus A-350 제트기는 6,000개 이상의 센서를 가지고 있으며 매일 2.5테라바이트의 데이터를 생성합니다. 전 세계적으로 보안 카메라는 하루에 약 2,500페타바이트의 데이터를 생성합니다. 저장 및 분석을 위해 이 모든 데이터를 클라우드로 보내는 것은 비용이 많이 들고 복잡합니다. 센서든 카메라든 엔드포인트에 머신 러닝 프로세서를 설치하면 이 문제를 해결할 수 있습니다. 예를 들어 카메라에는 디지털 이미지를 분석하거나 사전 처리하는 데 특화된 저전력 SoC 프로세서인 비전 처리 장치(VPU)가 장착될 수 있습니다. 에지 AI 칩이 내장된 기기는 실시간으로 데이터를 분석하고 클라우드에서 추가 분석과 관련된 것만 전송하고 나머지는 "잊어버려" 스토리지 및 대역폭 비용을 절감할 수 있습니다.

전력 제약. 저전력 기계 학습 칩을 사용하면 배터리가 작은 장치라도 과도한 전력 소모 없이 AI 계산을 수행할 수 있습니다. 예를 들어, Arm 칩은 호흡 흡입기에 내장되어 흡입 폐 용량 및 폐로의 약물 흐름과 같은 데이터를 분석합니다. 인공 지능 분석은 흡입기에서 수행되고 그 결과는 스마트폰 앱으로 전송되어 의료 전문가가 천식 환자를 위한 맞춤 치료를 개발하는 데 도움이 됩니다. 현재 사용 가능한 저전력 에지 AI NPU 외에도 기업은 마이크로컨트롤러 단위만큼 작은 장치에 대한 딥 러닝인 "초소형 머신 러닝"을 개발하기 위해 노력하고 있습니다. 예를 들어 Google은 마이크로컨트롤러가 데이터를 분석할 수 있도록 하는 TensorFlow Lite 버전을 개발 중이며 칩 외부로 보내야 하는 데이터를 몇 바이트로 압축합니다.

낮은 지연 시간 요구사항 유선 또는 무선 네트워크를 통해 원격 데이터 센터에서 AI 계산을 수행하는 것은 최상의 경우 최소 1-2밀리초, 최악의 경우 수십 또는 수백 밀리초의 왕복 대기 시간을 의미합니다. 에지 AI 칩을 사용하여 기기에서 AI를 수행하면 이를 나노초로 줄일 수 있습니다. 이는 기기가 데이터를 거의 즉각적으로 수집, 처리 및 처리해야 하는 용도에 매우 중요합니다. 예를 들어, 자율 주행 차량은 물체를 식별하기 위해 컴퓨터 비전 시스템과 차량 기능을 제어하는 ​​센서에서 방대한 양의 데이터를 수집하고 처리해야 합니다. 그런 다음 안전한 작동을 위해 이 데이터를 회전, 제동 또는 가속 시점과 같은 결정으로 즉시 변환해야 합니다. 이를 위해 자율주행 차량은 차량 자체에서 수집한 많은 데이터를 처리해야 합니다. 짧은 대기 시간은 로봇에게도 중요하며 로봇이 공장에서 나와 사람과 함께 일하게 되면서 더욱 중요해질 것입니다.

결론:에지 AI는 데이터 집약적인 애플리케이션에 필수적입니다.

엣지 AI 칩의 확산은 소비자와 기업 모두에게 중대한 변화를 가져올 것입니다. 소비자의 경우 에지 AI 칩을 사용하면 휴대전화 잠금 해제, 음성 비서와 대화, 극도로 어려운 조건에서 인터넷 연결 없이도 멋진 사진 촬영에 이르기까지 다양한 기능을 사용할 수 있습니다.

그러나 장기적으로 엣지 AI 칩의 더 큰 영향은 기업에서 IoT 애플리케이션을 완전히 새로운 수준으로 끌어올릴 수 있는 엔터프라이즈에서의 사용에서 올 수 있습니다. AI 칩으로 구동되는 스마트 기계는 기존 시장을 확장하고 기존 기업을 위협하며 제조, 건설, 물류, 농업 및 에너지와 같은 산업에서 이익이 분할되는 방식을 전환하는 데 도움이 될 수 있습니다. 방대한 양의 데이터를 수집, 해석하고 즉시 조치를 취하는 능력은 미래학자들이 보편화되고 있는 비디오 모니터링, 가상 현실, 자율 드론 및 차량 등 많은 데이터 집약적인 애플리케이션에 매우 중요합니다. 그 미래는 대부분 에지 AI 칩이 장치에 지능을 가져오는 것을 가능하게 하는 것에 달려 있습니다.

Duncan Stewart와 Jeff Loucks는 Deloitte의 기술, 미디어 및 통신 센터에 있습니다. 이 기사는 TMT Predictions 2020 보고서를 위해 Deloitte에서 원래 게시한 기사를 기반으로 합니다.