Vision AI의 수수께끼를 풀기 위해 가치 사슬을 끌어올리는 도구

일상적인 제품에 비전을 추가함으로써 얻을 수 있는 이점은 많은 산업 및 부문의 관심을 끌고 있습니다. 하지만 실제로 어떻게 카메라에서 데이터를 얻고, 추론 알고리즘을 수행하기 위해 기기에 기계 학습을 내장하고, 유용한 것을 처리할 수 있게 합니까?

모든 시스템 설계에서와 마찬가지로 답은 올바른 소프트웨어, 도구, 라이브러리, 컴파일러 등을 보유하는 것입니다. 이러한 기능이 일반적으로 엔지니어가 아닌 사람의 범위를 벗어난다는 것은 놀라운 일이 아닙니다. 그러나 임베디드 시스템 개발자들 사이에서도 비전 시스템 설계에 필요한 지식과 기술은 부족한 것으로 간주됩니다.

Edge AI and Vision Alliance의 설립자인 Jeff Bier는 2021 Embedded Vision Summit에 앞서 EE Timesahead와의 브리핑에서 설명했듯이 가장 큰 문제 중 하나는 임베디드 비전 시스템 개발에 사용할 수 있는 소프트웨어와 도구에 대한 인식 부족입니다. . 알고리즘과 실리콘에 대한 상당한 투자와 연구가 있었지만 컴파일러, 최적화된 함수 라이브러리 등 이들 사이를 중재하는 소프트웨어 도구는 다소 간과되어 왔다고 Bier는 말했습니다.

올바른 소프트웨어 도구, 컴파일러 및 라이브러리를 사용하면 특정 마이크로컨트롤러 또는 프로세서에 대한 알고리즘을 매우 효율적으로 구현할 수 있습니다. 그러나 "지난 30년 동안 반도체 회사는 일반적으로 소프트웨어 도구에 과소 투자했습니다."라고 임베디드 시스템 산업 및 특히 신호 처리 분야의 베테랑인 Bier가 말했습니다. “[소프트웨어]는 종종 필연적인 악으로 간주됩니다. 이는 매우 비용에 민감한 비즈니스의 비용 센터입니다. 임베디드 소프트웨어 개발자는 PC 또는 클라우드 개발자가 가지고 있는 것과 비교하여 [사용 가능한] 도구를 보고 사랑받지 못하는 의붓자식처럼 느낄 수 있습니다.”

그는 이 주장을 한 단계 더 발전시키면서 "임베디드 시스템 전문 지식을 가지고 있을 수 있지만 이러한 개발자는 이미지 데이터나 심층 신경망으로 작업한 적이 없을 수도 있습니다."라고 덧붙였습니다.

기술은 큰 도전이라고 Bier는 말했습니다. "우리는 스프레드시트 계산을 수행하고 '예, 우리 애플리케이션에서 충분한 성능으로 이러한 종류의 심층 신경망을 실행할 수 있습니다.'라고 말했을 수 있습니다. 하지만 그 방법을 알고 있습니까? 우리에게 기술이 있습니까? 과거에 이 기술을 사용할 기회가 없었기 때문에 대부분의 조직에서 대답은 아니오입니다. 상업 세계에서 비교적 새로운 기술이기 때문에 전문 지식이 없습니다. 회사에 기계 학습 부서나 컴퓨터 비전 부서가 없습니다.

"지난 몇 년 동안 이것은 컴퓨터 비전과 심층 신경망의 상업적 적용과 관련하여 정말 큰 병목 현상으로 바뀌었습니다. 단지 노하우일 뿐입니다."

그러나 기업들이 지난 몇 년 동안 기술 격차를 해소하기 위해 노력함에 따라 이 기술은 점점 더 접근하기 쉬워지고 있습니다. Bier는 "지식과 기술의 격차는 꽤 컸지만 점점 줄어들고 있다"면서 "큰 회사와 작은 회사가 이 문제를 주도하고 있다"고 덧붙였습니다. 대기업은 인텔입니다. 작은 것은 Edge Impulse입니다.

Bier는 "인텔은 이러한 추세를 거부하고 소프트웨어 도구에 많은 투자를 할 의향이 있다는 점에서 저에게 종종 깊은 인상을 남겼습니다."라고 말했습니다. “예를 들어 에지 컴퓨터 비전 및 추론을 위한 OpenVINO 도구 체인과 에지용 DevCloud가 있습니다. Edge Impulse도 클라우드 기반 환경입니다. 임베디드 개발자에게는 그 [클라우드 환경]이 이상하게 느껴집니다. 개발자 보드, 워크스테이션, 도구 등 모든 것이 책상 위에 있는 경우가 많으며 인터넷 연결도 필요하지 않습니다. 모든 것이 매우 현지적입니다. 그래서 '클라우드에 코드를 넣어라'라고 말하고 클라우드에서 도구를 실행하는 것이 매우 이상하게 느껴집니다."

이 추세는 배포 시간과 기술 격차를 해결합니다. 임베디드 개발자들이 자주 겪는 좌절은 보드와 도구에 접근하여 적절하게 설치하는 것이라고 Bier는 말했습니다. 타임라인은 "보통 몇 주, 때로는 몇 개월 단위로 측정되며, 특히 그 끝에 필요한 것이 아니라는 것을 깨닫고 다른 보드에서 프로세스를 반복해야 하는 경우 고통스럽습니다." 예를 들어, 프로세스가 끝날 때 "더 높은 성능이나 다른 I/O 인터페이스 세트를 갖춘 다음 단계가 필요합니다."라는 사실을 알게 될 수 있습니다.

그러나 공급업체가 “클라우드의 모든 개발 보드를 기계에 연결하고 마음대로 액세스할 수 있다면 엄청난 편리함을 제공합니다. 마찬가지로, 그들은 최신 버전의 소프트웨어 도구를 가지고 있으며 그들 사이의 모든 종속성을 분류했습니다."

비전 구현을 위한 기반 마련
그렇다면 스마트 시티, 공장, 소매업 또는 기타 애플리케이션에서 객체 감지 및 분석과 같은 기능을 활성화하기 위해 임베디드 비전의 배포 속도를 높이는 방법은 무엇입니까?

Bier가 설명한 문제점을 인식한 기업은 이를 해결하고 있습니다. 일부는 이제 클라우드 기반 개발 시스템과 같은 도구를 제공하여 코드 또는 데이터를 제공하고 거의 즉시 평가를 받을 수 있습니다. 다른 사람들은 단순히 카메라 출력을 연결하고 일반적인 응용 프로그램에 대한 추론 알고리즘을 제공하는 라이브러리나 앱에서 선택할 수 있는 참조 디자인을 제공합니다.

이전 진영에서 Edge 및 Edge Impulse용 Intel DevCloud는 최신 도구 및 소프트웨어에 쉽게 액세스하여 대부분의 문제를 해결하는 클라우드 기반 플랫폼을 제공합니다. 후자의 경우 Xilinx 및 기타 업체는 더 높은 수준의 추상화에서 도구와 함께 배포할 수 있는 프로덕션 준비 애플리케이션이 포함된 완전한 시스템 온 모듈을 제공하기 시작하여 좀 더 전문적인 기술이 필요하지 않습니다.

클라우드에서 AI 추론 프로토타입, 벤치마크 및 테스트
Edge용 Intel DevCloud를 사용하면 CPU, 통합 GPU, FPGA 및 VPU(비전 처리 장치)를 비롯한 다양한 Intel 하드웨어에서 AI 추론 응용 프로그램을 개발, 프로토타입, 벤치마킹 및 테스트할 수 있습니다. Jupyter Notebook 인터페이스가 있는 이 플랫폼에는 빠르게 시작하고 실행하는 데 필요한 모든 것이 미리 로드된 자습서와 예제가 포함되어 있습니다. 여기에는 최신 버전의 OpenVINO 툴킷 Intel 배포의 사전 훈련된 모델, 샘플 데이터 및 실행 코드와 딥 러닝을 위한 기타 도구가 포함됩니다. 모든 지원 장치는 최적의 성능과 추론 실행을 위해 구성됩니다.

개발자에게 가장 중요한 이점은 플랫폼이 사용자 측에서 하드웨어 설정을 필요로 하지 않는다는 것입니다. Jupyter Notebook의 브라우저 기반 개발 환경을 통해 개발자는 브라우저 내에서 코드를 실행하고 결과를 즉시 시각화할 수 있습니다. 이를 통해 인텔의 클라우드 환경에서 컴퓨터 비전 솔루션의 프로토타입을 만들고 사용 가능한 하드웨어 리소스의 모든 조합에서 실행되는 코드를 볼 수 있습니다.

이 클라우드 기반 제품에는 세 가지 주요 이점이 있습니다. 첫째, 하드웨어 선택 마비 문제를 해결합니다. 개발자는 광범위한 하드웨어에서 원격으로 AI 애플리케이션을 실행하여 추론 실행 시간, 전력 소비 및 비용과 같은 요소를 기반으로 솔루션에 가장 적합한 것을 결정할 수 있습니다.

둘째, 최신 Intel 에지 하드웨어에 대한 즉각적인 원격 액세스를 제공합니다. 소프트웨어 측면에서는 최신 버전의 Intel Distribution of OpenVINO 툴킷 및 호환 가능한 에지 하드웨어에 즉시 액세스할 수 있기 때문에 오래된 소프트웨어를 처리해야 하는 문제를 해결합니다.

셋째, 비교하기 쉬운 나란히 형식으로 애플리케이션별 성능 벤치마크에 대한 액세스를 제공합니다.

(Edge용 Intel DevCloud를 사용하여 개체 감지 모델을 실행하는 방법에 대한 자습서는 여기에서 볼 수 있습니다.)

클라우드에서 모델을 구축하고 실시간으로 진행 상황 확인
또 다른 접근 방식은 데이터를 클라우드 플랫폼에 공급하여 교육 모델을 시각화 및 생성하고 임베디드 장치에 배포하는 것입니다. Edge Impulse는 박사 학위 없이도 에지 장치에 기계 학습을 간단하게 추가하는 것을 목표로 하는 클라우드 기반 개발 환경을 제공합니다. 회사에 따르면 기계 학습에서.

이 플랫폼을 통해 사용자는 현장에서 수집한 이미지 데이터를 가져오고 해당 데이터를 해석하는 분류기를 빠르게 구축하고 생산 저전력 장치에 모델을 다시 배포할 수 있습니다. Edge Impulse 웹 플랫폼의 핵심은 획득한 모든 데이터를 보고 레이블을 지정하고, 데이터를 보강 및 변환하기 위한 전처리 블록을 생성하고, 이미지 데이터 세트를 시각화하고, 사용자 인터페이스에서 바로 훈련 데이터에 대한 모델을 분류 및 검증하는 기능입니다.

컴퓨터 비전 모델을 처음부터 구축하는 것은 상당히 어려울 수 있기 때문에 Edge Impulse는 전이 학습 프로세스를 사용하여 모델을 더 쉽고 빠르게 훈련할 수 있습니다. 여기에는 잘 훈련된 모델을 피기백하고 신경망의 상위 계층만 다시 훈련하는 작업이 포함되어 훨씬 더 짧은 시간에 훈련하고 훨씬 더 작은 데이터 세트로 작업하는 훨씬 더 안정적인 모델로 이어집니다. 모델이 설계, 훈련 및 검증되면 이 모델을 장치에 다시 배포할 수 있습니다. 그러면 모델은 대기 시간 최소화와 같은 모든 고유한 이점과 함께 인터넷 연결 없이 장치에서 실행할 수 있으며 최소 전력 소비로 실행됩니다. 전체 모델은 임베디드 소프트웨어에 포함될 수 있는 단일 C++ 라이브러리의 전처리 단계, 신경망 가중치 및 분류 코드와 함께 패키지됩니다.

더 높은 수준의 추상화로 이동
공급업체가 제공하는 또 다른 접근 방식은 모듈 기반 시스템을 제공하고 더 높은 수준의 추상화에서 설계를 가능하게 하여 개발 시간을 단축하는 것입니다. Xilinx는 자사의 새로운 SOM(Systems-on-Module) 접근 방식을 통해 비전 AI의 복잡성 증가와 에지에서 AI를 구현하는 문제를 해결함으로써 비전 시스템의 개발 시간을 최대 9개월까지 단축할 수 있다고 말했습니다.

Xilinx는 최근 새로운 SOM 포트폴리오의 첫 번째 제품인 Kria K26 SOM을 발표했습니다. 특히 스마트 시티 및 스마트 공장의 비전 AI 애플리케이션을 대상으로 하는 Kria K26 SOM과 즉시 사용 가능한 저비용 개발 키트인 Kria KV260 AI 비전 스타터 키트.

Xilinx의 산업, 비전 및 의료 담당 이사인 Chetan Khona는 새로운 모듈 제품군 출시를 위한 기자 브리핑에서 “생산 준비 시스템은 [임베디드 비전 AI]의 신속한 배포에 중요합니다. 고객들은 디바이스 기반 설계가 아닌 모듈 기반 설계를 사용함으로써 개발 시간을 최대 9개월까지 절약할 수 있다”고 말했다. 그는 스타터 키트를 사용하면 사용자가 "FPGA 경험 없이도" 1시간 이내에 시작할 수 있다고 덧붙였습니다. 사용자는 카메라, 케이블 및 모니터를 연결하고 프로그래밍된 microSD 카드를 삽입하고 보드의 전원을 켠 다음 원하는 가속 응용 프로그램을 선택하여 실행할 수 있습니다.

Kria SOM 포트폴리오는 하드웨어 및 소프트웨어 플랫폼을 생산 준비가 된 비전 가속 애플리케이션과 결합합니다. 이러한 턴키 애플리케이션은 모든 FPGA 하드웨어 설계 작업을 제거합니다. 소프트웨어 개발자는 TensorFlow, Pytorch 또는 Café 프레임워크는 물론 C, C++, OpenCL 및 Python 프로그래밍 언어와 같은 친숙한 디자인 환경을 사용하여 맞춤형 AI 모델과 애플리케이션 코드를 통합하고 선택적으로 비전 파이프라인을 수정하기만 하면 됩니다.

Kria SOM은 또한 표준 Yocto 기반 PetaLinux를 지원하여 임베디드 개발자를 위한 사용자 정의 및 최적화를 가능하게 합니다. Xilinx는 Canonical과의 협력도 진행 중이며 AI 개발자가 사용하는 인기 있는 Linux 배포판인 Ubuntu Linux 지원을 제공합니다. 이를 통해 AI 개발자와 널리 친숙해지고 기존 애플리케이션과의 상호 운용성을 제공합니다. 고객은 두 환경 모두에서 개발하고 프로덕션에 대해 두 가지 접근 방식을 모두 취할 수 있습니다. 두 환경 모두 소프트웨어 인프라와 유용한 유틸리티가 미리 구축되어 제공됩니다.

우리는 임베디드 비전 시스템 개발을 위한 배치 시간뿐만 아니라 기술과 지식 격차를 해결하기 위해 벤더들이 취하고 있는 세 가지 접근 방식을 강조했습니다. 클라우드 기반 접근 방식은 모델을 생성 및 교육하는 기능을 "민주화"하고 임베디드 장치에 매우 빠르게 배포할 수 있도록 하드웨어를 평가하는 도구를 제공합니다. 그리고 앱 라이브러리와 함께 모듈 또는 참조 디자인을 제공하는 접근 방식을 통해 AI 개발자는 기존 도구를 사용하여 임베디드 비전 시스템을 빠르게 만들 수 있습니다. 이것들은 모두 우리를 개발 보드와 도구를 다른 방식으로 바라보게 만들고 있습니다. 그들은 가치 사슬을 위로 이동하여 임베디드 비전의 미스터리를 제거하고 기본적인 수준의 작업은 공급업체의 도구와 모듈에 맡깁니다.

---

관련 콘텐츠 :

<울>

전환점에 내재된 비전

임베디드 비전 및 에지 AI에서 주목해야 할 5가지 트렌드

기계가 보고 있는 것을 완전히 이해할 수 있을까요?

자일링스 SOM은 에지 AI 및 임베디드 비전의 광범위한 채택을 목표로 합니다.

Embedded Vision Summit:소형 FPGA에서 ML 인식

GWM, 새로운 SUV에 Ambarella AI 비전 SoC 채택

AImotive는 Nextchip Apache5에서 98%의 에지 비전 효율성을 보여줍니다.

단일 배터리로 '수년간' 지속되는 저전력 AI 비전 보드

심도 깊은 내시경 검사를 위해 의료 이미지 센서를 축소한 OmniVision