툴 혁신이 임베디드 시스템의 비전 AI를 단순화하는 방법

일상 제품에 비전을 통합하면 산업 전반에 혁신적 이점을 제공하지만, 카메라 데이터 추출, 머신러닝 모델 임베딩, 실행 가능한 인사이트 도출은 여전히 복잡한 과제입니다.

핵심은 적절한 소프트웨어, 툴, 라이브러리, 컴파일러를 선택하는 데 있습니다. 이러한 리소스는 일반적으로 비엔지니어에게 접근이 어렵고, 많은 임베디드 개발자조차 비전 시스템 설계에 필요한 전문 지식이 부족합니다.

주요 걸림돌 중 하나는 임베디드 비전 개발을 돕는 소프트웨어와 툴에 대한 인지도 부족입니다. Edge AI and Vision Alliance 창립자 Jeff Bier가 2021 Embedded Vision Summit을 앞두고 EE Times 브리핑에서 설명한 바에 따르면, 알고리즘과 실리콘에는 막대한 투자와 연구가 이뤄졌지만, 그 사이를 매개하는 소프트웨어 툴(컴파일러, 최적화된 함수 라이브러리 등)은 다소 소외되어 왔다고 합니다.

적절한 소프트웨어 툴, 컴파일러, 라이브러리를 사용하면 특정 마이크로컨트롤러나 프로세서에 알고리즘을 매우 효율적으로 구현할 수 있습니다. 하지만 "지난 30년간 반도체 기업들은 소프트웨어 툴에 과소투자해왔다"고 Bier는 말합니다. 임베디드 시스템 업계 베테랑이자 신호 처리 전문가인 그는 "[소프트웨어]는 흔히 필수악으로 여겨지며, 비용 민감한 비즈니스에서 코스트 센터로 취급됩니다. 임베디드 소프트웨어 개발자로서 PC나 클라우드 개발자들이 누리는 툴과 비교하면 버림받은 계부 자식 같은 기분이 듭니다."

더 나아가 그는 "임베디드 시스템 전문성이 있더라도 이미지 데이터나 심층 신경망을 다뤄본 적이 없을 수 있다"고 덧붙였습니다.

기술 격차는 큰 과제라고 Bier는 말합니다. "스프레드시트 계산으로 '이 심층 신경망을 우리 애플리케이션에서 충분한 성능으로 실행할 수 있다'고 결론 내릴 수 있습니다. 하지만 실제로 어떻게 구현할지 아나요? 기술이 있나요? 대부분의 조직은 답이 '아니오'입니다. 과거에 이 기술을 사용할 기회가 없었기 때문입니다. 상용 세계에서 비교적 새로운 기술이어서 머신러닝 부서나 컴퓨터 비전 부서가 없습니다."

지난 몇 년간 이는 컴퓨터 비전과 심층 신경망의 상용 적용에 있어 정말 큰 병목이 되었습니다. 바로 노하우 부족입니다.

하지만 지난 몇 년간 기업들이 기술 격차 해소에 나서면서 기술 접근성이 높아지고 있습니다. "지식과 기술 격차는 꽤 컸지만 점점 줄어들고 있다"고 Bier는 말하며 "두 기업(한 곳은 대기업, 한 곳은 중소기업)이 이 흐름을 주도했다"고 덧붙였습니다. 대기업은 Intel, 중소기업은 Edge Impulse입니다.

"Intel은 소프트웨어 툴에 큰 투자를 아끼지 않으며 트렌드를 거스르는 인상을 자주 줬다"고 Bier는 말했습니다. "예를 들어 에지 컴퓨터 비전과 추론을 위한 OpenVINO 툴체인과 DevCloud for the Edge를 제공합니다. Edge Impulse도 클라우드 기반 환경입니다. 임베디드 개발자에게 클라우드 환경은 낯설게 느껴집니다. 모든 것이 책상 위(개발 보드, 워크스테이션, 툴)에 있고 인터넷 연결조차 필요 없으니까요. 모든 것이 매우 로컬합니다. 그래서 '코드를 클라우드에 올리고 클라우드에서 툴을 실행하라'는 말이 매우 낯설게 들립니다."

이 트렌드는 배포 시간과 기술 격차 모두를 해결합니다. 임베디드 개발자의 빈번한 좌절은 보드와 툴에 접근해 제대로 설치하는 것인데, Bier에 따르면 이 타임라인은 "보통 몇 주, 때로는 몇 달 단위이며, 그게 고통스럽습니다. 특히 끝에 가서 그게 필요 없는 거였고 다른 보드로 과정을 반복해야 한다는 걸 깨달으면 더 그렇습니다." 예를 들어 "더 높은 성능이나 다른 I/O 인터페이스 세트가 필요한 상위 모델이 필요하다는 걸 마지막에 알게 될 수 있습니다."

하지만 공급업체가 "모든 개발 보드를 클라우드에 연결해 자사 머신에 두고 마음껏 접근할 수 있게 하면 엄청난 편의성을 제공합니다. 마찬가지로 최신 버전 소프트웨어 툴을 보유하고 있고 그들 사이의 종속성도 모두 해결해뒀습니다."

비전 AI 배포 가속화

그렇다면 스마트 시티, 팩토리, 리테일 등 어떤 애플리케이션이든 객체 탐지·분석 같은 기능을 위해 임베디드 비전 배포를 어떻게 가속화할 수 있을까요?

Bier가 지적한 고통점을 인지한 기업들이 해결책을 내놓고 있습니다. 어떤 기업은 클라우드 기반 개발 시스템을 제공해 코드나 데이터를 넣으면 거의 즉시 평가를 받을 수 있게 합니다. 다른 기업은 레퍼런스 디자인을 제공해 카메라 출력을 꽂고 일반적인 애플리케이션용 추론 알고리즘을 라이브러리나 앱에서 골라 쓸 수 있게 합니다.

전자의 경우 Intel DevCloud for the Edge와 Edge Impulse가 최신 툴과 소프트웨어에 쉽게 접근할 수 있는 클라우드 기반 플랫폼으로 대부분의 고통점을 해소합니다. 후자의 경우 Xilinx 등이 프로덕션 레디 애플리케이션이 탑재된 완전한 시스템온모듈을 제공해 더 높은 추상화 수준의 툴로 배포할 수 있게 함으로써 일부 전문 기술의 필요성을 없앱니다.

클라우드에서 AI 추론 프로토타입, 벤치마크, 테스트

Intel DevCloud for the Edge는 사용자가 CPU, 통합 GPU, FPGA, 비전 처리 장치(VPU) 등 다양한 Intel 하드웨어에서 AI 추론 애플리케이션을 개발, 프로토타이핑, 벤치마크, 테스트할 수 있게 합니다. Jupyter Notebook 인터페이스로 튜토리얼과 예제가 사전 로드돼 있어 빠르게 시작할 수 있습니다. 여기에는 사전 훈련된 모델, 샘플 데이터, 최신 버전 Intel Distribution of OpenVINO 툴킷의 실행 코드, 기타 딥러닝 툴이 포함됩니다. 모든 지원 디바이스는 최적 성능으로 구성돼 추론 실행 준비가 되어 있습니다.

개발자에게 가장 큰 이점은 사용자 측 하드웨어 설정이 필요 없다는 점입니다. Jupyter Notebook의 브라우저 기반 개발 환경으로 브라우저 내에서 코드를 실행하고 결과를 즉시 시각화할 수 있습니다. 이로써 Intel 클라우드 환경에서 컴퓨터 비전 솔루션을 프로토타이핑하고 사용 가능한 하드웨어 리소스 조합에서 코드가 실행되는 것을 볼 수 있습니다.

이 클라우드 기반 제공의 세 가지 주요 이점이 있습니다. 첫째, 하드웨어 선택 마비 문제를 해결합니다. 개발자는 다양한 하드웨어에서 AI 애플리케이션을 원격 실행해 추론 실행 시간, 전력 소모, 비용 같은 요소를 기준으로 솔루션에 가장 적합한 하드웨어를 결정할 수 있습니다.

둘째, 최신 Intel 에지 하드웨어에 즉시 원격 접근할 수 있습니다. 소프트웨어 측면에서는 구버전 소프트웨어를 다뤄야 하는 문제를 해결해, Intel Distribution of OpenVINO 툴킷 최신 버전과 호환되는 에지 하드웨어에 즉각 접근할 수 있습니다.

셋째, 애플리케이션별 성능 벤치마크를 손쉽게 비교할 수 있는 사이드바이사이드 형식으로 제공합니다.

(Intel DevCloud for the Edge를 사용한 객체 탐지 모델 실행 튜토리얼은 여기에서 확인 가능합니다.)

클라우드에서 모델 구축, 실시간 결과 확인

또 다른 접근법은 데이터를 클라우드 플랫폼에 넣어 시각화하고 훈련 모델을 생성한 뒤 임베디드 디바이스에 배포하는 것입니다. Edge Impulse가 바로 이를 제공하는데, 머신러닝 박사 학위 없이도 에지 디바이스에 머신러닝을 쉽게 추가할 수 있는 클라우드 기반 개발 환경을 지향합니다.

이 플랫폼은 현장에서 수집한 이미지 데이터를 가져와 빠르게 분류기를 구축해 데이터를 해석하고, 모델을 프로덕션 저전력 디바이스에 다시 배포할 수 있게 합니다. Edge Impulse 웹 플랫폼의 핵심은 획득한 모든 데이터를 보고 라벨링하고, 데이터를 증강·변환하는 전처리 블록을 만들고, 이미지 데이터셋을 시각화하고, 훈련 데이터에서 모델을 분류·검증하는 것을 사용자 인터페이스에서 바로 수행할 수 있다는 점입니다.

컴퓨터 비전 모델을 처음부터 만들기는 꽤 어렵기 때문에 Edge Impulse는 전이 학습(transfer learning) 프로세스를 사용해 모델 훈련을 더 쉽고 빠르게 만듭니다. 이는 잘 훈련된 모델에 편승해 신경망의 상위 레이어만 재훈련하는 방식으로, 훨씬 더 신뢰할 수 있는 모델이 훨씬 짧은 시간에 훈련되고 상당히 작은 데이터셋으로도 작동합니다. 모델이 설계·훈련·검증되면 디바이스에 다시 배포할 수 있습니다. 모델은 인터넷 연결 없이 디바이스에서 실행되며 지연 시간 최소화, 최소 전력 소모 같은 고유 이점을 가집니다. 완전한 모델은 전처리 단계, 신경망 가중치, 분류 코드를 단일 C++ 라이브러리에 패키징해 임베디드 소프트웨어에 포함할 수 있습니다.

더 높은 추상화 수준으로

공급업체들이 제공하는 또 다른 접근법은 모듈 기반 시스템을 제공하고 더 높은 추상화 수준에서 설계를 가능하게 해 개발 시간을 단축하는 것입니다. Xilinx는 새로운 시스템온모듈(SOM) 접근법으로 비전 AI의 증가하는 복잡성과 에지 AI 구현 과제를 해결해 비전 시스템 개발 시간을 최대 9개월 단축할 수 있다고 밝혔습니다.

Xilinx는 최근 새로운 SOM 포트폴리오의 첫 제품인 Kria K26 SOM을 발표했습니다. 스마트 시티와 스마트 팩토리의 비전 AI 애플리케이션을 타겟으로 하며, 즉시 사용 가능한 저비용 개발 키트 Kria KV260 AI 비전 스타터 키트도 함께 선보였습니다.

Xilinx 산업·비전·헬스케어 디렉터 Chetan Khona는 신제품 모듈 패밀리 런칭 프레스 브리핑에서 "프로덕션 레디 시스템은 임베디드 비전 AI의 신속한 배포에 중요합니다. 모듈 기반 설계를 디바이스 기반 설계 대신 사용하면 고객이 개발 시간을 최대 9개월 절약할 수 있습니다."라고 말했습니다. 스타터 키트로 사용자는 "FPGA 경험 없이도" 1시간 내에 시작할 수 있다고 덧붙였습니다. 카메라, 케이블, 모니터를 연결하고 프로그래밍된 마이크로SD 카드를 꽂고 전원을 켠 뒤 원하는 가속 애플리케이션을 선택해 실행하면 됩니다.

Kria SOM 포트폴리오는 하드웨어와 소프트웨어 플랫폼을 프로덕션 레디 비전 가속 애플리케이션과 결합합니다. 이 턴키 애플리케이션은 모든 FPGA 하드웨어 설계 작업을 없애주며, 소프트웨어 개발자는 커스텀 AI 모델과 애플리케이션 코드만 통합하고 필요시 비전 파이프라인을 수정하면 됩니다. 익숙한 설계 환경(TensorFlow, PyTorch, Caffe 프레임워크 및 C, C++, OpenCL, Python 프로그래밍 언어)을 사용합니다.

Kria SOM은 표준 Yocto 기반 PetaLinux 지원을 통해 임베디드 개발자의 커스터마이징과 최적화도 가능하게 합니다. Xilinx는 Canonical과의 협력도 진행 중으로, AI 개발자들이 널리 사용하는 인기 리눅스 배포판인 Ubuntu Linux 지원을 제공할 예정입니다. 이는 AI 개발자들에게 폭넓은 친숙도와 기존 애플리케이션과의 상호운용성을 제공합니다. 고객은 두 환경 중 어디서든 개발해 어느 쪽으로든 프로덕션에 적용할 수 있습니다. 두 환경 모두 소프트웨어 인프라와 유용한 유틸리티가 사전 빌드돼 제공됩니다.

임베디드 비전 시스템 개발의 기술·지식 격차와 배포 시간을 해결하기 위해 공급업체들이 취하는 세 가지 접근법을 살펴봤습니다. 클라우드 기반 접근법은 모델 생성·훈련과 하드웨어 평가를 '민주화'해 임베디드 디바이스로 매우 신속하게 배포할 수 있는 툴을 제공합니다. 모듈이나 레퍼런스 디자인에 앱 라이브러리를 제공하는 접근법은 AI 개발자가 기존 툴을 사용해 임베디드 비전 시스템을 빠르게 구축할 수 있게 합니다. 이 모든 것이 개발 보드와 툴을 바라보는 방식을 바꾸고 있습니다. 벤더의 툴과 모듈에 기초 작업을 맡김으로써 밸류체인 상위로 이동해 임베디드 비전의 신비를 걷어내고 있습니다.

---

관련 콘텐츠:

• 임베디드 비전, 티핑 포인트에 도달하다
• 임베디드 비전과 에지 AI의 5가지 트렌드
• 기계가 보는 것을 완전히 이해할 수 있을까?
• Xilinx SOM, 에지 AI와 임베디드 비전 광범위한 채택 공략
• Embedded Vision Summit: 작은 FPGA에서의 ML 지각
• GWM, 신형 SUV에 Ambarella AI 비전 SoC 채택
• AImotive, Nextchip Apache5에서 98% 에지 비전 효율 시연
• 저전력 AI 비전 보드, 단일 배터리로 '수년' 지속
• OmniVision, 더 깊은 내시경용 의료 이미지 센서 소형화