스마트 머신 비전 시스템을 빠르게 설계하고 배치하는 방법

머신 비전에 대한 요구는 보안, 교통 및 시티 카메라, 소매 분석, 자동 검사, 공정 관리, 비전 가이드 로봇을 비롯한 여러 응용 분야에서 증가하고 있습니다. 머신 비전은 구현하기가 복잡하며 고성능 하드웨어 및 고급 인공 지능/기계 학습(AI/ML) 소프트웨어를 포함하여 다양한 기술과 서브 시스템의 통합을 요구합니다. 머신 비전은 응용 필요 사항을 충족하기 위해 비디오 캡처 기술 및 비전 I/O를 최적화하는 것으로 시작되며 효율적인 연결을 위한 여러 이미지 처리 파이프라인으로 확장됩니다. 이는 궁극적으로 임베디드 비전 시스템이 FPGA(현장 프로그래밍 가능 게이트 어레이), SOM(시스템 온 모듈), SoC(시스템 온 칩) 및 필요한 AI/ML 이미지 처리 및 인식 소프트웨어를 실행하기 위한 MPSoC(다중 프로세서 시스템 온 칩)과 같은 고성능 하드웨어를 사용하여 실시간으로 비전 기반 분석을 수행할 수 있도록 하는 데 달려 있습니다. 이는 복잡하고 비용과 시간이 많이 소요되는 과정일 수 있으며 그 과정에서 비용을 초과하고 일정을 지연시키는 여러 상황에 노출됩니다.

설계자는 처음부터 시작하는 대신 전문적 식견으로 엄선된 고성능 개발 플랫폼을 시도할 수 있습니다. 이러한 플랫폼은 시장 출시 기간을 단축시키고 비용을 제어하고 개발 위험을 줄이면서 응용 유연성 및 성능을 높은 수준으로 지원합니다. SOM 기반 개발 플랫폼은 통합 하드웨어 및 소프트웨어 환경을 제공하여 개발자가 응용 맞춤화에 집중하고 최대 9개월의 개발 시간을 절약할 수 있도록 합니다. 개발 환경뿐만 아니라, 동일한 SOM 아키텍처를 상업 및 산업 환경을 위한 생산 최적화 구성에서도 사용하여 응용 신뢰성 및 품질을 개선하고 위험을 줄이며 시장 출시를 앞당길 수 있습니다.

이 기사에서는 먼저 고성능 머신 비전 시스템 개발과 관련된 문제를 검토한 후 AMD Xilinx의 Kria KV260 비전 AI 시험용 키트가 제공하는 포괄적인 개발 환경을 제시합니다. 마지막으로, 솔루션별 주변 장치가 있는 캐리어 카드에 연결하도록 설계된 Kira 26 플랫폼을 기반으로 하는 생산 지원 SOM의 예를 소개합니다.

데이터 유형 최적화로 시작

딥 러닝 알고리즘에 대한 요구가 진화하고 있습니다. 모든 응용 제품에서 고정밀 계산을 필요로 하는 것은 아닙니다. INT8과 같은 저정밀도 데이터 유형이나 사용자 지정 데이터 형식도 사용됩니다. GPU 기반 시스템의 경우 정밀도가 낮은 데이터 형식을 효율적으로 수용하기 위해 고정밀 데이터에 최적화된 아키텍처를 수정하려고 할 때 문제가 될 수 있습니다. Kria K26 SOM은 재구성이 가능하므로 FP32부터 INT8 등에 이르는 광범위한 데이터형을 지원하도록 할 수 있습니다. 재구성 가능성은 또한 전반적인 에너지 소비를 낮춥니다. 예를 들어, INT8에 최적화된 작업은 FP32 작업과 비교하여 훨씬 적은 에너지를 소비합니다(그림 1).

그림 1: FP32 작업(32b Add)과 비교하여 INT8 작업(8b Add)에는 훨씬 적은 에너지가 필요합니다. (이미지 출처: AMD Xilinx)

최소한의 전력 소비를 위한 최적의 아키텍처

멀티코어 GPU 또는 CPU 아키텍처를 기반으로 하여 구현된 설계는 일반적인 전력 사용 패턴에 따라 전력을 많이 소비할 수 있습니다.

• 30% - 코어
• 30% - 내부 메모리(L1, L2, L3)
• 40% - 외부 메모리(예: DDR)

GPU의 경우 프로그래밍 가능성을 지원하기 위해 비효율적 DDR 메모리에 빈번하게 액세스해야 하며 이로 인해 고대역폭 컴퓨팅 요구에 장애가 발생할 수 있습니다. Kria K26 SOM에 사용되는 Zynq MPSoC 아키텍처는 외부 메모리에 대한 액세스가 약간 또는 전혀 필요 없는 응용 프로그램 개발을 지원합니다. 예를 들어, 일반적인 자동차 응용 제품에서 GPU와 다양한 모듈 간의 통신에는 외부 DDR 메모리에 대한 다중 액세스가 필요하지만 Zynq MPSoC 기반 솔루션은 대부분의 DDR 액세스를 방지하도록 설계된 파이프라인을 통합합니다(그림 2).

그림 2: 이 일반적인 자동차 응용 분야에서 GPU는 다양한 모듈 간 통신을 위해 DDR에 대한 다중 액세스를 필요로 하지만(왼쪽), Zynq MPSoC의 파이프라인 아키텍처(오른쪽)은 대부분의 DDR 액세스를 회피합니다. (이미지 출처: AMD Xilinx)

이점을 활용하는 프루닝

K26 SOM의 신경망 성능은 데이터 최적화 및 프루닝을 실현하는 AI 최적화 도구를 사용하여 개선할 수 있습니다. 신경망이 과도하게 파라미터화되어, 데이터 프루닝 및 모델 압축을 사용하여 최적화할 수 있는 높은 수준의 중복성을 초래하는 것은 매우 일반적입니다. Xilinx의 AI Optimizer를 사용하면 모델 정확도에 거의 영향을 미치지 않으면서 모델 복잡성을 50배 줄일 수 있습니다. 예를 들어, 단발 감지기(SSD)와 117 기가 연산(Gops)을 지원하는 VGG CNN(컨볼루션 신경망) 아키텍처는 AI Optimizer를 사용하여 11번의 프루닝을 통해 개선되었습니다. 최적화 전에 이 모델은 Zynq UltraScale+ MPSoC에서 초당 18프레임(FPS)을 실행했습니다. 11번의 반복 이후(모델의 12번째 실행 시) 복잡성은 117Gops에서 11.6Gops(10X)로 감소했고 성능은 18FPS에서 103FPS(5X)로 증가했으며 정확도는 최대 60.4mAP(1%만 낮음)의 객체 감지에 대해 평균 61.55에서 떨어졌습니다(그림 3).

그림 3: 비교적 적은 반복 후에 프루닝은 모델 복잡성(Gop)을 10배 줄이고 성능(FPS)을 5배 향상시킬 수 있으며 정확도(mAP)는 1%만 감소합니다. (이미지 출처: AMD Xilinx)

실제 응용 예

자동 번호판 인식(ANPR)이라고도 하는 자동차 번호판 감지 및 인식을 위한 기계 학습 응용 프로그램은 Uncanny Vision의 비전 분석 소프트웨어를 기반으로 개발되었습니다. ANPR은 자동 통행료 시스템, 고속도로 모니터링, 보안 게이트 및 주차장 이용 및 기타 응용 분야에 사용됩니다. 이 ANPR 응용 프로그램에는 비디오를 디코딩하고 이미지를 사전 처리한 다음 ML 감지 및 OCR 문자 인식을 수행하는 AI 기반 파이프라인이 포함됩니다(그림 4).

그림 4: AI 기반 ANPR 응용 프로그램의 일반적인 이미지 처리 흐름 (이미지 출처: AMD Xilinx)

ANPR을 구현하려면 디코딩되거나 압축되지 않은 H.264 또는 H.265로 인코딩된 실시간 스트리밍 프로토콜(RTSP) 피드가 하나 이상 필요합니다. 디코딩된 비디오 프레임은 크기 조정, 자르기, 색 공간 변환 및 정규화(사전 처리)된 다음 ML 감지 알고리즘으로 전송됩니다. 고성능 ANPR 구현에는 다중 스테이지 AI 파이프라인이 필요합니다. 첫 번째 단계는 차량을 감지하고 이미지로 로컬라이즈하여 관심 영역(ROI)을 생성하는 것입니다. 이와 동시에 다른 알고리즘은 OCR 문자 인식 알고리즘에서 후속 사용을 위해 이미지 품질을 최적화하고 여러 프레임에서 차량의 움직임을 추적합니다. 차량 ROI는 번호판의 문자를 결정하기 위한 OCR 알고리즘에 의해 처리되는 번호판 ROI를 생성하기 위해 더 잘립니다. GPU 또는 CPU를 기반으로 하는 다른 상용 SOM과 비교할 때, Uncanny Vision의 ANPR 응용 프로그램은 Kira KV260 SOM에서 2배 ~ 3배 더 빠르게 실행되어 RTSP 피드당 들어가는 비용이 100달러 미만입니다.

스마트 비전 개발 환경

교통 및 시티 카메라, 소매 분석, 보안, 산업 자동화, 로봇 공학과 같은 스마트 비전 응용 분야의 설계자는 Kria K26 SOM AI Starter 개발 환경으로 전환할 수 있습니다. 이 환경은 Zynq® UltraScale+™ MPSoC 아키텍처를 사용하여 구축되었으며 선별된 응용 소프트웨어 패키지 라이브러리가 증가하고 있습니다(그림 5). AI Starter SOM에는 쿼드 코어 Arm Cortex-A53 프로세서, 25만개 이상의 논리 셀, H.264/265 비디오 코덱이 포함되어 있습니다. 또한 SOM는 4GB의 DDR4 메모리, 245개의 IO, 1.4테라옵스의 AI 컴퓨팅 성능을 갖추고 있어 다른 하드웨어 접근 방식에 비해 낮은 대기 시간과 전력으로 3배 이상 높은 성능을 제공하는 고성능 비전 AI 응용 프로그램 생성을 지원합니다. 사전 구축된 응용 프로그램을 통해 한 시간 이내에 초기 설계를 실행할 수 있습니다.

그림 5: Kria KV260 비전 AI 시험용 키트는 머신 비전 응용 제품을 위한 포괄적인 개발 환경입니다. (이미지 출처: AMD Xilinx)

Kria K26 SOM을 사용하여 개발 프로세스를 빠르게 시작할 수 있도록, AMD Xilinx는 전력 어댑터, 이더넷 케이블, microSD 카드, USB 케이블, HDMI 케이블 및 카메라 모듈이 포함된 KV260 비전 AI 시험용 키트를 제공합니다(그림 6). 전체 시험용 키트가 다 필요하지 않은 경우 개발자는 선택적으로 전력 어댑터만 구매하여 Kira K26 SOM을 사용하여 시작할 수 있습니다.

그림 6: KV260 비전 AI 시험용 키트에는 (위쪽 행, 왼쪽에서 오른쪽으로) 전원 공급 장치, 이더넷 케이블, microSD 카드, (아래쪽 행, 왼쪽에서 오른쪽으로) USB 케이블, HDMI 케이블, 카메라 모듈이 포함되어 있습니다. (이미지: AMD Xilinx)

개발 속도를 높이는 또 다른 요소로 4개의 6Gb/s 트랜시버와 4개의 12.5Gb/s 트랜시버를 포함한 풍부한 1.8V, 3.3V 단일 종단 및 차동 I/O를 비롯하여 여러 포괄적인 특징을 들 수 있습니다. 이러한 특징을 통해 SOM당 더 많은 이미지 센서와 다양한 센서 인터페이스 변형(예: MIPI, LVDS, SLVS 및 SLVS-EC)을 가진 응용 제품을 개발할 수 있으며, 이는 응용 제품별 표준 제품(ASSP) 또는 GPU에서 지원되지 않을 수도 있습니다. 개발자는 또한 내장된 프로그래밍 가능 논리로 DisplayPort, HDMI, PCIe, USB2.0/3.0 및 사용자 정의 표준을 구현할 수 있습니다.

마지막으로, AI 응용 제품의 개발은 K26 SOM의 광범위한 하드웨어 기능 및 소프트웨어 환경과 생산 준비를 갖춘 비전 응용 제품과의 결합을 통해 단순화되고 더 쉽게 접근할 수 있게 되었습니다. 이러한 비전 응용 제품은 FPGA 하드웨어 설계 없이 구현할 수 있으며 소프트웨어 개발자가 맞춤형 AI 모델과 응용 코드를 신속하게 통합하고 비전 파이프라인을 수정할 수도 있습니다. Xilinx의 Vitis 통합 소프트웨어 개발 플랫폼 및 라이브러리는 TensorFlow, Pytorch 및 Café 프레임워크와 같은 일반적인 설계 환경은 물론 C, C++, OpenCL™ 및 Python을 포함한 여러 프로그래밍 언어를 지원합니다. Xilinx 및 해당 에코시스템 파트너의 Kria SOM을 사용하는 에지 응용 제품을 위한 임베디드 앱 스토어도 있습니다. Xilinx 제품은 무료 오픈 소스이며 스마트 카메라 추적 및 얼굴 감지, 스마트 비전을 통한 자연어 처리 등을 포함합니다.

생산 최적화 Kira 26 SOM

개발 프로세스가 완료되면, 솔루션별 주변 장치가 있는 캐리어 카드에 연결하도록 설계된 K26 SOM의 생산 준비 버전을 사용하여 제조로의 전환을 가속화할 수 있습니다(그림 7). 기본 K26 SOM은 내부 온도 센서로 측정할 때 0°C ~ +85°C의 온도 정격을 갖는 상업용 장치입니다. -40°C ~ +100°C의 작동에 대해 정격화된 K26 SOM의 산업용 비전도 사용할 수 있습니다.

산업 시장은 열악한 환경에서 더 긴 작동 수명을 요구합니다. 산업용 Kria SOM은 100°C 접합부 및 80% 상대 습도에서 10년 동안 작동하고 최대 40g의 충격과 5g의 RMS(제곱평균제곱근) 진동을 견디도록 설계되었습니다. 또한 긴 제품 수명 주기를 지원하기 위해 최소 10년의 생산 가용성으로 제공됩니다.

그림 7: 산업 및 상업 환경을 위한 생산 최적화 Kira 26 SOM은 솔루션별 주변 기기를 포함한 캐리어 카드에 연결할 수 있도록 설계되었습니다. (이미지: DigiKey)

요약

보안, 교통 및 시티 카메라, 소매 분석, 자동 검사, 프로세스 제어 및 비전 유도 로봇과 같은 머신 비전 응용 제품 설계자는 Kria K26 SOM AI 시험용 키트를 사용하여 출시 시간을 단축하고 비용을 제어하며 개발 위험을 줄일 수 있습니다. 이 SOM 기반 개발 플랫폼은 통합 하드웨어 및 소프트웨어 환경으로, 개발자가 응용 맞춤화에 집중하고 최대 9개월의 개발 시간을 절약할 수 있도록 합니다. 상업 및 산업 환경을 위한 생산 최적화 구성으로 동일한 SOM 아키텍처가 제공되므로 시장 출시 기간을 더욱 줄일 수 있습니다. 산업용 버전의 경우 긴 제품 수명 주기를 지원하기 위해 최소 10년의 생산 가용성을 제공합니다.