즉시 생산 가능한 플랫폼으로 적응형 에지 비전 응용 제품을 빠르게 제작하여 배포하는 방법

에지 기반 스마트 카메라의 인공 지능(AI) 응용 제품이 머신 비전, 보안, 소매, 로봇 공학과 같은 광범위한 내장형 비전 응용 분야에서 빠르게 채택되고 있습니다. 접근성이 뛰어난 머신 러닝(ML) 알고리즘의 급속한 출현으로 AI에 대한 관심이 확산됨에 따라 개발자들은 에지 기반 응용 분야에 저전력의 우수한 성능을 제공하면서 빠듯한 프로젝트 일정을 준수하는 데 어려움을 겪고 있습니다.

더욱 복잡한 문제는 솔루션을 새로 배포했더라도 빠르게 변하는 응용 제품 요구 사항과 진화하는 알고리즘의 지속적인 향상으로 인해 최적화가 부족할 수 있다는 것입니다.

이 기사에서는 개발자가 에지 배포를 위해 스마트 카메라 솔루션을 빠르게 구현하기 위해 사용할 수 있는 Xilinx의 유연한 시스템 온 모듈(SOM)을 소개하고, 대기 시간 및 출력에 대한 주요 요구 사항을 훼손하지 않으면서 변화하는 요구에 대응하여 솔루션을 손쉽게 조정할 수 있는 방법을 알아봅니다.

비전 응용 제품 실행 가속

맞춤형 Zynq UltraScale+ 다중 프로세서 시스템 온 칩(MPSoC)을 기반으로 하는 Xilinx의 Kria K26 SOM은 64비트 쿼드 코어 Arm Cortex-A53 응용 처리 장치(APU), 32비트 듀얼 코어 Arm® Cortex®-R5F 실시간 처리 장치(RPU), Arm Mali-400MP2 3D 그래픽 처리 장치(GPU)로 구성된 강력한 내장형 처리 시스템을 제공합니다. 이 SOM은 MPSoC를 4GB 64비트 폭 이중 데이터 전송률 4(DDR4) 메모리와 연결된 메모리 컨트롤러 및 여러 비휘발성 메모리(NVM) 장치(512Mb 쿼드 직렬 주변 장치 인터페이스(SPI) 메모리, 16기가바이트 내장형 멀티미디어 카드(eMMC) 메모리, 64Kb EEPROM(전기적 지우기 가능/프로그래밍 가능 읽기 전용 메모리) 포함)와 결합합니다(그림 1).

그림 1: Xilinx Kria K26 SOM은 맞춤형 Zynq UltraScale+ MPSoC의 광범위한 처리 기능을 신뢰 플랫폼 모듈 2.0(TPM2) 및 동적 비휘발성 메모리와 결합합니다. (이미지 출처: Xilinx)

Xilinx는 256K 시스템 논리 셀, 234K 구성 가능한 논리 블록(CLB) 플립플롭, 117K CLB 입력 대조표(LUT), 다양한 분산 RAM(랜덤 액세스 메모리) 구성의 총 26.6Mb 메모리, 블록 RAM, ultraRAM 블록으로 구성된 광범위한 프로그래밍 가능 논리 시스템으로 처리 및 메모리 자산을 보완합니다. 또한 프로그래밍 가능 논리 시스템은 1,248개 디지털 신호 처리(DSP) 슬라이스, 4개 트랜시버, 최대 32개 동시 인코드/디코드 스트림을 지원할 수 있는 H.264 및 H.265용 비디오 코덱, 60fps의 최대 총 3840 x 2160 픽셀을 포함합니다. SOM의 두 240핀 커넥터를 사용하면 사용자 구성 가능 입/출력(I/O)을 통해 기능 블록과 주변 장치에 즉시 액세스할 수 있습니다.

이 프로세서 코어, 메모리 및 프로그래밍 가능 논리 조합은 ML 알고리즘의 고속 실행에 사용되는 GPU의 주요 단점을 해결하는 고유한 수준의 유연성과 성능을 제공합니다. GPU의 고정 데이터 흐름과 달리 개발자는 K26 SOM 데이터 경로를 재구성하여 처리량을 최적화하고 대기 시간을 줄일 수 있습니다. 또한 K26 SOM의 아키텍처는 증가하는 ML 응용 제품의 중심에 있는 희소 네트워크에 특히 적합합니다.

또한 K26 SOM의 프로그래밍 기능은 GPU를 사용하는 기존 아키텍처에서 제작된 ML, 다중 코어 프로세서 또는 고급 SoC와 같은 메모리 집약적인 응용 분야에서 전력 소비를 높이고 성능을 제한하는 메모리 병목 현상을 해결합니다. 기존 장치를 통해 설계되는 응용 분야에서는 일반적으로 외부 메모리가 시스템 전력 소비의 약 40%를 차지하는 반면에, 프로세서 코어와 내부 메모리는 일반적으로 각각 약 30%를 차지합니다. 반대로 개발자는 K26 SOM의 내부 메모리 블록과 재구성 기능을 활용하여 외부 메모리에 액세스할 필요가 거의 없는 설계를 구현할 수 있습니다. 따라서 기존 장비를 사용할 때보다 성능을 높이고 전력 소비를 줄일 수 있습니다(그림 2).

그림 2: 내장형 CPU와 일반 SoC를 기반으로 하는 시스템은 응용 제품을 실행하기 위해 전력을 소비하는 여러 메모리에 액세스해야 하지만, Xilinx Kria를 기반으로 하는 시스템은 DDR 액세스를 회피하도록 설계할 수 있는 효율적인 비전 파이프라인을 사용합니다. (이미지 출처: Xilinx)

우수한 성능, 낮은 전력 소비, 광범위한 재구성 기능과 함께 K26 SOM은 민감한 응용 분야를 위한 스마트 카메라 설계에서 보안을 보장합니다. SOM의 내장형 TPM 보안 장치와 함께 MPSoC는 보안 부트, 조작 모니터링, 보안 키 스토리지, 암호화 하드웨어 가속을 지원하는 전용 구성 보안 장치(CSU)를 통합합니다. 또한 CSU, 내부 온칩 메모리(OCM) 및 보안 키 스토리지는 응용 제품 실행을 위한 신뢰 플랫폼과 보안 부트 구현을 위한 하드웨어 RoT를 보장하는 보안 기반을 구축합니다.

K26 SOM에서 제공되는 광범위한 기능은 까다로운 에지 기반 응용 제품을 구현하기 위한 강력한 토대를 구축합니다. 하지만 응용 제품별 주변 장치 및 기타 부품과 관련한 기능 요구 사항이 응용 제품마다 다릅니다. 응용 제품별 솔루션 구현을 간소화하기 위해 K26 SOM은 추가 주변 장치를 호스팅하는 캐리어 카드에 연결하도록 설계되었습니다. Xilinx는 Kria K26 기반 KV260 비전 AI 시험용 키트에서 이 접근 방식을 보여줍니다.

비전 응용 제품 개발을 간소화하는 시험용 키트

비전 중심 캐리어 기판에 연결된 K26 SOM으로 구성된 Xilinx KV260 비전 AI 시험용 키트는 스마트 비전 응용 제품의 중간 평가와 빠른 개발을 위해 특별히 고안된 즉시 사용 가능한 플랫폼을 제공합니다. K26 SOM은 필요한 처리 기능을 제공하고, 시험용 키트의 캐리어 기판은 전원 켜기와 리셋 시퀀스를 비롯한 전력 관리 기능과 카메라, 디스플레이 및 microSD 카드를 위한 인터페이스 옵션 및 커넥터를 제공합니다(그림 3).

그림 3: Xilinx KV260 비전 AI 시험용 키트는 비전 중심 캐리어 기판에 연결된 K26 SOM을 사용하여 완벽한 스마트 비전 솔루션을 제공합니다. (이미지 출처: Xilinx)

여러 인터페이스와 함께 캐리어 기판은 Raspberry Pi 커넥터와 한 쌍의 이미지 액세스 시스템(IAS) 커넥터를 통해 다중 카메라 지원을 제공합니다. IAS 커넥터 중 하나는 모든 이미지 처리 기능을 처리할 수 있는 전용 onsemi 13MP AP1302 이미지 센서 프로세서(ISP)에 연결합니다.

비전 기반 응용 제품을 신속하게 구현하기 위해 Xilinx는 맞춤형 개발을 위한 포괄적인 소프트웨어 도구 및 라이브러리 세트와 함께 미리 제작된 일련의 가속 비전 응용 제품을 통해 이 미리 정의된 비전 하드웨어 플랫폼을 지원합니다.

즉각적인 솔루션을 제공하는 가속 응용 제품

가속 비전 응용 제품의 즉각적인 평가와 신속한 개발을 위해 Xilinx는 프로그래밍 가능한 논리를 사용하는 스마트 카메라 얼굴 감지, 보행자 식별 및 추적, 결함 감지, MPSoC 처리 시스템을 사용하여 연결된 키워드 찾기 등 널리 사용되는 여러 사용 사례를 시연하는 미리 제작된 여러 응용 제품을 제공합니다. Xilinx Kria App Store에서 구입할 수 있는 각 응용 제품은 특정 사용 사례에 완벽한 솔루션과 해당 도구 및 리소스를 제공합니다. 예를 들어 스마트 카메라 얼굴 감지 응용 제품에서는 KV260 캐리어 카드의 내장된 AR1335 이미지 센서와 AP1302 ISP를 사용하여 이미지를 수집하고, 카드의 HDMI 또는 DisplayPort(DP) 출력을 사용하여 결과를 렌더링합니다. 얼굴 감지 처리를 위해 이 응용 제품에서는 얼굴 감지, 인원 계수 및 기타 스마트 카메라 응용 제품을 위한 비전 파이프라인 가속기와 미리 제작된 머신 러닝 추론 엔진을 제공하도록 K26 SOM을 구성합니다(그림 4).

그림 4: Xilinx Kria App Store에서 다운로드할 수 있는 미리 제작된 가속 응용 제품을 KV260 시험용 키트에서 즉시 실행하여 얼굴 감지와 같은 비전 사용 모델을 위한 완벽한 솔루션을 제공할 수 있습니다. (이미지 출처: Xilinx)

완벽한 구현과 지원을 제공하는 Xilinx App Store에서 미리 제작된 가속 응용 제품을 사용하면 FPGA 경험이 부족한 개발자라도 1시간 이내에 설계를 불러와서 실행할 수 있습니다. 응용 제품을 평가하면서, 제공된 소프트웨어 스택을 통해 기능을 수정하여 대체 솔루션을 찾을 수 있습니다. 광범위한 맞춤형 개발을 위해 Xilinx는 포괄적인 개발 도구 및 라이브러리 제품군을 제공합니다.

맞춤형 개발을 가속하는 AI 개발 환경 및 도구

AI 기반 응용 제품의 맞춤형 개발을 위해 Xilinx의 Vitis AI 개발 환경에서는 특수 맞춤형 모델을 위한 토대가 될 수 있는 최적화된 도구, 라이브러리 및 사전 교육된 모델을 제공합니다. 런타임 운영 환경을 위해 Xilinx의 Yocto 기반 PetaLinux 내장형 Linux 소프트웨어 개발 키트(SDK)는 내장형 Linux 시스템을 제작, 개발, 테스트 및 배포하는 데 필요한 전체 기능을 제공합니다.

FPGA 경험이 없는 전문가와 개발자 모두를 위해 설계된 Vitis AI 환경에서는 기본 실리콘 하드웨어의 세부 사항을 추상화하여 개발자가 보다 효과적인 ML 모델을 제작하는 데 집중할 수 있도록 지원합니다. 실제로 Vitis AI 환경은 오픈 소스 Apache Tensor Virtual Machine(TVM) 딥 러닝 컴파일러 스택과 통합되어 개발자가 다양한 프레임워크로부터 프로세서, GPU 또는 가속기까지 모델을 컴파일할 수 있도록 지원합니다. Vitis AI를 TVM과 함께 사용하여, 개발자는 딥 러닝 모델과 같은 컴퓨팅 집약적인 비전 워크로드를 Kria SOM에 오프로드하여 가속 비전 기능을 통해 기존 설계를 개선할 수 있습니다. 개발자가 딥 러닝 모델을 최적화할 수 있도록 돕기 위해 Xilinx의 AI 최적화 도구를 통해 신경망을 정리하여 Gops(초당 기가 연산 수) 수치 측면에서 복잡성을 줄이고, 초당 프레임 수(fps)를 늘리고, 과잉 파라미터 모델을 줄임으로써 평균 정밀도(mAP)의 정확성에 영향을 주지 않으면서 최대 50배로 압축할 수 있습니다(그림 5).

그림 5: Xilinx Research 사례 연구에서는 Xilinx AI 최적화 도구를 사용하여 몇 번의 반복 정리로 정확도에 영향을 거의 주지 않고 초당 프레임 수를 늘리면서 Gops 수의 측면에서 신경망 복잡성을 얼마나 빠르게 줄일 수 있는지를 보여줍니다. (이미지 출처: Xilinx)

맞춤형 비전 응용에 제품을 구현하기 위해 Xilinx의 오픈 소스 Vitis Vision 라이브러리는 친숙한 OpenCV 기반 인터페이스를 제공하여 Xilinx 플랫폼에서 우수한 성능과 낮은 리소스 활용에 맞게 최적화되었습니다. 분석을 위해 개발자는 Xilinx Video Analytics SDK 응용 제품 프레임워크를 사용하여 FPGA에 대한 풍부한 지식 없이도 보다 효과적인 비전 및 동영상 분석 파이프라인을 구축할 수 있습니다. 널리 채택되고 있는 오픈 소스 GStreamer 프레임워크를 기반으로 하는 Video Analytics SDK를 사용하면 맞춤형 가속 커널을 GStreamer 플러그인으로 신속하게 만들어 SDK 프레임워크에 통합할 수 있습니다.

일반 내장형 개발자는 이러한 도구를 사용하여 맞춤형 가속 커널의 유무에 상관없이 맞춤형 가속 파이프라인을 손쉽게 조립할 수 있습니다.

결론

컴퓨팅 집약적인 ML 알고리즘은 에지에서 실행 중인 여러 응용 분야에서 스마트 비전 기술을 사용하도록 지원하지만, 개발자는 에지 기반 비전 시스템의 우수한 성능, 낮은 전력 및 적응 가능성 요구 사항을 해결하는 데 많은 어려움을 겪고 있습니다. Xilinx의 Kria K26 SOM 솔루션은 엄격한 전력 예산을 초과하지 않으면서 고급 알고리즘을 가속화하기 위한 하드웨어 토대를 제공합니다. 사전 제작된 응용 제품에서 Kria K26 기반 시험용 키트를 사용하여 개발자는 스마트 비전 응용 제품 평가를 즉시 시작하고 포괄적인 개발 환경을 사용하여 맞춤형 에지 장치 솔루션을 구축할 수 있습니다.