에지 응용 분야를 위한 중급 비전의 AI 마이크로 프로세서

에지 AI 응용 제품은 컴퓨터 비전 알고리즘을 활용하여 사람, 물체 또는 이상 현상(예: 결함)을 실시간으로 탐지합니다. 에지에서 이미지 및 비디오를 처리하려면 일반적으로 카메라와 인터페이스할 수 있고 AI 모델을 실행할 수 있으며 종종 전용 AI 가속기를 포함하는 비전 AI 마이크로 프로세서(MPU)가 필요합니다.

비전 AI 기능을 단일 장치에 통합하면 별도의 부품 사용으로 인한 비용과 크기를 줄일 수 있으므로 최첨단 비전 AI MPU는 콤팩트한 임베디드 응용 제품에 매우 적합합니다.

Renesas Electronics Corporation의 RZ/V2N MPU(그림 1)는 저전력 소비, 높은 AI 추론 성능, 4개의 Arm® Cortex-® A55 CPU 코어(1.8GHz), Arm Cortex-M33(200MHz), MIPI 연결을 통한 두 개의 카메라 입력을 특징으로 하는 비전 AI MPU입니다.

그림 1: Renesas RZ/V2N MPU는 설계자에게 에지 응용 제품에 비전 AI를 통합하기 위한 새로운 옵션을 제공합니다(이미지 출처: Renesas Electronics Corporation).

이 Renesas MPU는 합리적인 가격의, 중상급 AI 기능을 필요로 하는 에지 응용 분야를 위한 비용 효율적인 솔루션입니다. 이 솔루션은 Renesas가 제공하는 RZ/V 계열의 일부로, 스마트 오피스부터 드론까지 다양한 확장성을 제공하는 것을 목표로 합니다(그림 2).

그림 2: RZ/V 라인의 중급 모델로 자리 잡은 RZ/V2N은 가정용 모바일 로봇 및 운전자 모니터링 시스템과 같은 응용 제품을 실현합니다(이미지 출처: Renesas Electronics Corporation).

비전 AI 마이크로 프로세서 요구 사항

에지 AI 응용 제품은 종종 임베디드 장치에서 실행되며, 이러한 장치는 배터리로 구동되거나 제한된 에너지 공급으로 작동할 수 있습니다. 결과적으로, 비전 MPU는 전통적인 고성능 컴퓨팅 장치보다 적은 전력을 소비하면서 이와 동시에 높은 추론 성능을 제공해야 합니다.

이상적인 비전 AI MPU는 성능, 전력 효율성, 통합성, 개발 편의성 및 보안을 균형 있게 갖추고 있습니다. MPU 선택 시 고려해야 할 주요 특징에는 다음이 포함됩니다.

• 추론 성능: RZ/V2N은 통합 DRP-AI3 가속기를 통해 최대 15TOPS의 성능을 제공하여 스마트 카메라, 산업용 검사, 에지 로보틱스와 같은 중급 응용 분야에 적합합니다. 협동 로봇 및 자율 드론과 같은 일부 고성능 시스템은 80TOPS ~ 100TOPS를 필요로 할 수 있지만, 대부분의 AI 응용 제품은 복잡성에 따라 1TOPS ~ 15TOPS로도 충분합니다. 와트당 TOPS(TOPS/W)는 제품의 효율성을 정의하는데, 이는 와트를 기준으로 초당 수행할 수 있는 연산 수를 평가합니다.

TOPS는 성능에 대한 기본적인 지표를 제공하지만, 전용 AI 가속기를 포함하면 집중적 행렬 및 텐서 계산에 의존하는 비전 AI 작업을 분산하여 실제 추론 속도를 크게 향상시킬 수 있습니다. 이를 통해 시스템은 더 적은 클록 주기와 전력 소모로 더 빠르게 효율적으로 작업을 수행할 수 있습니다.

• 저전력 작동: 많은 에지 장치가 배터리 또는 엄격한 열 제한으로 작동합니다. 에지 AI용으로 설계된 비전 MPU에는 대개 작업량 수요에 따라 전력 사용을 조정하는 전압 및 주파수 스케일링(DVFS) 기능이 포함되어 있습니다. 모델 크기와 불필요한 계산을 줄이는 신경망 가지치기와 같은 기법이 통합된 경우 DVFS는 TOPS/W 비율을 개선하여 실행 시간과 배터리 수명을 모두 향상시키는 데 도움을 줍니다. DRP-AI3 가속기는 전력 소모량이 많은 GPU의 필요성을 제거하여 에지에서 더 높은 TOPS/W를 달성할 수 있도록 합니다.
• 온칩 영상 처리: 선택적으로 영상 신호 프로세서(ISP)가 내장된 비전 마이크로 프로세서는 정기적인 영상 클리닝 작업(예: 검은색 레벨 보정, 색상 보정, 크로핑, 셰이딩 보정)을 수행합니다. 보안 또는 감시 응용 분야에서는 ISP가 사전 필터 프레임 역할도 수행할 수 있습니다. 예를 들어, 연속 비디오 스트림에서 시스템은 정적 프레임을 폐기하고 모션 또는 활동(예: 침입자 감지)이 있는 프레임만 AI 프로세서에 보내 불필요한 추론을 줄이고 전력을 절약할 수 있습니다.
• 온칩 메모리: 메모리도 성능 및 효율성에 중요한 요소입니다. 데이터를 로컬로 저장하면 외부 메모리에 액세스함으로써 발생하는 지연 시간 및 전력 비용을 피할 수 있으며, 이는 실시간 AI 추론의 경우 상당할 수 있습니다. 1.5MB의 온칩 SRAM과 LPDDR4X 메모리에 대한 지원을 제공하는 RZ/V2N는 내부 처리 속도와 확장 가능한 메모리 옵션을 균형 있게 제공합니다.
• AI 배포 가속화: 사전 프로그래밍된 애플리케이션과 인터페이스를 포함하는 AI 툴킷 및 평가 기판은 개발자가 비전 AI 응용 제품에 대한 시제품 제작 및 배포를 빠르게 수행하는 데 도움을 줄 수 있습니다. 또한, MPU는 표준 AI 모델 형식을 지원할 수 있어야 합니다. RZ/V2N은 표준 모델 형식(ONNX 및 TensorFlow Lite)과 호환이 가능합니다.
• 보안: 에지 환경에서 모든 센서 또는 엔드 포인트는 잠재적 공격 벡터를 나타낼 수 있습니다. 따라서, 비전 MPU는 보안 부트 및 암호화된 데이터 경로처럼 내장된 보안 기능을 지원할 수 있어야 합니다. RZ/V2N에는 보안 부트 및 하드웨어 레벨 암호화 기능이 포함되어 있으며, 보안 작동 분리를 위해 Arm TrustZone을 활용하므로 모델 무결성과 민감한 입력 데이터 모두를 보호할 수 있습니다.

RZ/V2N MPU의 AI 설계 친화적 기능

Renesas의 독점적 AI 가속기는 DRP-AI3(동적 재구성 가능 프로세서)은 10TOPS/W로 정격화되어 있지만, 시스템이 처리해야 하는 모델의 크기를 압축하는 고급 가지치기 기능을 통해 최대 15TOPS/W로 성능을 향상시킬 수 있습니다. 이렇게 하면 별도의 그래픽 처리 장치(GPU) 또는 현장 프로그래밍 가능 게이트 어레이(FPGA)의 필요성을 제거할 수 있습니다.

RZ/V2N은 15sq mm의 크기에 불과하므로 콤팩트한 장치에 좋은 옵션입니다. 쿼드 코어 CPU, 전용 AI 가속기, 이중 카메라 입력에 대한 지원을 단일 장치에 통합함으로써 비전 AI를 스마트 카메라, 보안 장치, 로봇, 소비자 가전과 같은 AI 응용 분야에 통합할 수 있는 새로운 기회가 설계자에게 제공됩니다.

MPU는 저전력으로 작동하므로 열 발생이 줄어 추가적인 냉각 시스템과 팬의 필요성이 제거되고 따라서 임베디드 시스템의 크기와 비용이 감소합니다. 두 대의 카메라를 수용할 수 있으므로 응용 제품에서 이중각 이미지를 캡처하고 공간 인식 능력을 향상시킬 수 있습니다. 한 대의 시스템이 주차장의 차량 수를 세면서 번호판을 인식하는 등의 여러 작업을 동시에 수행할 수 있습니다.

RZ/V2N MPU의 아키텍처

RZ/V2N MPU는 합리적인 가격의 고성능 AI를 요구하는, 중급 AI 시장을 위한 응용 제품을 구축할 수 있도록 설계된 다양한 기능과 특성을 제공합니다(그림 3).

그림 3: RZ/V2N 아키텍처 구성도(출처: Renesas Electronics Corp.)

주요 특징은 다음과 같습니다.

• 중앙 처리 장치(CPU): 이 하이브리드 아키텍처는 고성능 CPU인 Cortex-A55 쿼드 1.8GHz와 실시간 제어 및 안전 관련 작업을 위해 설계된 저전력 코어인 Cortex-M33 200MHz를 특징으로 합니다.
• 내부 공유 메모리: 오류 보정 코드(ECC) 기능이 포함된 1.5MB 온칩 메모리 RAM은 데이터 무결성을 보장하는 데 도움을 줍니다. ECC 알고리즘은 저장소에서 그리고 전송 시에 데이터에 오류가 있는지 탐지하고 이를 보정합니다. 1.5MB 온칩 메모리를 통해 AI 알고리즘은 빠르게 실행될 수 있으며, RZ/V2N은 또한 더 많은 메모리가 요구될 경우 추가할 수 있는 외부 DDR 메모리에 대한 인터페이스를 제공합니다.
• AI 가속기: Renesas DRP-A13 전용 AI 엔진은 고속 AI 추론 처리를 구현하므로 엔드 포인트에서 요구되는 낮은 전력과 유연성을 달성할 수 있습니다.
• 비디오 및 그래픽: 선택적 그래픽 처리 장치(GPU) 및 ISP는 보다 효율적으로 이미지를 처리하고 그래픽을 렌더링할 수 있도록 합니다.
• 타이머: 타이머는 실시간 작동을 지원하며, 이는 모터 제어 및 기타 자동화 응용 제품에 필수적인 요소입니다.
• 오디오 블록: 스마트 스피커 및 인포테인먼트 시스템과 같은 다중 채널 오디오 응용 제품에 이상적입니다.
• 인터페이스: 비전 마이크로 프로세서 모듈에 연결할 수 있는 인터페이스에는 고속 메모리 인터페이스 및 고대역폭 주변 장치 등이 있습니다.
• 아날로그 블록: 12비트 아날로그-디지털 컨버터(ADC)는 제어 시스템 또는 모니터링 응용 제품에서 별도의 ADC에 대한 필요성을 제거합니다.

Renesas는 또한 설계자가 비전 AI 응용 제품에 대한 시제품 설계 및 평가할 수 있도록 RZ/V2N용 RTK0EF0186C03000BJ 평가 기판 키트를 제공합니다(그림 4). 설계자는 또한 GitHub의 자사 AI 응용 제품 및 AI SDK에서 50개 이상의 사용 사례를 포괄하는 AI 응용 참고 사항에 액세스할 수 있습니다.

그림 4: RZ/V2N 평가 기판 키트에는 AI SDK와 함께 CPU 기판, 확장 기판, 두 개의 하부 기판이 포함되어 있습니다(이미지: Renesas Electronics Corp.).

결론

Renesas의 RZ/V2N은 빠른 속도와 감소된 지연 시간으로 데이터 중심 정보를 제공하는 중급 에지 AI 응용 분야에 적합합니다. 작은 크기, 추론 요구 사항을 충족하는 기능 및 낮은 작동 전력을 특징으로 하는 이 장치는 다양한 임베디드 장치에 적합합니다.