Renesas RZ/V2 계열 MPU를 사용하여 비전 인지 시스템 설계 가속화

많은 제품에서 에지의 비전 인식이 점점 더 중요한 기능으로 간주되면서, 머신 러닝(ML) 및 인공 지능(AI)이 다양한 응용 분야로 진입하는 방법을 모색하고 있습니다. 개발자는 ML/AI 지원 비전이 인지 알고리즘을 실행하기 위해 전력 제한이 있는 응용 분야에서 사용 가능한 것보다 더 많은 컴퓨팅 성능이 필요하다는 문제에 직면합니다. 또한 고가의 열 관리 솔루션이 필요한 경우 비용이 추가됩니다.

에지 ML/AI의 목표는 응용 제품을 개발하기 위한 강력한 소프트웨어 에코시스템을 제공함과 동시에 성능과 전력을 균형 조정하는 최적의 아키텍처 방식을 찾는 것입니다.

이러한 조건을 염두에 두고 이 기사에서는 AI 하드웨어 가속기가 내장된 Renesas Electronics RZ/V2 계열 마이크로 프로세서 장치(MPU)를 소개하고, 마이크로 컨트롤러(MCU) 또는 하이엔드 그래픽 처리 장치(GPU) 대신 MPU를 사용하여 설계자가 직면하는 다양한 문제를 해결할 수 있는 방법을 살펴봅니다. 또한 RZ/V2 계열을 사용하여 비전 인지 시스템 설계를 시작하는 방법을 설명하고, 원활한 공정을 위한 '유용한 정보'를 제공합니다.

RZ/V2 계열 MPU 소개

RZ/V2 계열은 3코어 마이크로 프로세서를 사용하는 개발자를 위해 많은 기능을 제공하는 솔루션입니다. RZ/V2L 계열 마이크로 프로세서에는 1.2GHz에서 작동하는 Arm Cortex-A55 프로세서 2개와 200MHz에서 작동하는 실시간 마이크로 컨트롤러 코어(Arm® Cortex®-M33)가 포함되어 있습니다. 이 계열의 부품에는 NEON 단일 명령/다중 데이터(SIMD) 명령어를 지원하는 Arm Mali-G31 멀티미디어 프로세서 기반 GPU도 포함되어 있습니다. 이 세 가지 종류의 처리 코어와 멀티미디어 프로세서를 결합하여 비전 인지 시스템에서 작업하는 개발자를 위한 폭 넓은 솔루션을 제공합니다.

RZ/V2 계열에는 현재 두 개의 MPU 클래스(RZ/V2L 및 RZ/V2M 계열)가 있습니다. RZ/V2L에는 단순 이미지 신호 프로세서(ISP), 3D 그래픽 엔진 및 매우 다양한 기능을 갖춘 주변 장치 세트가 있습니다. RZ/V2M 자체는 30fps에서 4K 해상도를 지원하는 고성능 ISP를 추가합니다. 이 기사에서는 R9A07G054L23GBG와 R9A07G054L24GBG로 구성된 RZ/V2L 제품군을 중심으로 살펴봅니다. 두 부품의 경우 R9A07G054L23GBG는 15mm², 456-LFBGA 패키지로 제공되고, R9A07G054L24GBG는 21mm², 551-LFBGA 패키지로 제공된다는 주요 차이점이 있습니다.

그림 1은 RZ/V2L 계열의 제품 구성도를 보여줍니다. 세 가지 처리 코어 이외에 MPU에는 DDR3/DDR4 메모리, SPI, USB, 이더넷, I²C, CAN, SCI, GPIO, 아날로그 디지털 컨버터(ADC)와 같은 표준 주변 장치를 위한 인터페이스가 포함되어 있습니다. 또한 부품에는 보안 부팅, 암호화 엔진, 난수 생성기(TRNG)와 같은 보안 기능이 포함되어 있습니다. MPU 계열을 차별화하는 것은 동적 재구성 가능 프로세서(DRP) AI 가속기입니다.

그림 1: RZ/V2L MPU 계열은 다양한 주변 장치 인터페이스, 보안 및 동영상 처리 옵션을 지원합니다. 비전 인지 응용 분야의 핵심 기능은 DRP-AI 가속기입니다. (이미지 출처: Renesas Electronics Corporation)

핵심 비결: DRP-AI 가속기

DRP-AI 가속기는 RZ/V2L 계열 MPU가 더 적은 에너지와 낮은 발열 프로파일로 비전 인지 응용 제품을 빠르게 실행할 수 있도록 해주는 비법입니다. DRP-AI는 내부 스위치로 데이터 흐름을 최적화하여 복잡한 네트워크와 완전 결합 레이어에서 작업을 효과적으로 처리할 수 있는 두 부품, 즉 DRP 및 AI 증식 누산기(MAC)로 구성됩니다(그림 2).

DRP-AI 하드웨어는 AI 추론 실행을 전담합니다. DRP-AI는 Renesas에서 개발한 고유한 동적 재구성 가능 기술을 사용하여 유연성, 고속 처리, 전력 효율성을 제공합니다. 무료 소프트웨어 도구인 DRP-AI 변환기를 사용하면 최적화된 AI 모델을 구현하여 성능을 빠르게 극대화할 수도 있습니다. DRP-AI 변환기에서 출력하는 여러 실행 파일을 외부 메모리에 배치할 수 있습니다. 그런 다음 응용 제품에서 런타임 중에 여러 AI 모델을 동적으로 전환할 수 있습니다.

DRP는 하드웨어 구성을 동적으로 변경하여 이미지 사전 처리, AI 모델 풀링 레이어와 같은 복잡한 활동을 신속하게 처리할 수 있습니다.

그림 2: DRP-AI는 DRP 및 AI-MAC으로 구성되며, 두 부품은 내부 스위치로 데이터 흐름을 최적화하여 복잡한 네트워크와 완전 결합 레이어에서 작업을 효과적으로 처리할 수 있습니다. (이미지 출처: Renesas Electronics Corporation)

DRP-AI 변환기

DRP-AI 변환기 도구는 AI 프레임워크에 상관없이 학습된 ONNX 모델로부터 DRP-AI에 최적화된 실행 파일을 생성합니다. 예를 들어 개발자는 PyTorch, TensorFlow 또는 기타 AI 모델링 프레임워크(ONNX 모델을 출력하는 경우)를 사용할 수 있습니다. 모델은 학습된 후 DRP-AI 변환기에 공급되어 DRP 및 AI-MAC 실행 파일을 생성합니다(그림 3).

그림 3: AI 모델은 ONNX 호환 프레임워크를 사용하여 학습됩니다. 그런 다음 ONNX 모델은 DRP-AI 변환기에 공급되어 DRP 및 AI-MAC 실행 파일을 생성합니다. (이미지 출처: Renesas Electronics Corporation)

DRP-AI 변환기의 기본 용도는 다음 세 가지입니다.

1. AI 모델을 처리할 각 작업 예약
2. 오버헤드 숨기기(예: 일정에 따라 각 작업을 전환하는 동안 발생하는 메모리 액세스 시간)
3. 네트워크 그래프 구조 최적화

이 변환기는 AI 모델의 각 프로세스를 AI-MAC 및 DRP에 자동으로 할당하므로, 하드웨어 전문가가 아니더라도 DRP-AI를 쉽게 사용할 수 있습니다. 대신에 개발자는 공급된 구동기를 통해 호출하여 고성능 AI 모델을 실행할 수 있습니다. 또한 DRP-AI 변환기는 지속적으로 업데이트되므로 하드웨어를 교체하지 않고 새로 개발되는 AI 모델을 지원할 수 있습니다.

시스템 사용 사례 및 공정

그림 4는 RZ/V2L MPU를 사용하여 비전 인지 응용 제품을 학습 및 배포하는 일반적인 공정 플로우를 보여줍니다. 평소와 같이 엔지니어는 데이터 세트를 확보한 후 비전 인지 모델을 학습하는 데 사용할 수 있습니다. 고양이, 장바구니에 담긴 상품, 조립 라인에 배치된 부품 등을 식별할 때 익숙한 AI 프레임워크를 사용하여 학습 공정이 생성됩니다. 모델은 학습을 마치면 ONNX 형식으로 변환되어 DRP-AI 변환기에 공급된 후 DRP-AI 하드웨어에서 실행될 수 있는 개체 코드를 출력합니다. 그런 다음 카메라, 가속도계 또는 다른 센서의 데이터를 샘플링한 후 실행 파일에 공급하여 추론 실행 결과를 제공합니다.

그림 4: RZ/V2L MPU에서 비전 인지 알고리즘을 학습 및 실행하는 공정 (이미지 출처: Renesas Electronics Corporation)

엔지니어는 설계에서 RZ/V2L MPU를 다양한 방식으로 활용할 수 있습니다(그림 5). 첫째, RZ/V2L이 시스템의 유일한 프로세서인 독립형 설계에서 RZ/V2L MPU를 사용할 수 있습니다. 세 개의 코어와 AI 가속 하드웨어가 탑재되어 있으므로 추가적인 컴퓨터 성능이 필요하지 않습니다.

둘째, 보다 포괄적인 시스템에서 RZ/V2L을 AI 프로세서로 사용합니다. 이 사용 사례에서 RZ/V2L은 AI 추론을 실행하고 결과를 다른 프로세서 또는 시스템에 반환하여 조치할 수 있도록 합니다. 선택되는 사용 사례는 비용, 전체 시스템 아키텍처, 성능, 실시간 응답 요구 사항 등 다양한 요소에 따라 달라집니다.

그림 5: RZ/V2L MPU가 응용 분야에서 독립형으로 사용되거나, 포괄적인 시스템에서 AI 프로세서로 사용되는 두 가지 사용 사례 (이미지 출처: Renesas Electronics Corporation)

실제 응용 분야의 예

비전 인지 기술을 배포할 수 있는 많은 사용 사례 중 흥미로운 슈퍼마켓 예시가 있습니다. 오늘날 야채 상점에서 결제할 때 일반적으로 직원 또는 구매자가 카트에 담긴 모든 상품을 스캔합니다. 흥미로운 사용 사례에서는 비전 인지를 사용하여 컨베이어를 통과하는 상품을 감지하여 자동으로 요금을 청구합니다.

간단한 CMOS 카메라와 Renesas의 RTK9754L23S01000BE 평가 기판을 사용하여 시제품을 제작할 수 있습니다(그림 6). RZ/V2L 내장형 개발 기판에는 개발자가 빠르게 구동하여 실행할 수 있는 시스템 온 모듈(SOM) 및 캐리어 기판이 있습니다. 또한 이 개발 기판 지지대는 DRP-AI 변환기와 같은 다양한 도구와 함께 Linux를 지원합니다.

그림 6: RZ/V2L 내장형 개발 기판에는 개발자가 빠르게 구동하여 실행할 수 있는 SOM 및 캐리어 기판이 있습니다. (이미지 출처: Renesas Electronics Corporation)

그림 7은 이미지 데이터를 수집하고 AI 결과를 생성하는 데 필요한 기능에 대한 작동 개요를 보여줍니다. 이 응용 예시에서는 기판 실장 ISP를 통해 CMOS 센서를 사용하여 컨베이어 벨트 이미지를 가져옵니다. 그런 다음 이미지를 메모리에 저장하고 DRP-AI 엔진에 공급합니다. 마지막으로 DRP-AI 엔진은 추론을 실행하고 AI 결과를 제공합니다. 예를 들어 결과에서 바나나, 사과 또는 일부 다른 과일을 볼 수 있습니다.

결과는 주로 0 ~ 1 신뢰 수준으로 제공됩니다. 예를 들어 0.90 신뢰는 AI가 감지된 사과를 신뢰한다는 것을 의미합니다. 반면에 0.52 신뢰는 AI가 사과라고 생각하지만 확신하지 못한다는 것을 의미합니다. 올바른 결과를 반환할 기회를 개선하기 위해 AI 결과를 가져와서 여러 샘플 간에 평균을 구하는 것은 흔히 발생하는 일입니다.

그림 7: RZ/V2L 내장형 개발 기판은 컨베이어 벨트를 지나는 다양한 과일을 인식하는 AI 추론을 실행하는 데 사용됩니다. 이 그림은 이미지를 가져와서 AI 결과를 생성하는 데 필요한 단계를 보여줍니다. (이미지 출처: Renesas Electronics Corporation)

마지막으로 이 예에서 감지되는 개체 주위에 상자가 그려지고, 인지된 개체의 이름이 신뢰 수준과 함께 표시됩니다(그림 8).

그림 8: 컨베이어 벨트 위의 과일과 야채를 감지하는 응용 분야의 RZ/V2L 출력 예 (이미지 출처: Renesas Electronics Corporation)

RZ/V2L을 시작하는 데 유용한 정보

Renesas RZ/V2L MPU에서 머신 러닝을 시작하려는 개발자는 구동하여 실행하기 위해 활용할 수 있는 많은 리소스가 있다는 것을 알 수 있습니다. 다음은 개발자가 개발을 단순화하고 가속화하도록 염두에 두어야 하는 몇 가지 '유용한 정보'입니다.

• 개발 기판과 기존 예시로 시작하여 응용 제품을 배포 및 실행하는 과정을 체험합니다.
• 여러 추론을 실행해야 하는 경우 실행 가능한 모델을 외부 메모리에 저장하고 DRP-AI 기능을 사용하여 모델 간을 빠르게 전환할 수 있습니다.
• Renesas의 RZ/V 내장형 AI MPU 사이트에 제공되는 설명서와 동영상을 검토합니다.
• DRP-AI 변환기를 다운로드합니다.
• RZ/V2L DRP-AI 지원 패키지를 다운로드합니다.

이러한 '유용한 정보'를 따르면 개발자가 시작할 때 많은 시간과 고민을 줄일 수 있습니다.

결론

ML 및 AI는 점점 더 중요해지고 있는 실시간 개체 인식 기능을 사용하여 다양한 에지 응용 방식을 모색하고 있습니다. 설계자는 에지에서 AI/ML을 수행하는 데 적합한 아키텍처를 찾는 데 어려움이 있습니다. GPU는 많은 전력을 소비하는 경향이 있는 반면 MCU는 컴퓨팅 성능이 충분하지 않을 수 있습니다.

위에서 살펴본 바와 같이 DRP-AI를 탑재한 Renesas RZ/V MPU 계열은 상당한 도구 체인 및 시제품 제작 지원을 비롯하여 하드웨어 가속 AI 등 다양한 이점이 있습니다.