강력한 에지 AI 애플리케이션을 쉽게 구축하는 방법

사물 인터넷(IoT)을 위한 간단한 센서 기반 장치를 설계하는 것은 그리 어려운 일이 아니지만, 에지에서 머신 러닝(ML)을 처리할 수 있는 커넥티드 장치를 구축하는 것은 완전히 다른 차원의 도전입니다. NXP Semiconductors의 프로세서 제품군, 개발 기판, 관련 소프트웨어는 기능성, 성능, 개발 측면에서 발생하는 주요 과제를 해결하도록 설계되었으며, 산업 및 IoT 응용 분야에서 정교한 에지 인공 지능(AI) 기능을 더 빠르게 배포할 수 있습니다.

설계자들은 이미 클라우드 기반 리소스에 의존하지 않고 저전력 장치에서 ML 추론을 수행하는 에지 AI 솔루션을 활용하기 시작했습니다. 웨이크 워드 감지, 센서 데이터 패턴 분석, 기본적인 개체 감지와 같은 기능은 일반적으로 모델 최적화 도구와 프레임워크로 구축된 ML 모델을 실행하는 에너지 효율적인 프로세서로 처리할 수 있습니다. 하지만 프로세서 리소스를 확장하여 더욱 복잡한 작업, 특히 실시간 또는 준실시간 응답이 필요한 작업을 수행하려 할 때 문제가 발생합니다.

다중 코어 프로세서로 ML 추론 속도를 획기적으로 높이는 방법

NXP Semiconductors는 이처럼 새로운 실시간 에지 AI 설계의 기능적, 성능적 과제를 i.MX 93 응용 프로세서 제품군을 통해 해결합니다(그림 1).

그림 1: i.MX 93 응용 프로세서는 처리 리소스, 보안 시스템, 메모리, 그리고 종합적인 클록, 타이머, 연결 옵션 및 인터페이스의 조합으로 에지 AI 설계의 기반을 제공합니다(이미지 출처: NXP Semiconductors).

이러한 장치는 멀티미디어, 메모리, 인터페이스, 연결 옵션 등 다양한 기능을 통합하고 다음과 같은 뛰어난 처리 리소스의 조합을 제공합니다.

• Linux 기반 애플리케이션 처리를 위한 최대 2개의 고성능 Arm Cortex-A55 응용 프로세서 코어
• 대기 시간이 짧은 실시간 제어 처리를 위한 초저전력 Arm Cortex-M33 플랫폼
• 효율적인 ML 추론 실행을 위한 Arm Ethos-U65 microNPU 신경망 처리 장치(NPU)
• 보안 부팅, 키 관리, 실시간 암호화 기능 등 에지 애플리케이션을 보호하는 데 필요한 여러 기능과 함께 안전한 기반을 제공하는 NXP의 통합 EdgeLock 보안 인클레이브(ESE)

이러한 프로세서의 기능을 사용하면 대규모 에지 AI 애플리케이션을 여러 부분으로 분할하여 쉽게 관리할 수 있습니다. Cortex-A55 코어에서 실행되는 애플리케이션 코드의 처리 성능을 유지하면서, NPU가 연산 집약적인 신경망 알고리즘 실행을 대신 처리합니다. Cortex-M33은 센서 데이터 수집이나 공정 제어와 같이 대기 시간에 민감한 작업을 전담하고 ESE는 시스템, 소프트웨어 코드, 중요 데이터의 보안을 유지합니다. 아래에서 살펴보겠지만, Cortex-A55 코어의 ML 추론을 대신 처리하는 NPU의 기능은 준실시간 응답이 요구되는 에지 AI 애플리케이션의 핵심 요소입니다.

하드웨어 기판과 소프트웨어가 애플리케이션 개발을 가속화하는 방법

프로세서 기능과 성능이 핵심 요소이긴 하지만, 에지 AI 애플리케이션을 효과적으로 개발하려면 프로세서의 성능을 빠르게 이해하고 효과적인 소프트웨어를 신속하게 구축하는 역량이 필요합니다. NXP의 FRDM-IMX93 개발 기판(그림 2)과 관련 소프트웨어 개발 리소스를 함께 활용하면 애플리케이션 개발을 시작하는 데 필요한 모든 것을 한 번에 해결할 수 있습니다.

그림 2: FRDM-IMX93 개발 기판은 i.MX 93 응용 프로세서와 여러 지원 칩을 통합하여 개발을 위한 완벽한 시스템을 제공합니다(이미지 출처: NXP Semiconductors).

FRDM-IMX93 기판은 i.MX 93 프로세서 제품군을 사용하는 애플리케이션 개발 과정을 간소화하기 위해 설계되었습니다. 크기가 105mm × 65mm에 불과한 이 기판에는 2Gbyte의 저전력 이중 데이터 전송률 4X(LPDDR4X) 동적 랜덤 액세스 메모리(DRAM), 32Gbyte 내장형 멀티미디어 카드 5.1(eMMC5.1), 전력 관리 집적 회로(PMIC), Wi-Fi 6, Bluetooth 5.4 및 802.15.4 무선 개인 네트워크를 제공하는 무선 트랜시버 모듈 그리고 기타 필수 지원 칩이 탑재되어 있습니다. 기판의 헤더, 커넥터 및 디버그 인터페이스를 통해 시스템 디버깅용 확장 기판을 쉽게 추가할 수 있습니다.

이 기판은 여러 구성 옵션을 제공하지만 기본 모드에서도 바로 사용할 수 있습니다. 디스플레이와 마우스를 연결하고 제공되는 USB 케이블을 사용하여 기판에 전원을 공급하면 NXP Linux 바이너리 데모 이미지가 미리 플래시되어 있는 eMMC에서 기판이 부팅됩니다.

사전 구축된 애플리케이션으로 에지 AI 배포 가속화

FRDM-IMX 93 개발 기판의 진정한 강점은 함께 제공되는 소프트웨어와 관련 도구에 있습니다. 기본 데모 이미지에 포함된 NXP의 GoPoint for i.MX Applications Processors 소프트웨어 패키지는 GoPoint 그래픽 사용자 인터페이스(GUI)를 통해 액세스할 수 있는 다양한 예제 애플리케이션을 제공합니다. 애플리케이션을 실행하면 GoPoint가 카메라 동영상 소스 지정과 같은 필수 구성 단계를 안내해 줍니다.

많은 분이 관심을 가질 만한 NXP의 예제 애플리케이션 저장소에는 각 GoPoint 애플리케이션에 대한 전체 Python 소스 코드가 포함되어 있습니다. 또한 각 애플리케이션에 대한 설명서에는 소프트웨어 아키텍처, 사용된 ML 모델, 실행 환경 설정에 대한 설명이 포함되어 있습니다. 예를 들어 GoPoint i.MX 93 저전력 머신 러닝 애플리케이션 설명서는 Cortex-A55와 Cortex-M33 코어 간의 실행 흐름을 설명하는데, Cortex-M33이 까다로운 웨이크 워드 감지 작업을 수행하다가 최종적으로 Cortex-A33에서 Linux를 깨워 사용자에게 알리는 과정을 보여줍니다.

NXP의 GoPoint 운전자 모니터링 시스템(DMS) 애플리케이션은 다른 중요한 개념, 즉 여러 모델의 실행을 연계하여 더 복잡한 애플리케이션에서 다양한 상태를 감지하는 방법을 구현합니다. 이 애플리케이션을 호출한 후 카메라 소스 및 추론 프로세서(예: 응용 프로세서 또는 NPU)를 선택한 다음 실행하십시오. 실행 시 카메라 피사체(운전자)의 현재 상태가 표시되며, 피사체의 주의산만, 졸음, 하품, 흡연, 휴대 전화 사용 상태를 확인할 수 있습니다(그림 3).

그림 3: i.MX 93 응용 프로세서에서 실행되는 샘플 GoPoint 애플리케이션은 여러 ML 모델에서 추론을 수행하여 밀리초 수준의 대기 시간으로 다양한 운전자 상태를 감지합니다(이미지 출처: NXP Semiconductors).

각 애플리케이션의 저장소에 있는 강력한 정보는 NPU의 더욱 효과적인 에지 AI 애플리케이션의 구현 능력을 보여주는 성능 데이터입니다. 예를 들어 DMS 애플리케이션에서 NXP는 단일 스레드로 CPU 기반 흡연/통화 감지 추론을 실행하는 데 407.963ms가 걸린다는 사실을 확인했습니다. 이중 스레드로 실행하면 추론 시간이 303.159ms로 짧아지지만, 진정한 효과는 NPU를 사용할 때 나타납니다. NPU에서의 추론 시간은 단 23.008ms로 대폭 짧아집니다.

결론

준실시간 대기 시간으로 대규모 추론 작업을 수행할 수 있는 저전력 i.MX 93 응용 프로세서의 성능은 산업 및 IoT 응용 분야에서 에지 AI 솔루션에 수많은 가능성을 제시합니다. 관련 개발 기판과 소프트웨어를 사용하면 이러한 애플리케이션을 빠르고 효과적으로 구축할 수 있습니다.