마이크로 컨트롤러로 에지 AI에 대한 액세스를 더 쉽게 보편화하는 방법 및 그 이유

지난 몇 년간 에지 AI의 인기는 점점 높아져 왔습니다. 관련 글로벌 시장은 2035년까지 연평균 27.8%의 성장률을 기록하며 순자산 가치가 3,568억 4,000만 달러 규모로 성장할 것으로 예상됩니다.

이처럼 수요가 증가하는 데에는 다양한 요인이 작용하고 있습니다. 에지에서 데이터를 처리하면 기업이 민감하거나 독점적인 정보를 클라우드로 라우팅할 때 발생할 수 있는 보안 문제가 해결됩니다. 또한 에지 처리는 대기 시간을 줄여주므로, 순식간에 결정을 내려야 하는 실시간 응용 제품에서 중요할 수 있습니다. 산업용 IoT(IIoT) 장치는 데이터 기반 운영을 제공하므로, 결과적으로 에지 AI의 사용 사례가 증가하게 됩니다. 휴대용 의료 장치에서 웨어러블 및 IIoT에 이르기까지 빠르게 확장되는 구현으로 인해, 에지에서의 AI 시장이 활성화되고 있습니다.

이 기술의 인기가 상승하면서, 임베디드 시스템에서 데이터 처리 요구를 처리할 수 있는 부품에 대한 수요도 더불어 증가하고 있습니다.

컴퓨팅 처리 선택: 마이크로 컨트롤러 또는 마이크로 프로세서

오늘날 산업용 및 기타 임베디드 장비에 배포되는 대부분의 IoT 장치는 메모리가 거의 없는 저전력 장치입니다. 이러한 처리 능력은 소형 임베디드 마이크로 컨트롤러(MCU)에서 비롯됩니다. 이러한 MCU는 저전력 아키텍처를 갖추고 있어, 임베디드 시스템을 마이크로 프로세서를 사용하는 시스템보다 훨씬 더 비용 효율적으로 구현할 수 있도록 합니다.

에지 AI가 등장하기 전까지는 MCU가 IoT 장치의 처리 요구 사항을 충족해 왔습니다. 그러나 기존 MCU는 일반적으로 에지 AI 응용 제품의 특징인 복잡한 머신러닝 알고리즘에 필요한 컴퓨팅 성능을 제공할 수 없습니다. 이러한 알고리즘은 일반적으로 더 강력한 컴퓨팅 성능을 갖춘 그래픽 처리 장치(GPU) 및 마이크로 프로세서에서 실행됩니다. 그러나 이러한 부품을 사용하는 것은 전력 소비량을 비롯한 여러 단점이 있습니다. 마이크로 프로세서나 GPU는 에너지 효율이 가장 높은 솔루션이 아닙니다. 따라서 마이크로 프로세서 기반 에지 컴퓨팅은 일부 에지 AI 응용 제품에는 적합하지 않을 수도 있으며, 벤더는 대신 MCU에 의존하는 방식을 선택합니다.

독립형 MCU는 GPU 및 마이크로 프로세서보다 가격이 저렴합니다. 에지 AI를 확장하기 위해서는 컴퓨팅 성능을 높임과 동시에 저비용 및 저전력 소비라는 MCU의 장점을 활용해야 할 필요성이 점점 더 커지고 있습니다.

실제로 지난 몇 년간, 에지에서 MCU의 기능을 개선하기 위해 몇몇 요소가 통합되었습니다.

에지에서 MCU를 사용하게 되는 이유

기존 MCU는 AI 관련 데이터를 처리하기에는 너무 가볍다는 것이 일반적인 가정이었지만, MCU의 설계와 광범위한 기술 에코시스템의 변화로 인해 에지 AI 사용 사례에서 채택이 가속화되고 있습니다.

주요 요인은 다음과 같습니다.

• MCU에 AI 가속기 통합: MCU만으로는 에지 컴퓨팅 수요를 충족하기 어려운 경우, 신경 처리 장치(NPU) 또는 디지털 신호 프로세서(DSP)와 같은 AI/ML 가속기와 통합하면 그 성능이 향상됩니다.

  예를 들어, STMicroelectronics의 STM32N6 계열 CPU(그림 1)는 800MHz로 실행되는 Arm Cortex-M55를 기반으로 합니다. Arm Helium 벡터 처리 기술은 표준 CPU에 DSP 처리 기능을 제공합니다. STM32N6은 강력한 에지 AI 응용 제품을 위해 설계된 자체 개발 NPU인 ST Neural-ART Accelerator를 내장한 최초의 STM32 MCU입니다.

그림 1: STM32N6은 전력 효율적인 에지 AI 응용 제품을 위해 설계된 자체 개발 신경 처리 장치(NPU)인 ST Neural-ART Accelerator를 내장한 최초의 STM32 MCU입니다. (이미지 출처: STMicroelectronics)

• 에지에 최적화된 AI 모델: 대규모의 AI 및 머신러닝 알고리즘은 간편하게 MCU로 전송할 수 없습니다. 이들은 제한된 컴퓨팅 리소스에 알맞게 최적화되어야 합니다. TinyML 및 MobileNet과 같은 콤팩트한 AI 아키텍처는 최적화 기술을 통해 이를 수행하므로, 에지의 MCU에서도 AI 알고리즘을 실행할 수 있습니다. STMicroelectronics는 신경망을 STM32 MCU에 최적화된 C 코드로 변환하는 소프트웨어 솔루션인 STM32Cube.AI를 출시했습니다. 이 솔루션을 STM32N6과 함께 사용하면, 처리 기능 및 메모리가 제한된 환경에서도 에지 AI 응용 제품에 필요한 성능을 보장할 수 있습니다.

• AI 에코시스템의 성장: 에지에서 AI 관련 처리를 수행할 수 있는 하드웨어 부품을 갖추는 것만으로는 충분하지 않습니다. 에지에서 AI 알고리즘을 실행하려면, AI 배포를 더 간편하게 해 주는 개발자 친화적인 에코시스템이 필요합니다. 마이크로 컨트롤러용 TensorFlow Lite와 같은 특정 도구는 이러한 솔루션을 제공하는 데 도움이 됩니다. Hugging Face와 같은 오픈 소스 커뮤니티와 기타 플랫폼에서는 개발자가 특정 사용 사례에 맞게 테스트하고 조정할 수 있는 사전 학습된 모델 및 코드 라이브러리를 제공합니다. 이러한 AI 생태계는 기술 도입의 장벽을 낮추고, 리소스가 부족한 기업이 처음부터 독점적인 AI 모델을 개발할 수 없는 경우에도 그 접근성을 높여줍니다.

  STMicroelectronics는 최적화된 에지 AI 솔루션을 위해 특별히 맞춤화된 하드웨어 및 소프트웨어 에코시스템인 ST Edge AI 제품군을 보유하고 있습니다. 이 제품군은 개발자가 마이크로 컨트롤러용 코드를 생성할 수 있는 모델, 데이터 소스, 툴 및 컴파일러를 쉽게 찾을 수 있도록 ST의 여러 AI 라이브러리와 툴을 통합합니다.

  개발자는 Model Zoo에서 사전 학습된 모델로 작업을 시작할 수 있습니다. 이러한 모델은 컴퓨터 비전(CV), 자연어 처리(NLP), 생성 AI(GenAI), 그래프 머신러닝 등의 분야에서 머신러닝 모델을 표현하기 위한 개방형 표준인 개방형 신경망 교환(ONNX) 형식을 사용합니다.

• 표준화 및 상호운용성을 위한 코드: AI 에코시스템은 기업의 에지 AI 사용 사례 테스트를 지원했으며, 개방적이고 표준화된 모델 형식은 하드웨어 시스템 전반에서 원활한 통합을 촉진했습니다. 소프트웨어 툴과 MCU 간의 호환성은 에지 AI 구현의 어려움을 줄이는 데 도움이 되었습니다.
• 에지 보안에 대한 고려: MCU는 데이터의 클라우드 처리 필요성을 없애거나 최소한 줄여주지만, 하드웨어 부품은 추가적인 보안 계층을 제공합니다. 이러한 제품은 일반적으로 하드웨어 암호화 및 보안 부팅과 같은 기능이 포함되어 있어, 악의적인 공격자로부터 데이터와 AI 모델 모두를 보호합니다.

STM32N6 하드웨어의 주목할 만한 기능

STM32N6 계열에는 NPU가 포함된 고성능 MCU, 카메라 모듈 번들, 디스커버리 키트가 포함되어 있습니다. 이 계열은 일반적인 ARM Cortex-M 아키텍처를 사용하며, 이러한 장치를 에지 AI에 적합하도록 하는 몇몇 주요 기능을 갖추고 있습니다. 여기에는 다음이 포함됩니다.

• 신경망 모델을 실행할 수 있는 Neural ART Accelerator. 집약적인 AI 알고리즘에 최적화되어 있으며, 1GHz로 클록되고 평균 3TOPS/W의 에너지 효율로 600GOPS를 제공합니다.
• 강력한 신경망 및 DSP 기능을 구현하는 ARM 명령어 세트인 'Helium' M 프로파일 벡터 확장(MPVE) 명령어를 지원합니다. 예를 들어 이러한 지침은 16비트 및 32비트 부동 소수점 숫자로 작업하도록 설계되어, 정밀도가 낮은 숫자를 효율적으로 조작할 수 있습니다. 이는 ML 모델을 처리하는 데 중요합니다.
• 모든 경험 수준의 개발자가 인텔리전트 에지를 위한 AI를 개발하는 데 도움이 되는 무료 소프트웨어 툴, 사용 사례 및 설명서가 포함된 저장소인 ST 에지 AI 제품군. 이 제품군에는 STM32 Model Zoo의 전용 신경망, 실제 벤치마킹을 위한 보드 팜(board farm) 등을 갖춘 ST 에지 AI 개발자 클라우드와 같은 툴도 포함되어 있습니다.
• 약 300개의 구성 가능한 곱셈 누산 단위와 2개의 64비트 AXI 메모리 버스를 통해 600GOPS의 처리량을 제공합니다.
• 여러 대의 5메가픽셀 카메라와 직접 인터페이스할 수 있는 전용 이미지 신호 프로세서(ISP)가 내장되어 있습니다. 카메라를 통합하는 시스템을 구축하기 위해서는 개발자가 특정 CMOS 카메라 센서와 해당 렌즈에 맞게 ISP를 조정해야 합니다. 튜닝에는 통상적으로 전문가 또는 타사의 도움이 필요합니다. ST는 이를 위해 개발자에게 iQTune이라는 특수 데스크톱 소프트웨어를 제공합니다. Linux 워크스테이션에서 실행되는 이 소프트웨어는 STM32의 임베디드 코드와 소통하여 색 정확도, 이미지 품질 및 통계를 분석하고 ISP의 레지스터를 적절하게 구성합니다.
• 모바일 응용 제품에서 가장 널리 사용되는 카메라 인터페이스인 MIPI CSI-2를 지원합니다(이 특정 카메라 직렬 인터페이스와 호환되는 외부 ISP 없이도).
• 단일 장치에서 다양한 추가 기능이 제공되므로, 개발자가 여러 MCU를 사용하지 않고도 GUI와 함께 신경망을 실행할 수 있습니다.
• Target SESIP 레벨 3 및 PSA 레벨 3 인증을 포함한 강력한 보안.

결론

에지에서 실행되는 머신러닝 응용 제품은 복잡한 알고리즘을 실행하는 부담을 감당하기 위해 임베디드 시스템에 고사양 마이크로 프로세서를 필요로 했습니다. 이제 기업들은 STMicroelectronics의 STM33N6 계열 CPU와 같은 강력한 MCU를 통해 에지에서 AI를 대중화할 수 있게 되었습니다. STMicroelectronics는 추론을 위한 소프트웨어 및 하드웨어 구부품을 포함하여 에지에서의 AI 배포를 위한 총체적인 에코시스템을 제공합니다.