고대역폭 로봇 비전 응용 제품을 위한 GMSL 활용

물리적 세계를 실시간으로 인식하고 이에 적응하는 로봇 응용 제품을 설계하는 데 있어 비전은 매우 중요합니다. 로봇 시스템은 역동적이며 종종 예측할 수 없는 환경에서 작동하는데, 이러한 곳에서는 센서 데이터가 수 밀리초 내에 캡처, 전송, 처리되고 실행되어야만 합니다. 여기에서 대기 시간, 데이터 손실 또는 타이밍 불일치가 생기는 경우, 성능이 저하되며 안전 위험까지도 발생할 수 있습니다.

로봇 시스템이 작업별 프로그래밍이 아닌 대량의 시각적 데이터에 의존하는 머신 러닝 기반 인식으로 전환함에 따라, 이러한 제약 조건은 더욱 까다로워지고 있습니다. 머신 러닝 방식은 로봇 응용 제품의 적응력을 높이므로, 최소한의 재프로그래밍으로 새로운 사물, 환경, 작업을 인식할 수 있도록 합니다.

이러한 추세로 인해 로봇 시스템 내에서 시각적 데이터를 전송하는 방법에 대한 압박이 커지고 있습니다. 기가비트 멀티미디어 직렬 링크(GMSL) 기술은 센서 연결을 간소화하고, 케이블 복잡성을 줄이며, 분산된 카메라와 중앙 컴퓨팅 모듈 간의 짧은 대기 시간 및 강력한 데이터 전송을 지원함으로써 설계 문제를 해결하는 데 도움이 될 수 있습니다.

원래 ADAS(첨단 운전자 보조 시스템)와 같은 자동차 응용 제품용으로 설계된 GMSL은 로봇 공학 및 머신 비전 시스템에서 대기 시간이 짧고 전자파 방해에 강한 내성을 갖추고 있어 원격 카메라와 센서를 연결하는 데 널리 사용됩니다.

Analog Devices, Inc.에서 개발한 GMSL은 단일 동축 또는 연선 케이블을 통해 고대역폭 동영상 및 데이터를 전송할 수 있는 고속 직렬 변환기/직병렬 변환기(SerDes) 통신 기술입니다. 각 카메라는 네트워크 패브릭을 공유하지 않고 전용 고속 링크를 통해 작동하므로, 경합, 라우팅 및 패킷 기반 변동성이 제거됩니다. 따라서 센서 수가 증가하더라도 타이밍과 대기 시간이 일관되게 유지되는 예측 가능한 데이터 경로가 생성됩니다.

GMSL 직렬 변환기는 일반적으로 여러 신호 라인에서 병렬로 전송되는 픽셀 데이터 그룹을 가져와 연속 고속 직렬 스트림으로 변환합니다. 프로세서 측에서는 직병렬 변환기가 이를 원래 형식으로 다시 변환합니다. 각 카메라에는 자체 지점 간 링크가 있기 때문에, 네트워크 경합, 스위칭 오버헤드 또는 패킷 스케줄링 대기 없이 카메라 수에 따라 대역폭이 선형적으로 확장됩니다.

이 접근 방식의 이점은 비전 시스템이 여러 대의 고해상도 카메라로 확장될수록 더욱 두드러집니다. 단일 카메라 응용 제품과 달리, 이러한 시스템에서는 탐색, 조작, 실시간 장면 이해와 같은 작업을 지원하기 위해 조밀하고 동기화된 시각적 커버리지가 필요합니다. 센서 수가 증가함에 따라 대역폭, 케이블 연결 및 타이밍 정밀도에 대한 부담도 증가하여, 기존의 근거리 기판 레벨 상호 연결 장치의 한계가 드러나게 됩니다.

USB, 표준 이더넷 또는 직접적인 기판 레벨 MIPI 링크와 같은 기존 접근 방식에는 대기 시간, 동기화 또는 물리적 도달 범위 측면에서 장단점이 존재합니다. 결과적으로, 카메라가 많아질수록 배선, 타이밍 관리, 시스템 설계의 복잡성이 증가하면서 통합의 어려움이 점점 증가합니다.

다른 비전 연결 방식과 비교했을 때 GMSL은 다음과 같은 몇 가지 뚜렷한 장점을 제공합니다.

• 이더넷 기반 비전 스택의 복잡성을 피하는 단순하고 대기 시간이 짧은 지점 간 아키텍처를 유지하는 동시에, 범위와 견고성 면에서 MIPI CSI-2를 뛰어넘는 성능을 제공합니다.
• GMSL은 이더넷의 대규모 분산 네트워크 유연성보다 지점 간 확실한 연결과 더 간단한 멀티 카메라 동기화를 더 중요시합니다.
• 성능은 또 다른 독자적인 SerDes 옵션인 FPD-Link와 대체로 비슷하며, 두 옵션 중 하나를 선택하는 것은 보통 에코시스템 고려 사항에 따라 결정됩니다.

GMSL은 고속 카메라 연결에 대한 실용적인 접근 방식과 확실하고 짧은 대기 시간 성능을 제공함으로써, 임베디드와 네트워크 비전 시스템 간의 균형을 맞춥니다. 이를 통해 실시간 로봇 시스템에 대한 엄격한 대기 시간 및 신뢰성 요구 사항을 유지하면서도 고속 비전 연결을 간소화할 수 있습니다.

빠른 속도, 대용량

이러한 아키텍처의 장점은 카메라 해상도와 센서 수가 계속 증가함에 따라 매우 중요합니다. GMSL은 단일 케이블을 통해 여러 대의 카메라 또는 기타 센서에서 대량의 데이터, 특히 동영상을 이동할 수 있습니다. 네트워크 경합이나 패킷 라우팅이 없는 전용 지점 간 링크를 활용합니다. 설계자는 각 지점에 여러 연결을 사용하는 대신 GMSL을 사용하여 동축 또는 연선 케이블을 통해 고대역폭 스트림을 전송하면서 짧은 대기 시간과 강력한 잡음 저항을 유지할 수 있습니다.

이 기술은 자동차 배선을 간소화하고 견고성을 향상시켰으며, 이러한 특성은 로봇 공학에도 그대로 적용됩니다. 케이블 수가 줄어들면 전기 및 기계 설계가 간소화되어 시스템이 더 가볍고 안정적이며 조립 과정이 쉬워집니다. 분산형 카메라는 컴퓨팅 모듈에서 멀리 떨어진 곳에 배치하고 최소한의 케이블로 연결하면서도 실시간 인식 및 의사 결정을 지원하는 동기화되고 대기 시간이 짧은 데이터를 안정적으로 제공할 수 있습니다.

로봇은 점점 더 여러 대의 고해상도 카메라에 의존하고 있으며, 때로는 깊이 센서 또는 LiDAR(광 감지 및 거리 측정)와 결합하여 주변 환경을 파악합니다(그림 1). 각 카메라는 단독으로 대량의 데이터 스트림을 생성할 수 있으며, 여러 대를 함께 사용하면 대역폭 요구 사항이 엄청나게 커질 수 있습니다. 픽셀당 24비트로 30fps의 1080p 해상도를 제공하는 카메라 1대는 약 1.4Gbps의 데이터를 생성하며, 4대는 5.6Gbps, 6대는 8.4Gbps에 이릅니다. 더 높은 해상도, 더 높은 프레임 속도의 응용 제품은 대역폭 요구 사항을 초당 수십 기가비트로 끌어올릴 수 있습니다.

그림 1: 여러 대의 카메라와 기타 센서로부터의 이미지 데이터를 처리하여 로봇 인지를 가능하게 하는 GMSL 기반 다중 모드 로봇 비전 시스템입니다(이미지 출처: Analog Devices, Inc.).

이러한 데이터 볼륨을 안정적으로 지원하려면 타이밍의 불확실성 없이 예측 가능하게 확장할 수 있는 전송 아키텍처가 필요합니다. GMSL의 확실하고 대기 시간이 짧은 링크는 여러 대의 카메라가 동기화 상태를 유지하고 데이터를 예측 가능하게 전달하므로, 시스템에 부담을 주거나 타이밍 불확실성을 초래하지 않고도 멀티 카메라 인식 기능을 갖춘 응용 제품을 개발할 수 있도록 합니다.

현실적인 고려 사항

로봇 공학 시스템은 기업들이 인지, 조작, 자율적 의사 결정을 내릴 수 있는 다목적 플랫폼으로 전환함에 따라 발전해 가고 있습니다. Tesla의 Optimus와 같은 휴머노이드 로봇은 복잡한 환경에 대한 탐색 및 상호작용을 위해 동기화된 여러 개의 고해상도 동영상 스트림이 있는 실시간 카메라 네트워크에 의존합니다.

로봇 비전은 실시간 탐색 및 조작을 위해 분산형 센서 어레이를 점점 더 많이 사용하고 있으므로, 긴밀한 동기화와 안정적인 연결이 필요합니다. 감지에 대한 수요가 증가함에 따라, 응용 제품은 컴퓨팅 리소스에 부담을 주거나 타이밍 문제를 일으키지 않으면서 센서 수와 해상도를 높여야 합니다. 이러한 요구 사항은 이미지 센서와 컴퓨팅 플랫폼을 연결하여 자율성에 필수적인 짧은 대기 시간, 동기화된 데이터를 유지하는 에지 및 집계 장치를 통해 구현됩니다.

시스템 에지에서는 ADI의 MAX96717 GMSL2 직렬 변환기와 같은 장치가 이미지 센서와 전송 링크 사이의 인터페이스 역할을 합니다(그림 2). 카메라 바로 뒤에 위치하며, 고대역폭 MIPI CSI-2 카메라 데이터를 고속 직렬화 링크로 변환하여 장거리 자동차 스타일 케이블을 통해 전송합니다. 이 장치는 3Gbps 또는 6Gbps의 전방향 링크 데이터 전송률을 지원하며, 역방향 제어 채널은 187.5 Mbps에서 작동하고, 최대 4개의 MIPI CSI-2 레인을 1레인당 2.5Gbps로 수용합니다.

그림 2: 이 회로도에서는 4개의 MAX96717 장치가 개별 카메라 센서의 병렬 데이터 스트림을 직렬 신호로 변환하여 GMSL2 링크를 통해 MAX96724 직병렬 변환기로 전송하고, 직병렬 변환기는 이를 집계하고 MIPI CSI-2로 변환하여 집계되고 동기화된 이미지 데이터를 중앙 프로세서로 전달합니다(이미지 출처: Analog Devices, Inc.).

직렬 변환기는 프레임 무결성, 제어 신호 및 동기화 메타데이터를 보존하면서 원시 카메라 출력을 장거리 GMSL2 링크로 실시간 포맷 및 전송합니다. 직렬 변환기는 긴밀하게 결합된 이미지 센서를 로봇의 어느 곳에나 배치할 수 있는 원격 감지 노드로 변환하므로, 단거리 상호 연결에 의해 제한되지 않고 여러 대의 카메라를 로봇 플랫폼에 분산 배치할 수 있습니다.

수신 측에서는 ADI의 MAX96724와 같은 멀티 링크 GMSL2 직병렬 변환기가 여러 원격 카메라 스트림을 하나의 동기화된 인터페이스 허브로 통합합니다. 이 장치는 시스템 복잡성을 증가시키지 않고 확장 가능한 멀티 카메라 인식을 가능하게 하며, 최대 4개의 GMSL2 카메라 스트림(각각 3 또는 6 Gbps)을 단일 MIPI CSI-2 인터페이스로 호스트 프로세서에 집합시키는 동시에 센서 간의 동기화된 타이밍과 양방향 제어를 유지합니다.

카메라 데이터가 역직렬화되면 호스트 프로세서에 표준 이미지 스트림으로 전달되며, 일반적으로 MIPI CSI-2 인터페이스를 통해 전달됩니다. 여기에서부터, 여러 카메라의 프레임이 시스템의 비전 스택에 의해 병렬로 수집되며, 여기에는 물체 감지, 깊이 추정, 추적 및 장면 이해와 같은 작업을 위한 ISP 처리, 동기화 논리 및 AI 추론 모델이 포함될 수 있습니다.

GMSL 스트림은 일관된 타이밍으로 도착하기 때문에, 응용 제품은 카메라 간 데이터뿐만 아니라 LiDAR나 움직임과 방향을 감지하는 관성 측정 장치(IMU)와 같은 다른 센서 데이터도 신뢰성 있게 융합할 수 있으므로, 로봇은 자신의 환경을 일관되게, 실시간으로 파악할 수 있습니다. 개발 및 검증을 위해, 직렬 변환기 측 카메라 모듈을 MAX96724-BAK-EVK#과 같은 직병렬 변환기 EVK와 페어링하는 평가 플랫폼을 사용하여 전체 신호 체인을 구현할 수 있으므로(그림 3), 개발자는 맞춤형 하드웨어 설계로 전환하기 전에 멀티 카메라 동기화, 대역폭 성능 및 프로세서 통합을 테스트할 수 있습니다.

그림 3: MAX96724-BAK-EVK# 평가 플랫폼은 로봇 비전 시스템을 위한 개발 참조 플랫폼을 제공하여, MAX96717과 같은 직렬 변환기에서 여러 GMSL2 카메라 스트림을 집계하고 동기화된 MIPI CSI-2 출력을 중앙 프로세서로 전달합니다(이미지 출처: Analog Devices, Inc.).

안정적으로 구축된 기술 및 에코시스템

GMSL은 여러 세대에 걸쳐 발전해 왔으며, 동일한 핵심 SerDes 기반 아키텍처를 유지하면서 각각 대역폭, 범위, 시스템 유연성을 다음과 같이 확장해 왔습니다.

• GMSL1은 장거리 고속 동영상 전송을 위한 강력한 자동차 등급 솔루션을 도입했으며, 주로 HD급 카메라 시스템을 지원합니다.
• GMSL2는 대역폭과 확장성이 크게 향상되어, 보다 긴밀한 동기화, 짧은 대기 시간, 효율적인 멀티 스트림 통합을 통해 멀티 카메라 1080p 및 4K 시스템을 지원합니다. 따라서 최신 ADAS 및 로봇 공학 플랫폼에서 지배적인 세대로 자리잡고 있습니다.
• GMSL3는 이러한 기반을 바탕으로, 데이터 전송률, 시스템 유연성, 차세대 고해상도 센서 및 점점 더 복잡해지는 멀티 센서 아키텍처에 대한 지원이 더욱 개선되었습니다.

GMSL은 확장 가능하며 생산에 바로 사용할 수 있는 배포를 지원하는 성숙한 에코시스템의 지원을 받습니다. 로봇 공학 개발자는 카메라, 컴퓨팅 모듈, 케이블, 커넥터, 소프트웨어/드라이버 지원 등 실제 환경에서 안정적으로 작동하도록 설계된 검증된 부품의 전체 스택을 활용할 수 있습니다. 이 에코시스템은 통합 복잡성을 줄이고, 개발 주기를 단축하며, 초기 시제품 제작에서 생산 시스템으로 확장하는 장벽을 낮춥니다.

결론

로봇 공학 시스템이 더 높은 센서 밀도와 실시간 자율성을 향해 진화함에 따라, 연결 아키텍처는 결정론이나 신뢰성을 손상시키지 않으면서 확장해야 합니다. GMSL 기반 아키텍처는 케이블 연결을 간소화하고, 결정론적 타이밍을 유지하며, 분산 센서 배치를 가능하게 함으로써, 로봇 설계자가 컴퓨팅 또는 동기화 모델을 근본적으로 재설계하지 않고도 인지 능력을 향상시킬 수 있도록 합니다. 이는 고밀도 실시간 로봇 비전 시스템으로 전환하는 데 있어 핵심적인 구성 요소를 제공합니다.