적외선 시간차 이미징을 사용하여 로봇 기능 향상

이미징은 기본 작업 수행, 장애물 회피, 탐색, 기본 안전 보장 등 다양한 로봇 응용 분야에서 중요한 역할을 합니다. 저가형 비디오 카메라를 사용하면 확실하게 이미징을 제공할 수 있으며, 스테레오 비전과 깊이 감지를 위해 카메라 두 대를 함께 사용할 수도 있습니다. 하지만 카메라를 두 대 사용하는 경우 몇 가지 단점이 있습니다.

3D 이미징에 듀얼 카메라를 사용할 경우 전력 소비와 공간 요구 사항이 높아질 뿐만 아니라 폼 팩터와 제조 프로세스가 복잡해지고 비용이 증가합니다. 3D 이미징이 기본 "지원" 장치, 자율 주행 자동차 등 다양한 응용 분야에서 널리 사용됨에 따라 설계자는 단순히 카메라를 추가하는 것보다 더 효율적인 대안을 요구합니다.

이를 위해 설계자가 포장, 비용, 전력 소비, 데이터 감소, 전체 성능 등에서 이점이 있는 대안을 사용하는 경우가 증가하고 있습니다. 대안으로는 시간차(ToF) 이미징 시스템(라이더(Light Detection and Ranging, LIDAR)라고도 함)이 있습니다. 이러한 대안은 적외선(IR) 이미징(온도 기록법이라고도 함)에 의해 보완될 수 있습니다.

IR로 시작

적외선 전자기파의 파장은 가시 스펙트럼의 적색 부분에 해당하는 파장보다 길고, IR 밴드 파장의 범위는 일반적으로 700nm(0.7μm) ~ 1mm(1000μm)로 간주됩니다. 간단히 말하면 물체에서 반사되는 열이라고 할 수 있습니다. 적절한 IR 이미징 시스템을 사용하여 이 IR "열지도"를 가시광선 이미지로 변환할 수 있습니다. 이때 상대 온도를 강조하기 위해 적외선 컬러 사진이 추가되는 경우도 있습니다(그림 1).

그림 1: 꼭지에서 물통으로 쏟아지는 물에 대한 적외선 이미지(온도 차이를 보다 정확하게 전달하기 위해 "적외선 컬러 사진"을 사용합니다.) (FLIR Systems, Inc. 이미지 제공)

IR 이미징은 IR 감지와 다릅니다. 감지는 열원(예: 경보 시스템의 일부로 수동 적외선(PIR) 센서 앞을 지나가는 사람, 모니터링 중인 파이프에서 발생되는 과도한 열)을 감지하여 측정하는 데 사용되는 비접촉식 방법이며, 이미지 형태의 세부 정보나 이미지 분해능이 없습니다.

기존 가시광선 이미징을 사용하거나 추가하는 대신 IR을 사용하는 이유는 무엇입니까? 여러 가지 이유가 있습니다.

• IR은 의도적으로 숨겨 놓거나 우연히 관심 물체가 배경에 섞여 있는 경우에 유용합니다.
• IR을 사용하면 가시 범위 내에서 사람이나 온혈 동물을 찾을 수 있습니다.
• 또한 IR은 과열된 파이프, 스팀관, 연기를 피우며 타는 불, 전기 오작동을 비롯하여 국지적인 발열 상태를 초래하는 일반적인 결함을 찾는 데 유용합니다.

이제 간편한 인터페이스를 지원하는 고집적 고성능 부품으로 인해 IR 이미징 서브 시스템을 매우 단순하게 구현할 수 있습니다. FLIR Systems, Inc.의 Lepton IR 카메라를 예로 들어 보겠습니다(그림 2). 이 카메라는 두께가 약 10mm × 12mm × 6mm이며, 고정 초점 렌즈 조립품, 80 × 60 픽셀 장파 적외선(LWIR) 마이크로볼로미터 센서 어레이(8μm ~ 14μm IR용) 및 신호 처리 전자 기기를 내장하고 있습니다.

그림 2: FLIR Lepton Imager(소켓이 없는 그림): 사용자가 프로그래밍 가능한 신호 처리 기능을 포함하는 고집적 장치 (FLIR Systems, Inc. 이미지 제공)

산업 표준 MIPI 및 SPI 동영상 인터페이스와 2선식 I²C형 직렬 제어 인터페이스를 사용하여 쉽게 상호 연결할 수 있습니다(그림 3). 작은 크기와 사용 편의성에도 불구하고 Lepton 장치는 0.5초 미만의 빠른 부팅 시간과 50mK 미만의 열 감도를 지원하는 우수한 성능을 제공합니다. 작동 전력이 150mW(일반)로 낮습니다.

그림 3: Lepton 장치의 이 간략한 제품 구성도에서는 일체형 이미지 처리 장치와 기본 센서 어레이, 사용자 시스템을 연결하는 간략한 인터페이스를 보여 줍니다. (FLIR Systems, Inc. 이미지 제공)

이러한 제품은 실습형 사용자 경험에 유용하므로 FLIR은 ARM 기반 평가 기판 및 Raspberry Pi와 호환되는 카메라 모듈을 위한 브레이크아웃 기판을 제공합니다(그림 4). 이 25mm × 24mm 기판은 단일 3V ~ 5.5V 전원 공급 장치가 필요하며, 25MHz 시스템 클록, 추가 저소음 전원 레일을 위한 내장 LDO, 표준 상호 연결 헤더, Lepton용 32핀 Molex 헤더를 포함합니다.

(a)

(b)

그림 4: Lepton 브레이크아웃 기판(a)(minus Lepton 장치 그림)은 표준 커넥터와 인터페이스(b)의 덕택으로 다양한 평가 기판을 사용하여 장치를 평가 및 프로그래밍할 수 있습니다. (FLIR Systems, Inc. 이미지 제공)

주목받는 ToF

대부분의 응용 분야에서 열 이미지는 유용하지만 충분하지 않습니다. 3D에서는 가시광선 이미징 시스템이 필요한 경우도 있습니다. 이러한 문제를 해결하려면 표준 비디오 카메라를 사용하는 것이 좋습니다. 표준 비디오 카메라는 현재 다양한 업체에서 다양한 해상도, 조명 감도, 크기 및 인터페이스 옵션으로 제공합니다. 스테레오 이미징이 필요한 경우 쌍으로 사용하세요.

오래 전에 출시되었지만 최신 장치보다 비용과 내전력이 높고 성능이 불완전한 온도 기록법과 달리 ToF는 상대적으로 새로운 기술입니다. 1990년대에 교육적 개념으로 처음으로 제안되었지만 필수 부품 및 처리 기능이 실용화된 것은 10년밖에 되지 않았습니다.

ToF는 자율 주행 자동차를 비롯한 많은 응용 분야에서 기본 이미징 접근법으로 사용되며, 수백만 km에 달하는 도로 주행 테스트를 거쳤습니다. 아키텍처의 측면에서 스마트 차량이나 자율 주행 자동차는 센서, 알고리즘 및 정의된 작업이 적용된 휠에 대한 특수 로봇 공학 시스템이며, 관점의 문제입니다. ToF 접근법은 기존 이미징 카메라에 비해 몇 가지 고유한 장점이 있습니다(아래 설명 참조).

작동 방법: 엔지니어들이 작동 원리를 잘 알고 있고 다소 직관적인 기존 카메라 이미징과 달리 ToF는 잘 알려지지 않았을 뿐만 아니라 구현을 위해 감지된 광자의 수만큼 많은 방정식을 사용합니다. 두 가지 핵심 부품으로는 정밀하게 제어되고 변조된 광원(무접점 레이저 또는 LED이며, 일반적으로 850μm의 가까운 IR 범위 내에서 작동하고 사람의 눈으로 볼 수 있음)과 이미징 중인 장면에서 방출된 빛에 의해 반사되는 형상을 "보여주는" 픽셀 어레이가 있습니다(그림 5).

그림 5: ToF의 고급 개념은 간단합니다. 장면에 펄스 조명을 투사하고 반사되는 조명 펄스와 타이밍을 캡처하면 됩니다. 실제 구현은 훨씬 더 복잡하지만 현재 실제로 사용되고 있습니다. (Texas Instruments 이미지 제공)

ToF 원리를 완벽하게 이해하려면 연산을 정의하는 방정식을 알고 피할 수 없는 오차 소스를 고려하여 보정해야 합니다. 전체 ToF 공정은 두 가지 방법으로 수행할 수 있습니다. 즉, 낮은 듀티 사이클로 광원을 반복적으로 펄스하거나 연속 사인 또는 방형파 소스로 광원을 변조합니다. 펄스 모드를 사용할 경우 두 가지 역위상 창을 사용하여 반사되는 빛 에너지를 샘플링하고 해당 샘플을 사용하여 대상까지 거리를 계산합니다. 연속 모드를 사용할 경우 센서에서는 각각 90⁰의 오프셋으로 측정당 4개의 샘플을 가져옵니다. 그러면 조명과 반사 사이의 위상각과 거리를 계산할 수 있습니다.

ToF 시퀀스와 계산의 출력은 이미징 영역을 나타내는 점의 클라우드, 즉 "점 클라우드"입니다.^[1]

상대적 장단점: 한 대 또는 두 대의 카메라를 사용하는 기존 이미징과 ToF 접근법 중에서 결정할 때 구체적인 응용 분야에 관한 트레이드 오프를 고려해야 합니다. 기본적인 검사와 결함 인식을 통해 물체를 미리 파악하고 제어된 조명 환경에서 특징을 추출/비교하려면 2D 이미지를 제공하는 단일 카메라를 사용하는 것이 가장 좋습니다. 하지만 조명이 변경되는 경우에는 주변광 변공의 영향을 적게 받는 ToF를 사용하는 것이 더 좋습니다.

두 대의 기존 카메라를 사용하는 3D 이미징의 경우 기계적 문제와 실장 문제를 비롯하여 많은 치수를 결정해야 합니다. 이러한 요소가 무관한 경우에도 이미지를 처리하는 시스템은 카메라 간에 장면의 점을 상호 일치시키는 "서신" 문제를 해결할 수 있는 강력한 알고리즘이 필요합니다. 이렇게 하려면 많은 양의 컬러 또는 회색조 변동이 필요하고, 이미징 장면의 균일한 표면으로 인해 세부적인 정확도가 제한될 수 있습니다. 반대로 ToF 시스템은 기계적 문제나 조명 및 대비 문제의 영향을 적게 받으므로 3D 결과에 대한 이미지 정보 일치를 수행할 필요가 없습니다.

빠른 응답 시간, 피사체의 특성에 따라 광범위하게 처리 가능한 기능 및 생성되는 포인트 클라우드의 특성으로 인해 ToF 시스템은 손, 얼굴, 신체 등의 제스처를 명령으로 전환하고 자율 주행 자동차에서 주변 상황을 캡처하는 데 적합합니다. 하지만 한두 대의 기존 카메라 설정을 사용하는 솔루션은 다양한 기본 이미징 카메라를 폭넓게 사용할 수 있으므로 비용이 더 저렴합니다.

구현: ToF 시스템에는 5개의 주요 기능 블록이 있습니다.

1. 광원: 신중하게 시간이 맞춰진 광 펄스를 생성하기 위한 부품
2. 광학: 센서로 빛의 초점을 맞추기 위한 렌즈이며, 광학 대역 통과 필터를 사용하여 주변광 "잡음"을 줄일 수 있습니다.
3. 이미지 센서: 조명을 받는 장면에서 방출된 빛에 의한 반사 형상을 캡처합니다.
4. 관리 전자 기기: 조명 장치와 이미지 센서를 제어 및 동기화합니다.
5. 연산 장치 및 인터페이스: 조명의 타이밍과 반사 및 감지되는 광자를 기반으로 거리를 계산합니다.

ToF 시스템을 구성할 때 가장 먼저 조명 방출기와 이미징 센서를 선택합니다. 방출기로는 고속 연산에 사용하도록 제작된 850μm IR 장치인 Vishay VSMY1850X01과 같은 다이오드를 선택합니다. 이 방출기는 100mA로 구동할 경우 10nsec 상승 시간과 하강 시간을 지원하므로 펄스 모드에 적합합니다.

센서 또는 픽셀 어레이는 ToF 시스템의 심장이며 Texas Instruments OPT8241 ToF 센서/컨트롤러 IC(그림 6)와 같은 대형 통합 장치의 일부로 제공됩니다. 여기에는 간소화된 제품 구성도(그림 7)에 표시된 대로 센서 소스(위의 항목 3) 및 제어 전자 기기(항목 4)가 포함되며 OPT9221 ToF 컨트롤러와 같은 디지털화된 반사 데이터를 제공합니다. 이 컨트롤러는 디지털화된 센서 데이터로부터 세부 데이터를 계산합니다. 또한 OPT9221은 안티얼라이싱, 비선형 압축, 온도 보정을 비롯한 다양한 보정 기능을 구현합니다.

그림 6: 설계자는 TI의 OPT8241을 OPT9221 연산 엔진과 함께 사용하여 적절한 하드웨어 작업과 상대적으로 적은 수의 부품으로 ToF 시스템을 빌드할 수 있습니다.

그림 7: OPT8241의 이 간략한 내부 제품 구성도는 ToF 프런트 엔드를 구현하는 데 사용되는 것보다 더 복잡하며 조명 LED에 대한 변조 제어와 드라이버를 포함합니다. (Texas Instruments 이미지 제공)

장면을 일과되고 유용한 방법으로 캡처하도록 제작된 모든 동영상 시스템과 마찬가지로 ToF 소프트웨어 설계는 간단하지 않습니다. 디자이너가 세부 분해능, 2D 분해능(픽셀 수), 거리 범위, 프레임 레이트, 시야(FoV), 물체의 반사 등과 같은 파라미터의 성능과 상호 작용을 평가할 수 있도록 TI는 세부 사용 안내서^[2]와 평가자 도구를 제공합니다.

결론

지금까지 로봇 시스템 디자이너는 세부 "주변 감지" 기능을 제공하는 방법을 찾아내야 했습니다. 오늘날의 디자이너는 적외선 이미징, 기존 비디오 카메라, ToF 원리를 기반으로 하는 LIDAR을 비롯하여 강력하고 상대적으로 저렴한 고성능 기술을 이용할 수 있습니다. 따라서 전체 전력 소비가 낮아서 많은 완성된 설계에서 단일 기술의 단점을 극복하기 위해 이러한 방법을 함께 사용함으로써 완벽하고 다차원적인 사진을 제공합니다.

참고 자료:

1. "시간차 카메라 - 소개," Texas Instruments
2. "시간차(ToF) 시스템 설계 소개," Texas Instruments