Real-Time Quad-Copter Tracking With Multi-Cameras and Ray-based Importance Sampling

복수카메라 및 Ray-based Importance Sampling을 이용한 실시간 비행체 추적

In this paper, we focus on how to calibrate multi-cameras easily and how to efficiently detect quad-copters with small-numbered particles. Each particle is a six dimensional vector that is composed of 3D position and 3D orientation of a quad-copter in the space. Due to curse of dimensionality, that leads to explosive computational costs with a large amount of high-dimensioned particles. To detect efficiently, we need to put more particles in very promising spaces and few particles in other spaces. Though computational cost is lowered by minimizing particles, in order to track a quad-copter with multiple cameras in real-time, multiple images from the cameras should be synchronized and analyzed. Therefore, lots of the computations still need to be done. Because of this, GPGPU(General-Purpose computing on Graphics Processing Units) is implemented for parallel computing. This method has been successfully tested and gives accurate results in practical situations.

본 논문은 복수카메라 기반 실시간 비행체 검출 및 추적하는 방법에 대해서 설명한다. 정밀하게 가공된 보정체를 필요로 하지 않는 복수카메라 자기보정 기법에 스케일을 추가하여, 간편하게 각 카메라 내부변수와 카메라 사이의 상대위치 관계를 구하는 복수카메라 보정기법을 제시한다. 비행체 검출 및 추적은 파티컬 필터링 기법을 적용하여 수행하는데, 적은수의 샘플로도 비행체 검출을 빠르고 정확하게 할 수 있도록 하는 Ray-based Importance Sampling을 고안했다. 3차원 공간을 일정한 크기의 격자구조로 나누고, 영상 특징점과 사영기하학을 이용하여 이 격자구조 위에 비행체의 이산적인 분포를 구한다. 이 분포에 따라 격자를 샘플링하고, 또 다시, 격자의 중심을 평균으로 하는 가우시안 분포로부터 비행체의 위치를 샘플링 한다. 이 두 단계의 샘플링을 통해 비행체가 있을 가능성이 높은 영역에 샘플을 집중적으로 분포시킬 수가 있다. 그리고, 복수의 카메라 영상으로부터 실시간으로 동기화된 영상 특징점을 검출하기 위하여 GPGPU를 이용한 병렬 영상처리 시스템을 구현하였다. 실험을 통해 제안한 방법의 유효성을 확인할 수 있었다.