Fast Sequential Bundle Adjustment Algorithm for Real-time High-Precision Image Georeferencing

Real-time high-precision image georeferencing is important for the realization of image based precise navigation or sophisticated augmented reality. In general, high-precision image georeferencing can be achieved using the conventional simultaneous bundle adjustment algorithm, which can be performed only as post-processing due to its processing time. The recently proposed sequential bundle adjustment algorithm can rapidly produce the results of the similar accuracy and thus opens a possibility of real-time processing. However, since the processing time still increases linearly according to the number of images, if the number of images are too large, its real-time processing is not guaranteed. Based on this algorithm, we propose a modified fast algorithm, the processing time of which is maintained within a limit regardless of the number of images. Since the proposed algorithm considers only the existing images of high correlation with the newly acquired image, it can not only maintain the processing time but also produce accurate results. We applied the proposed algorithm to the images acquired with 1Hz. It is found that the processing time is about 0.02 seconds at the acquisition time of each image in average and the accuracy is about ${\pm}5$ cm on the ground point coordinates in comparison with the results of the conventional simultaneous bundle adjustment algorithm. If this algorithm is converged with a fast image matching algorithm of high reliability, it enables high precision real-time georeferencing of the moving images acquired from a smartphone or UAV by complementing the performance of position and attitude sensors mounted together.

실시간 고정밀 영상 지오레퍼런싱을 위한 고속 연속 번들 조정 알고리즘

영상 기반의 정밀한 내비게이션이나 증강현실을 구현하기 위해서 고정밀 영상 지오레퍼런싱의 실시간 수행이 필수적이다. 일반적으로 고정밀 영상 지오레퍼런싱은 일괄 번들 조정 알고리즘을 적용하여 성취될 수 있으나 처리시간으로 인해 후처리로만 가능하였다. 최근에 제안된 연속 번들 조정 알고리즘은 이와 유사한 정확도의 결과를 고속으로 산출하여 실시간 처리의 가능성을 열었다. 그러나 처리시간이 영상의 개수에 따라 점진적으로 증가하기 때문에 영상이 아주 많은 경우에 실시간 수행이 보장되지 못하는 한계가 있었다. 이러한 연속 번들 조정 알고리즘을 보완하여 본 연구는 실시간 처리를 위해 영상의 개수와 무관하게 처리시간을 항상 일정 범위로 한정시킬 수 있는 알고리즘을 제안한다. 제안된 알고리즘은 기존의 영상들 중에서 새롭게 취득된 영상과 통계적으로 관련성이 높은 영상들만 고려하기 때문에 처리시간을 일정 범위로 한정시키면서도 비교적 정확한 결과를 산출할 수 있다. 제안된 알고리즘을 1Hz로 취득된 영상에 적용한 결과, 평균적으로 영상을 취득할 때마다 0.02 초 이내의 처리시간을 소요하면서 기존의 일괄 번들 조정 알고리즘의 결과와 비교하여 지상점 좌표를 기준으로 ${\pm}5$ cm 이내의 정확도로 지오레퍼런싱을 수행할 수 있었다. 신뢰성 높은 고속의 영상 매칭 알고리즘과 결합된다면 스마트폰 또는 UAV 등으로 동영상을 취득하면서 함께 탑재된 위치/자세 센서의 성능을 보완하여 고정밀의 실시간 지오레퍼런싱이 가능할 것으로 판단된다.