DOI QR코드

DOI QR Code

Robust Real-Time Visual Odometry Estimation for 3D Scene Reconstruction

3차원 장면 복원을 위한 강건한 실시간 시각 주행 거리 측정

  • 김주희 (경기대학교 컴퓨터과학과) ;
  • 김인철 (경기대학교 컴퓨터과학과)
  • Received : 2015.01.27
  • Accepted : 2015.02.24
  • Published : 2015.04.30

Abstract

In this paper, we present an effective visual odometry estimation system to track the real-time pose of a camera moving in 3D space. In order to meet the real-time requirement as well as to make full use of rich information from color and depth images, our system adopts a feature-based sparse odometry estimation method. After matching features extracted from across image frames, it repeats both the additional inlier set refinement and the motion refinement to get more accurate estimate of camera odometry. Moreover, even when the remaining inlier set is not sufficient, our system computes the final odometry estimate in proportion to the size of the inlier set, which improves the tracking success rate greatly. Through experiments with TUM benchmark datasets and implementation of the 3D scene reconstruction application, we confirmed the high performance of the proposed visual odometry estimation method.

본 논문에서는 RGB-D 입력 영상들로부터 3차원 공간을 움직이는 카메라의 실시간 포즈를 효과적으로 추적할 수 있는 시각 주행 거리측정기를 제안한다. 본 논문에서 제안하는 시각 주행 거리 측정기에서는 컬러 영상과 깊이 영상의 풍부한 정보를 충분히 활용하면서도 실시간 계산량을 줄이기 위해, 특징 기반의 저밀도 주행 거리 계산 방법을 사용한다. 본 시스템에서는 보다 정확한 주행 거리 추정치를 얻기 위해, 카메라 이동 이전과 이동 이후의 영상에서 추출한 특징들을 정합한 뒤, 정합된 특징들에 대한 추가적인 정상 집합 정제 과정과 주행 거리 정제 작업을 반복한다. 또한, 정제 후 잔여 정상 집합의 크기가 충분치 않은 경우에도 잔여 정상 집합의 크기에 비례해 최종 주행 거리를 결정함으로써, 추적 성공률을 크게 향상시켰다. TUM 대학의 벤치마크 데이터 집합을 이용한 실험과 3차원 장면 복원 응용 시스템의 구현을 통해, 본 논문에서 제안하는 시각 주행 거리 측정 방법의 높은 성능을 확인할 수 있었다.

Keywords

References

  1. S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. N ewcombe, and P. Kohli, et al., "KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera," Proc. of 24th Annual ACM Symp. on User Interface Software and Technology, pp.559-568, 2011.
  2. A. J. Davison, I. D. Reid, N. D. Molton, and O. Stasse, "MonoSLAM: Real-Time Single Camera SLAM," IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMI), Vol.29, No 6, pp.1052-1067, 2007. https://doi.org/10.1109/TPAMI.2007.1049
  3. C. Kerl, J. Sturm, and D. Cremers, "Robust Odometry Estimation for RGB-D Cameras," Proc. of IEEE Intl. Conf. on Robotics and Automation(ICRA), pp.3748-3754, 2013.
  4. A. S. Huang, A. Bachrach, P. Henry, M. Krainin, D. Maturana, D. Fox, and N. Roy, "Visual Odometry and Mapping for Autonomous Flight Using an RGB-D Camera," Proc. of Intl. Symp. on Robotics Research(ISRR), 2011.
  5. T. Whelan, M. Kaess, M. F. Fallon, H. Johannsson, J. J. Leonard, and J. B. McDonald, "Kintinuous: Spatially Extended Kinect Fusion," Proc. of RSS Workshop on RGB-D: Advanced Reasoning with Depth Cameras, 2012.
  6. F. Steinbrucker, C. Kerl, and D. Cremers. "Large-Scale Multi-Resolution Surface Reconstruction from RGB-D Sequences," Proc. of IEEE Intl. Conf. on Computer Vision (ICCV), 2013.
  7. J. Sturm, N. Engelhard, F. Endres, W. Burgard, and D. Cremers, "A Benchmark for the Evaluation of RGB-D SLAM System," Proc. of Intl. Conf. on Intelligent Robot System (IROS), 2012.
  8. T. Whelan, H. Johannsson, M. Kaess, J. J. Leonard, and J. McDonald, "Robust Real-Time Visual Odometry for Dense RGB-D Mapping," Proc. of IEEE Intl. Conf. on In Robotics and Automation(ICRA), pp.5724-5731, 2013.
  9. F. Steinbrucker, J. Sturm, and D. Cremers, "Real-Time Visual Odometry from Dense RGB-D Images," Proc. of IEEE Intl. Conf. on Computer Vision Workshops(ICCV Workshops), pp. 719-722, 2011.
  10. H. Silva, E. Silva, and A. Bernardino, "Combining Sparse and Dense Methods in 6D Visual Odometry," Proc. of IEEE Intl. Conf. on Autonomous Robot Systems(Robotica), pp.1-6, 2013.
  11. M. Nowicki, P. Skrzypezynski, "Combining Photometric and Depth Data for Lightweight and Robust Visual Odometry," Proc. of IEEE European Conf. on Mobile Robots(ECMR), pp.125-130, 2013.