KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A Method for Effective Homography Estimation Applying a Depth Image-Based Filter

깊이 영상 기반 필터를 적용한 효과적인 호모그래피 추정 방법

  • 주용준 (인하대학교 컴퓨터공학과) ;
  • 홍명덕 (인하대학교 컴퓨터공학과) ;
  • 윤의녕 (인하대학교 컴퓨터공학과) ;
  • 고승현 (인하대학교 컴퓨터공학과) ;
  • 조근식 (인하대학교 컴퓨터공학과)
  • Received : 2018.07.03
  • Accepted : 2018.09.22
  • Published : 2019.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Augmented reality is a technology that makes a virtual object appear as if it exists in reality by composing a virtual object in real time with the image captured by the camera. In order to augment the virtual object on the object existing in reality, the homography of images utilized to estimate the position and orientation of the object. The homography can be estimated by applying the RANSAC algorithm to the feature points of the images. But the homography estimation method using the RANSAC algorithm has a problem that accurate homography can not be estimated when there are many feature points in the background. In this paper, we propose a method to filter feature points of a background when the object is near and the background is relatively far away. First, we classified the depth image into relatively near region and a distant region using the Otsu's method and improve homography estimation performance by filtering feature points on the relatively distant area. As a result of experiment, processing time is shortened 71.7% compared to a conventional homography estimation method, and the number of iterations of the RANSAC algorithm was reduced 69.4%, and Inlier rate was increased 16.9%.

증강현실은 카메라로 촬영하고 있는 영상에 가상의 객체를 실시간으로 합성하여 가상의 객체가 현실에 존재하는 것처럼 보이게 하는 기술이다. 증강현실에서 현실에 존재하는 물체에 가상의 물체를 증강하기 위해서는 현실에 존재하는 물체의 위치와 방향을 정확하게 추정해야 하는데, 이 때 활용되는 기술이 영상의 호모그래피(Homography) 이다. 이러한 호모그래피는 영상의 특징점 좌표에 RANSAC 알고리즘을 적용하여 추정할 수 있는데, RANSAC 알고리즘을 이용한 호모그래피 추정 방식은 호모그래피를 추정하고자하는 물체 이외의 배경에 특징점이 많을 경우 정확한 호모그래피를 추정할 수 없다는 문제점이 존재했다. 본 논문에서는 호모그래피를 추정하고자하는 물체가 가까이에 있고 배경이 상대적으로 멀리 위치해있을 때 영상 각 픽셀의 거리 값을 알 수 있는 깊이 영상을 활용하면 물체와 배경을 쉽게 분리할 수 있다는 점을 이용하여 배경의 특징점을 필터링하는 방법을 제안한다. 이를 위하여 본 논문에서는 흑백조 영상인 깊이 영상을 Otsu 알고리즘을 이용하여 사용자와 거리가 가까운 영역과 거리가 먼 영역으로 이진화하고, RGB 영상에서 추출된 특징점 중에서 거리가 먼 영역에 위치한 특징점을 제거함으로써 특징점을 활용한 호모그래피 추정 결과를 향상시킨다. 이러한 방법을 기존의 호모그래피 추정 방법에 적용한 결과 수행시간이 71.7% 단축되었으며, RANSAC 알고리즘의 반복 횟수가 69.4% 줄어들었고, 참정보 비율이 16.9% 증가하였다.

Keywords

JBCRJM_2019_v8n2_61_f0001.png 이미지

Fig. 1. Homography Estimation Including Background Feature Points

JBCRJM_2019_v8n2_61_f0002.png 이미지

Fig 2. Projection of Images Using Homography

JBCRJM_2019_v8n2_61_f0003.png 이미지

Fig. 3. Homography Estimation with RANSAC

JBCRJM_2019_v8n2_61_f0004.png 이미지

Fig. 4. Binarization of Grayscale Image with Otsu’s Method

JBCRJM_2019_v8n2_61_f0005.png 이미지

Fig. 5. CS-RANSAC의 제약조건

JBCRJM_2019_v8n2_61_f0006.png 이미지

Fig. 6. TR-RANSAC의 제약조건

JBCRJM_2019_v8n2_61_f0007.png 이미지

Fig. 7. Homography Estimation with a Depth Image-Based Filter

JBCRJM_2019_v8n2_61_f0008.png 이미지

Fig. 8. Depth Image Binarization

JBCRJM_2019_v8n2_61_f0009.png 이미지

Fig. 9. Filtering Feature Points with Depth Image-Based Filter

Table 2. Experiment Result

JBCRJM_2019_v8n2_61_t0001.png 이미지

Table 1. Selected Dataset from TUM RGB-D Dataset

JBCRJM_2019_v8n2_61_t0002.png 이미지

References

  1. F. Zhou, H. B. Duh, and M. Billinghurst, "Trends Augmented Reality Tracking, Interaction and Display: A Review of Ten Years of ISMAR," IEEE International Symposium on Mixed and Augmented Reality, pp.193-202, 2008.
  2. F. D. Crescenzio, M. Fantini, F. Persiani, L. D. Stefano, P. Azzari, and S. Salti, "Augmented Reality for Aircraft Maintenance Training and Operations Support," IEEE Computer Graphics and Applications, vol.31, pp.96-101, 2011.
  3. S. J. D. Prince, K. Xu, and A. D. Cheok, "Augmented Reality Camera Tracking with Homographies," Computer Graphics, Vol.22, No.6, pp.39-45, 2002. https://doi.org/10.1109/MCG.2002.1046627
  4. R. Hartley and A. Zisserman, "Multiple View Geometry in computer vision," 2nd Edition, Cambridge University Press, 2000.
  5. M. A. Fischler and R. C. Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, Vol.24, No.6, pp.381-395, 1981. https://doi.org/10.1145/358669.358692
  6. D. DeTone, T. Malisiewicz, and A. Rabinovich, "Deep image homography estimation," arXiv preprint arXiv:1606.03798, 2016.
  7. A. Kurakin, Z. Zhang, and Z. Liu, "A real time system for dynamic hand gesture recognition with a depth sensor," In: Proc. of the 20th European Signal Processing Conf. (EUSIPCO), pp.1975-1979, 2012.
  8. E. Dubrofsky, "Homography Estimation," Carleton University, Vancouver, Canada, 2009.
  9. E. Vincent and R.Laganiere, "Detecting planar homographies in an image pair," in Proceedings of IEEE International Symposium on Image and Signal Processing and Analysis, pp.182-187, 2001.
  10. N. Otsu, "A threshold selection method from gray level histograms," IEEE Transactions on Systems, Man, and Cybernetics, Vol.9, No.1, pp.62-66, 1979. https://doi.org/10.1109/TSMC.1979.4310076
  11. J. Sturm, N. Engelhard, F. Endres, W. Burgard and D. Cremers, "A Benchmark for the Evaluation of RGB-D SLAM Systems," In Proceedings of the International Conference on Intelligent Robot Systems (IROS), 2012.
  12. G. S. Jo, K. S. Lee, C. Devy, C. H. Jang, and M. H. Ga, "RANSAC versus CS-RANSAC," American Association for Artificial Intelligence(AAAI), pp.1350-1356, 2015.
  13. E. Vincent and R. Laganiere, "Detecting planar homographies in an image pair," IEEE International Symposium on Image and Signal Processing and Analysis, pp.182-187, 2001.