A Method for Effective Homography Estimation Applying a Depth Image-Based Filter

깊이 영상 기반 필터를 적용한 효과적인 호모그래피 추정 방법

Abstract

Augmented reality is a technology that makes a virtual object appear as if it exists in reality by composing a virtual object in real time with the image captured by the camera. In order to augment the virtual object on the object existing in reality, the homography of images utilized to estimate the position and orientation of the object. The homography can be estimated by applying the RANSAC algorithm to the feature points of the images. But the homography estimation method using the RANSAC algorithm has a problem that accurate homography can not be estimated when there are many feature points in the background. In this paper, we propose a method to filter feature points of a background when the object is near and the background is relatively far away. First, we classified the depth image into relatively near region and a distant region using the Otsu's method and improve homography estimation performance by filtering feature points on the relatively distant area. As a result of experiment, processing time is shortened 71.7% compared to a conventional homography estimation method, and the number of iterations of the RANSAC algorithm was reduced 69.4%, and Inlier rate was increased 16.9%.

증강현실은 카메라로 촬영하고 있는 영상에 가상의 객체를 실시간으로 합성하여 가상의 객체가 현실에 존재하는 것처럼 보이게 하는 기술이다. 증강현실에서 현실에 존재하는 물체에 가상의 물체를 증강하기 위해서는 현실에 존재하는 물체의 위치와 방향을 정확하게 추정해야 하는데, 이 때 활용되는 기술이 영상의 호모그래피(Homography) 이다. 이러한 호모그래피는 영상의 특징점 좌표에 RANSAC 알고리즘을 적용하여 추정할 수 있는데, RANSAC 알고리즘을 이용한 호모그래피 추정 방식은 호모그래피를 추정하고자하는 물체 이외의 배경에 특징점이 많을 경우 정확한 호모그래피를 추정할 수 없다는 문제점이 존재했다. 본 논문에서는 호모그래피를 추정하고자하는 물체가 가까이에 있고 배경이 상대적으로 멀리 위치해있을 때 영상 각 픽셀의 거리 값을 알 수 있는 깊이 영상을 활용하면 물체와 배경을 쉽게 분리할 수 있다는 점을 이용하여 배경의 특징점을 필터링하는 방법을 제안한다. 이를 위하여 본 논문에서는 흑백조 영상인 깊이 영상을 Otsu 알고리즘을 이용하여 사용자와 거리가 가까운 영역과 거리가 먼 영역으로 이진화하고, RGB 영상에서 추출된 특징점 중에서 거리가 먼 영역에 위치한 특징점을 제거함으로써 특징점을 활용한 호모그래피 추정 결과를 향상시킨다. 이러한 방법을 기존의 호모그래피 추정 방법에 적용한 결과 수행시간이 71.7% 단축되었으며, RANSAC 알고리즘의 반복 횟수가 69.4% 줄어들었고, 참정보 비율이 16.9% 증가하였다.

Fig. 1. Homography Estimation Including Background Feature Points

Fig 2. Projection of Images Using Homography

Fig. 3. Homography Estimation with RANSAC

Fig. 4. Binarization of Grayscale Image with Otsu’s Method

Fig. 5. CS-RANSAC의 제약조건

Fig. 6. TR-RANSAC의 제약조건

Fig. 7. Homography Estimation with a Depth Image-Based Filter

Fig. 8. Depth Image Binarization

Fig. 9. Filtering Feature Points with Depth Image-Based Filter

Table 2. Experiment Result

Table 1. Selected Dataset from TUM RGB-D Dataset