Matching Points Filtering Applied Panorama Image Processing Using SURF and RANSAC Algorithm

Techniques for making a single panoramic image using multiple pictures are widely studied in many areas such as computer vision, computer graphics, etc. The panorama image can be applied to various fields like virtual reality, robot vision areas which require wide-angled shots as an useful way to overcome the limitations such as picture-angle, resolutions, and internal informations of an image taken from a single camera. It is so much meaningful in a point that a panoramic image usually provides better immersion feeling than a plain image. Although there are many ways to build a panoramic image, most of them are using the way of extracting feature points and matching points of each images for making a single panoramic image. In addition, those methods use the RANSAC(RANdom SAmple Consensus) algorithm with matching points and the Homography matrix to transform the image. The SURF(Speeded Up Robust Features) algorithm which is used in this paper to extract featuring points uses an image's black and white informations and local spatial informations. The SURF is widely being used since it is very much robust at detecting image's size, view-point changes, and additionally, faster than the SIFT(Scale Invariant Features Transform) algorithm. The SURF has a shortcoming of making an error which results in decreasing the RANSAC algorithm's performance speed when extracting image's feature points. As a result, this may increase the CPU usage occupation rate. The error of detecting matching points may role as a critical reason for disqualifying panoramic image's accuracy and lucidity. In this paper, in order to minimize errors of extracting matching points, we used $3{\times}3$ region's RGB pixel values around the matching points' coordinates to perform intermediate filtering process for removing wrong matching points. We have also presented analysis and evaluation results relating to enhanced working speed for producing a panorama image, CPU usage rate, extracted matching points' decreasing rate and accuracy.

SURF와 RANSAC 알고리즘을 이용한 대응점 필터링 적용 파노라마 이미지 처리

다중의 영상을 이용하여 하나의 파노라마 영상을 제작하는 기법은 컴퓨터 비전, 컴퓨터 그래픽스 등과 같은 여러 분야에서 널리 연구되고 있다. 파노라마 영상은 하나의 카메라에서 얻을 수 있는 영상의 한계, 즉 예를 들어 화각, 화질, 정보량 등의 한계를 극복할 수 있는 좋은 방법으로서 가상현실, 로봇비전 등과 같이 광각의 영상이 요구되는 다양한 분야에서 응용될 수 있다. 파노라마 영상은 단일 영상과 비교하여 보다 큰 몰입감을 제공한다는 점에서 큰 의미를 갖는다. 현재 다양한 파노라마 영상 제작 기법들이 존재하지만, 대부분의 기법들이 공통적으로 파노라마 영상을 구성할 때 각 영상에 존재하는 특징점 및 대응점을 검출하는 방식을 사용하고 있다. 또한, 대응점을 이용한 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용, Homography Matrix를 구하여 영상을 변환하는 방법을 사용한다. 본 논문에서 사용한 SURF(Speeded Up Robust Features) 알고리즘은 영상의 특징점을 검출할 때 영상의 흑백정보와 지역 공간 정보를 활용하는데, 영상의 크기 변화와 시점 검출에 강하며 SIFT(Scale Invariant Features Transform) 알고리즘에 비해 속도가 빠르다는 장점이 있어서 널리 사용되고 있다. SURF 알고리즘은 대응점 검출 시 잘못된 대응점을 검출하는 경우가 생긴다는 단점이 존재하는데 이는 RANSAC 알고리즘의 수행속도를 늦추며, 그로인해 CPU 사용 점유율을 높이기도 한다. 대응점 검출 오류는 파노라마 영상의 정확성 및 선명성을 떨어뜨리는 핵심 요인이 된다. 본 논문에서는 이러한 대응점 검출의 오류를 최소화하기 위하여 대응점 좌표 주변 $3{\times}3$ 영역의 RGB값을 사용하여 잘못된 대응점들을 제거하는 중간 필터링 과정을 수행하고, 문제해결을 시도하는 동시에 파노라마 이미지구성 처리 속도 및 CPU 사용 점유율 등의 성능 향상 결과와 추출된 대응점 감소율, 정확도 등과 관련한 분석 및 평가 결과를 제시하였다.