Image Mosaicking Using Feature Points Based on Color-invariant

칼라 불변 기반의 특징점을 이용한 영상 모자이킹

  • Kwon, Oh-Seol (School of Electrical Engineering, and Computer Science, Kyungpook National University) ;
  • Lee, Dong-Chang (School of Electrical Engineering, and Computer Science, Kyungpook National University) ;
  • Lee, Cheol-Hee (Computer Engineering, Andong National University) ;
  • Ha, Yeong-Ho (School of Electrical Engineering, and Computer Science, Kyungpook National University)
  • 권오설 (경북대학교 전자전기컴퓨터학부) ;
  • 이동창 (경북대학교 전자전기컴퓨터학부) ;
  • 이철희 (안동대학교 컴퓨터공학) ;
  • 하영호 (경북대학교 전자전기컴퓨터학부)
  • Published : 2009.03.25

Abstract

In the field of computer vision, image mosaicking is a common method for effectively increasing restricted the field of view of a camera by combining a set of separate images into a single seamless image. Image mosaicking based on feature points has recently been a focus of research because of simple estimation for geometric transformation regardless distortions and differences of intensity generating by motion of a camera in consecutive images. Yet, since most feature-point matching algorithms extract feature points using gray values, identifying corresponding points becomes difficult in the case of changing illumination and images with a similar intensity. Accordingly, to solve these problems, this paper proposes a method of image mosaicking based on feature points using color information of images. Essentially, the digital values acquired from a digital color camera are converted to values of a virtual camera with distinct narrow bands. Values based on the surface reflectance and invariant to the chromaticity of various illuminations are then derived from the virtual camera values and defined as color-invariant values invariant to changing illuminations. The validity of these color-invariant values is verified in a test using a Macbeth Color-Checker under simulated illuminations. The test also compares the proposed method using the color-invariant values with the conventional SIFT algorithm. The accuracy of the matching between the feature points extracted using the proposed method is increased, while image mosaicking using color information is also achieved.

컴퓨터 비전 분야에서 영상 모자이킹 (Image Mosaicking)은 제한된 시야각의 카메라를 사용하여 획득한 여러 장의 중첩된 영역을 가지는 영상을 한 장의 영상으로 정합하여 나타내는 기법이다. 최근에는 연속된 영상에서 카메라의 기학학적인 움직임 때문에 발생하는 영상의 왜곡이나 밝기 차에 관계없이 정확한 정합을 수행하기 위해서 특징점을 기반으로 서술자를 구성하는 정합 방법이 많이 연구되고 있다. 그러나 대부분의 특징점 검출 알고리즘들은 영상의 밝기값 기반의 처리 과정을 수행하기 때문에 영상의 칼라 성분은 다르지만 밝기값이 비슷한 경우, 또는 동영상에서 시간의 흐름에 따라 광원이 변화하는 경우에는 광원의 영향에 따라 검출되는 특징점의 수와 각각의 지역 서술자의 특성이 변하여 정확한 대응점을 검출하는데 오류를 유발하게 된다. 이런 문제점을 해결하기 위해서 본 논문은 영상의 칼라 정보를 이용한 특징점 기반의 영상 모자이킹 방법을 제안하였다. 디지털 칼라 카메라로부터 획득한 디지털 값을 좁은 대역을 갖는 가상의 카메라 출력값으로 변환하여 물체의 분광 반사율 기반의 값으로 유도하고 이것을 광원의 변화에 불변하는 칼라 불변 값 (Color-Invariant Value)으로 정의하였다. 제안된 칼라 불변값의 유효성을 검증하기 위해서 시뮬레이션된 광원들과 Macbeth Color-Checker를 이용하여 확인하였으며, 실험결과에서 제안한 방법과 기존의 SIFT 알고리즘을 비교를 통해 제안된 방법의 정합율의 향상을 확인하였다.

Keywords

References

  1. Alex Rav-Acha, Yael Pritch, Dani Lischinski, Shmuel Pleleg, "Dynamosaics: Video Mosaics with Non-Chronological Time," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  2. Jun-Wei Hsieh "Fast stitching algorithm for moving object detection and mosaic construction", Image and Vision Computing, vol. 22, pp. 291-306, 2004 https://doi.org/10.1016/j.imavis.2003.09.018
  3. B. Srinivasa Reddy and B. N. Chatterji "An FFT-based technique for translation, rotation, and scale-invariant image registration", IEEE Transactions on Image Processing, vol. 5, no. 8, pp. 1266-1271, Aug. 1996 https://doi.org/10.1109/83.506761
  4. C. Harris and M. J. Stephens, "A combined corner and edge detector," In Alvey Vision Conference, pp. 147-152, 1988
  5. S. M. Smith and J. M. Brady, "SUSAN-a new approach to low level image processing," International Journal of Computer Vision, vol. 23, no. 1, pp. 45-78, May, 1997 https://doi.org/10.1023/A:1007963824710
  6. Robert Lagniere, "Morphological Corner Detection," Computer Vision six International Conference, pp. 280-285, 1998
  7. David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004 https://doi.org/10.1023/B:VISI.0000029664.99615.94
  8. David G. Lowe, "Object recognition from local scale-invariant features," International Conference on Computer Vision, Corfu, Greece, pp. 1150-1157, 1999 https://doi.org/10.1109/ICCV.1999.790410
  9. M. A. Fischler and R. C. Bolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications Of the ACM, vol. 24, pp. 381-395, 1981 https://doi.org/10.1145/358669.358692