An Epipolar Rectification for Object Segmentation

객체분할을 위한 에피폴라 Rectification

  • 정승도 (한양대학교 전자통신전파공학과 멀티미디어 연구실) ;
  • 강성숙 (한양대학교 정보통신대학원) ;
  • 조정원 (한양대학교 전자통신전파공학과 멀티미디어 연구실) ;
  • 최병욱 (한양대학교 정보통신대학 정보통신학부)
  • Published : 2004.01.01

Abstract

An epipolar rectification is the process of transforming the epipolar geometry of a pair of images into a canonical form. This is accomplished by applying a homography to each image that maps the epipole to a predetermined point. In this process, rectified images transformed by homographies must be satisfied with the epipolar constraint. These homographies are not unique, however, we find out homographies that are suited to system's purpose by means of an additive constraint. Since the rectified image pair be a stereo image pair, we are able to find the disparity efficiently. Therefore, we are able to estimate the three-dimensional information of objects within an image and apply this information to object segmentation. This paper proposes a rectification method for object segmentation and applies the rectification result to the object segmentation. Using color and relative continuity of disparity for the object segmentation, the drawbacks of previous segmentation method, which are that the object is segmented to several region because of having different color information or another object is merged into one because of having similar color information, are complemented. Experimental result shows that the disparity of result image of proposed rectification method have continuity about unique object. Therefore we have confirmed that our rectification method is suitable to the object segmentation.

에피폴라 Rectification은 서로 다른 시점에서 얻은 두 영상에 대해 각 영상의 에피폴을 미리 정해진 점으로 옮기는 호모그래피를 적용함으로써 두 영상의 에피폴라 지오메트리를 동일한 기준 평면으로 변환하여 에피폴라 라인을 수평 방향으로 정렬시키는 과정이다. 이때 호모그래피에 의해 변환된 영상 사이에서도 에피폴라 제약조건이 성립해야 하며, 이를 만족시키는 호모그래피가 여러 개 존재하므로 제약조건을 추가하여 응용에 적합한 호모그래피를 구하게 된다. Rectification 결과 두 영상은 스테레오 영상화되어 쉽게 변위값을 구할 수 있으므로 영상 내객체의 3차원 정보를 추정하여 영상분할에 활용할 수 있다. 본 논문에서는 객체분할에 적용할 수 있는 Rectification 방법을 제안하고 이 결과를 객체분할에 적용하였다. 객체분할을 위해 색상정보와 상대적인 변위값의 연속성을 동시에 이용하면 단일 객체가 색상에 의해 분할되거나 혹은 색상이 비슷하여 다른 객체가 병합되는 문제를 보완할 수 있다. 실험을 통해 Rectification 결과영상으로부터 획득한 단일 객체의 변위값이 연속성을 갖음을 확인하였고 이를 통해 제안하는 Rectification 방법이 객체분할에 적합함을 보였다.

Keywords

References

  1. Linda G. Shapiro and George C. Stockman,Computer Vision, Prentice-Hall, pp. 395-403, 2001
  2. Charles Loop and Zhengyou Zhang, 'ComputingRectifying Homographies for Stereo Vision,' InProceedings of the IEEE Conference on ComputerVision and Pattern Recognition, No. I, pp. 125-131,June 1999
  3. D. V. Papadimitriou and T. J. Dennis, 'EpipolarLine Estimation and Rectification for Stereo ImagePairs,' IEEE Transactions on Image Processing,Vol. 3(4), pp. 672-676, April 1996
  4. A. Fusiello, E. Trucco, and A. Verri., 'A compactalgorithm for Rectification of stereo pairs,' MachineVision and Applicatwns, Vol. 12(1), pp. 16-22,2000
  5. Richard Hartley, 'Stereo from UncalibratedCameras,' In Proceedings of the Conference onComputer Vision and Pattern Recognition, pp.761-764, 1992
  6. Francesco Isgro and Emanuele Trucco, 'ProjectiveRectification without Epipolar Geometry,' In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition, No. I, pp. 94-99,June 1999
  7. Richard Hartley and Andrew Zisserman, MultipleView Geometry in Computer Vision, CambridgeUniv. press, 2000
  8. Richard Hartley, 'Theory and Practice of ProjectiveRectification,' International Journal of ComputerVision, Vol. 35(2), pp. 1-16, November 1999
  9. Z. Zhang, R. Deriche and O. Faugeras, 'A RobustTechnique for Matching Two Uncalibrated ImagesThrough the Recovery of the Unknown EpipolarGeometry,' Artificial Intellieence Journal, Vol. 78,pp. 87-119, October 1995 https://doi.org/10.1016/0004-3702(95)00022-4
  10. 유광식, '양자화를 이용한 칼라 영상에서의 영역 검출,' 한양대학교 대학원 석사 학위 논문, 1999
  11. Changming Sun, 'Fast Stereo Matching UsingRectangular Subregioning and 3D Maximum-SurfaceTechniques,' International Journal of ComputerVision, Vo1.47, pp.99-117, April-June 2002 https://doi.org/10.1023/A:1014585622703