A New Intermediate View Reconstruction using Adaptive Disparity Estimation Scheme

적응적 변이추정 기법을 이용한 새로운 중간시점영상합성

  • 배경훈 (광운대학교 전자공학과 국가지정 3차원 미디어 연구실) ;
  • 김은수 (광운대학교 전자공학과 국가지정 3차원 미디어 연구실)
  • Published : 2002.06.01

Abstract

In this paper, a new intermediate view reconstruction technique by using a disparity estimation method based-on the adaptive matching window size is proposed. In the proposed method, once the feature values are extracted from the input stereo image, then the matching window size for the intermediate view reconstruction is adaptively selected in accordance with the magnitude of this feature values. That is, coarse matching is performed in the region having smaller feature values while accurate matching is carried out in the region having larger feature values by comparing with the predetermined threshold value. Accordingly, this new approach is not only able to reduce the mismatching probability of the disparity vector mostly happened in the accurate disparity estimation with a small matching window size, but is also able to reduce the blocking effect occurred in the disparity estimation with a large matching window size. Some experimental results on the 'Parts' and 'Piano' images show that the proposed method improves the PSNR about 2.32∼4.16dB and reduces the execution time to about 39.34∼65.58% than those of the conventional matching methods.

본 논문에서는 적응적 변이추정 기법을 이용한 새로운 중간시점영상합성 방법을 제시하였다. 즉, 스테레오 입력 영상으로부터 특징값을 추출하고, 설정된 임계값과 비교하여 특징값의 크기를 결정한 다음, 특징값의 크기에 따라 정합창의 크기를 적응적으로 선택하여 정합함으로써 중간시점의 영상을 합성하는 새로운 기법을 제안하였다. 제안된 기법에서는 배경과 같인 특징값이 작은 영역에서는 비교적 큰 정합창에 의한 블록정합이 이루어지고 물체의 윤곽선과 같이 특징값이 큰 영역에서는 상대적으로 작은 정합창에 의한 미세한 정합이 적응적으로 수행되기 때문에 전체적인 정합성능의 개선뿐만 아니라 기존의 기법에서 나타나는 오정합이나 블록화 현상등의 문제점 해결의 가능성을 제시하였다. 또한, 'Parts' 및 'Piano' 영상을 사용한 실험결과 본 논문에서 새로이 제안한 중간시점 영상합성 방법은 기존의 방식에 비해 평균적으로 PSNR은 약 2.32∼4.16dB가 향상되었고, 수행시간은 약 39.34∼65.58% 감소됨을 확인하였다.

Keywords

References

  1. Proc. of SPIE v.2177 Geometry of binocular imaging Victor S. Grinberg;Gregg Podner;M. W. Siegel https://doi.org/10.1117/12.173906
  2. 3차원 영상의 기초 김은수;이승현(공역)
  3. IBC '99 (International Broadcasting Convention) Multi-view autostereoscopic 3D display N. A. Dodgson;J. R. Moore;S. R. Lang
  4. IEEE Trans. on Circuits and Systems for Video Tech. v.9 no.2 Incomplete 3D representation of video objects for multiview applications Jens-Rainer Ohm;Karsten Muller
  5. Signal Processing: Image Communication v.9 Intermediate view synthesis considering occluded and ambiguously referenced image regions Jeffrey S. McVeigh;M. W. Siegel;Angel G. Jordan https://doi.org/10.1016/S0923-5965(96)00005-7
  6. Master thesis, McGill University Disparity estimation and intermediate view reconstruction for noble applications in stereoscopic video Anthony Mancini
  7. IEEE Signal Processing Magazine, special issue on 3D and stereoscopic visual communication v.16 no.3 Correspondence Estimation in Image Pairs Andre Redert;Emile Hendriks;Jan Biemond
  8. IEEE Trans. on Pattern Analysis and Machine Intelligence v.7 no.1 Computational experiments with a feature based stereo algorithm W. E. L. Grimson https://doi.org/10.1109/TPAMI.1985.4767615
  9. IEEE Trans. on Pattern Analysis and Machine Intelligence v.11 no.2 Surfaces form stereo: Integrating feature matching, disparity estimation, and contour detection W. Ho;N. Ahuja https://doi.org/10.1109/34.16709
  10. SPIE Computer Vision v.15 An intensity-based cooperative bidrectional stereo matching with simultaneous detection of discontinuities and occlusions A. Lao;H. Burkhardt https://doi.org/10.1007/BF01451740
  11. France for the RACE 2045-DISTIMA European project CCETT