대한전자공학회논문지SP (Journal of the Institute of Electronics Engineers of Korea SP)

대한전자공학회 (The Institute of Electronics and Information Engineers)
권호 표지

양방향 시차 몰핑을 이용한 중간 시점 영상 보간

Intermediate Scene Interpolation using Bidirectional Disparity

  • 김대현 (중앙대학교 첨단영상대학원 영상공학과) ;
  • 윤용인 (중앙대학교 첨단영상대학원 영상공학과) ;
  • 최종수 (중앙대학교 첨단영상대학원 영상공학과) ;
  • 김제우 (전자부품연구원 뉴미디어통신연구센터) ;
  • 최병호 (전자부품연구원 뉴미디어통신연구센터)
  • 발행 : 2002.03.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문은 한 쌍의 스테레오 영상으로부터 BDM(Bidirectional Disparity Morphing)을 이용하여 중간시점 영상을 보간하는 방법을 제안한다. 영상은 하나 이상의 계층으로 구성되어 있고 각각의 계층은 유사한 시차값을 갖기 때문에, 블록 단위의 시차 맵을 이용하는 것은 유용하다. 또한 블록 단위의 시차 맵은 시차계산을 위한 영상의 해상도를 줄여 계산량을 크게 감소시킨다. 그러나 서로 다른 계층이 겹쳐진 영역에서는 시차가 급격히 변화하여 정합 오차가 증가하고, 가려짐이 발생할 확률이 높다. 따라서 정합 결과에 따라 블록의 크기를 변화시켜 보다 정밀하게 대응 블록을 검색하여 잘못된 시차 계산을 막고, 아울러 가려진 영역을 검출할 수 있다. 가려진 영역의 시차는 가려짐 패턴을 이용하여 올바른 시차를 지정할 수 있어, 결과적으로 보다 정확한 중간 시점 영상을 생성할 수 있다.

In this paper, we describe a novel method to generate an intermediate scene using BDM (Bidirectional Disparity Morphing) from the parallel stereopair. Because an image is composed of several layers and each layer has a similar disparity, it is available to use the block based disparity estimation. In order to prevent the false correspondence, however, we closely investigate the corresponding block as we adaptively vary the block size according to the estimation error. Therefore, we can detect the occlusion because of larger estimation error of the occluded region. We define three occluding patterns, which ate derived from the peculiar property of the disparity map, in order to smooth the computed disparity map. The filtered disparity map using these patterns presents that the false disparities ate well corrected and the boundary between foreground and background becomes sharper. As a result, we can improve the quality of the intermediate scenes.

키워드

참고문헌

  1. J. S. McVeigh, M. W. Siegel, and A. G. Jordan, 'Intermediate view synthesis considering occlu-ded and ambiguously referenced image regions,' Signal Processing : Image Communication, Vol. 9, pp. 21-28, 1996 https://doi.org/10.1016/S0923-5965(96)00005-7
  2. S. E. Chen, L. Williams, 'View Interpolation for Image Synthesis,' In Proc. SIGGRAPH 93, pp. 279-288, 1993 https://doi.org/10.1145/166117.166153
  3. S. M. Seitz, C. R. Dyer, 'Physically-valid view synthesis by image interpolation,' In Proc. IEEE Workshop on Representation of Visual Scenes, pp. 18-25, 1995 https://doi.org/10.1109/WVRS.1995.476848
  4. K. Satoh, I. Kitahara, Y. Ohta, '3D Image Display with Motion Parallax by Camera Matrix Stereo,' Proc. of Third Int. Conf. on Multimedia Computing and Systems(ICMCS'96), 1996 https://doi.org/10.1109/MMCS.1996.535894
  5. K. Satoh, Y. Ohta, 'Occlusion Detectable Stereo Using A Camera Matrix,' Proceedings Second Asian Conference on Computer Vision(ACCV'95), Vol.2, pp. 331-335, 1995
  6. S. M. Seitz, C. R. Dyer, 'View Morphing,' Proc. Of SIGGRAPH?96, pp, 21-30, 1996 https://doi.org/10.1145/237170.237196
  7. C. Cafforio, F. Rocca, S. Tubaro, 'Motion Com-pensated Image Interpolation,' IEEE Trans. On Comminications, Vol.38, No.2, pp. 215-222, Feb. 1990 https://doi.org/10.1109/26.47856
  8. C. L. Zitnicj, T. Kanade, 'A Cooperative Algorithm for Stereo Matching and Occlusion Detection,' IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol.22, No.7, pp. 675-684, July 2000 https://doi.org/10.1109/34.865184
  9. 김대현, 최종수, 'Bidirectional disparity morphing을 이용한 view interpolation'. 대한전자 공학회 하계합동학술대회 논문집, 2001년 6월
  10. A. Redert, E. Hendriks, J. Biemond, '3D Scene Reconstruction with Viewpoint Adaptation on Stereo Displays,' IEEE Trans. On Circuits and Systems for Video Technology, Vol.10, No.4, pp. 550-562, June 2000 https://doi.org/10.1109/76.845000
  11. J. R. Ohm, E. Izquierdo M, 'An Object-Based System for Stereoscopic Viewpoint Synthesis,' IEEE Trans. On Circuits and Systems for Video Technology, Vol.5, No.5, pp. 801-811, Oct. 2000 https://doi.org/10.1109/76.633502
  12. M. Levoy and P. Hanrahan, 'Light Field Ren-dering', In Proc. of SIGGRAPH?96, 1996
  13. S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F. Cohen, 'The Lumigraph', In Proc. of SIGGRAPH'96, 1996 https://doi.org/10.1145/237170.237200
  14. Y. Sugaya, Y. Ohta, 'Stereo by integration of two algorithms with/without occlusion hand-ling,' Proc. 15th International Conference on Pattern Recognition(ICPR2000), Vol.1, pp. 109-113, Sep. 2000 https://doi.org/10.1109/ICPR.2000.905286
  15. M. A. Akhloufi, V. Polotski, P. Cohen, 'Virtual View Synthesis from Uncalibrated Stereo Cameras,' Proc. Of the IEEE Multimedia Systems, Vol.2, June 1999 https://doi.org/10.1109/MMCS.1999.778564
  16. M. Lhuillier, L. Quan, 'Image Interpolation by Joint View Triangulation,' Proc. Of Computer Vision and Pattern Recognition(CVPR'95), 1995 https://doi.org/10.1109/CVPR.1999.784621
  17. http://image-gw.esys.tsukuba.ac.jp/research/3DTV/3dtv.html