View Interpolation Algorithm for Continuously Changing Viewpoints in the Multi-panorama Based Navigatio

다중 파노라마 영상기반 네비게이션에서 연속적인 시점이동을 위한 장면보간 방법

  • 김대현 (중앙대학교 첨단영상대학원 영상공학과) ;
  • 최종수 (중앙대학교 첨단영상대학원 영상공학과)
  • Published : 2003.11.01

Abstract

This paper proposes a new algorithm that generates the smooth and realistic transition views from one viewpoint to another on the multi-panorama based navigation system. The proposed algorithm is composed of two steps. One is prewarping that aligns the viewing directions of two panoramic images, and the other is the bidirectional disparity morphing(BDM) that generates the intermediate scene from the aligned panoramic images. For prewarping, we compute the phase correlation between two images in order to obtain the information, such as translation, rotation, and scaling. Then we align the viewing directions of two original images using these information. Afterprewarping, we compute the block based disparity vector(DV) and smooth them using two occluding patterns. As we apply these DVs to the BDM, we can generate the elaborate intermediate scene. We make an experiment on the proposed algorithm with some real panoramic images and obtain good quality intermediate scenes.

본 논문은 다수의 파노라마 영상을 이용하여 가상환경을 탐색하는 시스템에서 사용자가 한 시점에서 다른 시점으로 자연스럽게 시점을 이동할 수 있도록 중간 장면을 합성하는 알고리즘을 제안한다. 제안된 방법은 두 파노라마 영상에서 시선방향을 일치시키는 사전 교정(prewarping) 단계와 시선방향이 일치된 두 영상에서 대응점을 찾아 중간 시점의 영상을 생성하는 양방향 시차 몰핑(bidirectional disparity morphing) 단계로 나누어진다. 사전 교정은 푸리에(Fourier) 성질을 이용해서 두 영상간의 위상 상관 관계(phase correlation)를 분석한 후, 두 영상 사이의 상대적인 변리, 회전 그리고 축적 변화를 계산하여 시선방향을 일치시킨다. 그리고 양방향 시파 몰핑에서는 블록 단위의 시차 벡터(disparity vector)를 계산하고, 가려짐 영역에 대한 정착한 시차를 추정하기 위해 가려짐 패턴(occluding pattern)을 이용하였다. 제안된 방법은 실제 파노라마 영상에 적용하여 실험하였고, 그 결과 두 파노라마 영상 사이를 자연스럽게 이동할 수 있었다.

Keywords

References

  1. A. Redert, E. Hendriks, and J. Biemond, '3D scene reconstruction with viewpoint adaptation on stereo displays,' IEEE Trans. On Circuits and Systems for Video Technology, vol.10, no.4, pp. 550-562, June 2000 https://doi.org/10.1109/76.845000
  2. T. Kanade, P. J. Narayanan, and P. W. Rander, 'Virtualized reality: concepts and early results,' Proc. of IEEE Workshop on Representation of Visual Scenes, pp. 69-76, 1995 https://doi.org/10.1109/WVRS.1995.476854
  3. S. E. Chen., 'QuickTime VR - an image-based approach to virtual environment navigation,' Computer Graphics (SIGGRAPH'95), pages 29-38, August 1995 https://doi.org/10.1145/218380.218395
  4. 김대현, 최종수, '유사특징점을 이용한 모자이킹 영상의 구성,' 대한전자공학회 논문지, pp. 381-391, 제38권, SP편 제4호, 2001. 7
  5. S. E. Chen and L. Williams, 'View Interpolation for Image Synthesis,' Computer Graphics (SIGGRAPH' 93), pp.279-288, 1993 https://doi.org/10.1145/166117.166153
  6. S. M Seitz and C. R. Dyer, 'Physically-valid view synthesis by image interpolation,' Proc, of IEEE Workshop on Representation of Visual Scenes, pp.18-25, 1995 https://doi.org/10.1109/WVRS.1995.476848
  7. H. C. Huang, S. H. Nain, Y. P. Hung, and T. Cheng, 'Disparity-based view morphing A new technique for image-based rendering,' ACM Symposium on Virtual Reality Software and Technology (VRST), Taipei, Taiwan, November, 1998 https://doi.org/10.1145/293701.293703
  8. D. H. Kim, J. H. Kim, Y. I. Yoon, I. H. Oh, and J. S. Choi, 'A study on real-time implementation of the view interpolation system,' IEICE Trans. On Fundamentals of Electronics, Communications and Computer Science, vol. E-86-A, no.6, pp.1344-1352, June 2003
  9. B. S. Reddy andB. N. Chatterji, 'An FFT-Based Technique for Translation, Rotation, and Scale-Invariant Image Registration,' IEEE Trans. On Image Processing, vol.5, no.8, pp. 1266-1271, August 1996 https://doi.org/10.1109/83.506761
  10. A. Averbuch andY. Keller, 'FFT Based Image Registration,' Proc. of IEEE Conf. on Acoustics, Speech, and Signal Processing, vol.4, pp. 3608-3611, 2002 https://doi.org/10.1109/ICASSP.2002.1004697
  11. A. Oppenheim, A. S. Willsky, and S. H. Nawab, Signals & Systems, Prentice-Hall, New Jersey 1997