DOI QR코드

DOI QR Code

An algorithm of the natural view transition in the panoramic image based navigation using Fast Fourier Transform Techniques

파노라마 영상 기반 네비게이션에서 FFT 기술을 이용한 자연스러운 장면 전환 알고리즘

  • 김대현 (중앙대학교 대학원 영상공학과) ;
  • 최종수 (중앙대학교 영상공학과) ;
  • 김태은 (남서울대학교 멀티미디어학과)
  • Published : 2003.08.01

Abstract

This paper proposes a new algorithm that generates smooth and realistic transition views from one viewpoint to another view point on the panorama based navigation system. The proposed algorithm is composed with two steps. One is prewarping that aligns the viewing direction in two panorama image, the other is bidirectional disparity morphing (BDM) that generates the intermediate scene from the aligned panorama images. For the prewarping, first of all, we compute the phase correlation between two images in order to get the information such as the displacement, rotation, and scale. Then we align the original images using these information. As soon as finishing the prewarping, we compute the block based disparity vectors (DVs) and smooth them using the two occluding patterns. As we apply these DVs to the BDM, we can get the elaborate intermediate scenes. We make an experiment on the proposed algorithm with real panoramic images and we can get the satisfactory results.

본 논문에서는 파노라마 기반 네비게이션 시스템에서 한 시점에서 다른 시점으로 이동할 때 자연스럽게 장면을 전환할 수 있는 알고리즘을 제안한다. 제안된 방법은 두 파노라마 영상에서 시선 방향을 일치시키는 사전 워핑(prewarping) 단계와 시선 방향이 일치된 두 영상에서 대응점을 찾아 중간 시점의 영상을 생성하는 양방향 시차 몰핑(bidirectional disparity morphing) 단계로 나누어진다. 사전 워핑은 FFT를 이용해서 두 영상간의 위상 관계를 분석한 후, 두 영상간의 변위, 회전, 및 스케일의 변화를 계산하여 시선 방향을 일치시킨다. 그리고 양방향 시차 몰핑에서는 블록 단위의 시차 벡터(disparity vector)를 계산하고, 가려질 영역에 대한 정확한 시차를 교정하기 위해 가려짐 패턴을 이용하였다. 제안된 방법은 실제 파노라마 영상에 적용하여 실험하였고, 그 결과 두 파노라마 영상 사이를 자연스럽게 이동할수 있었다.

Keywords

References

  1. Redert, E. Hendriks, J. Biemond, '3D scene reconstruction with viewpoint adaptation on stereo displays,' IEEE Trans. On Circuits and Systems for Video Technology, Vol.10, No.4, pp.550-562, June, 2000 https://doi.org/10.1109/76.845000
  2. Takeo Kanade, P. J. Narayanan, P. W. Rander, 'Virtualized reality : concepts and early results,' Proc. IEEE Workshop on Representation of Visual Scenes, pp.69-76, 1995 https://doi.org/10.1109/WVRS.1995.476854
  3. H. C. Huang, S. H. Nain, Y. P. Hung, T. Cheng, 'Disparity-Based View Morphing A New Technique for Image-Based Rendering,' ACM Symposium on Virtual Reality Software and Technology (VRST), Taipei, Taiwan, November, 1998 https://doi.org/10.1145/293701.293703
  4. S. E. Chen, L. Williams, 'View Interpolation for Image Synthesis,' In Proc. SIGGRAPH 93, pp.279-288, 1993 https://doi.org/10.1145/166117.166153
  5. S. M. Seitz, C. R. Dyer, 'Physically-valid view synthesis by image interpolation,' Proc. IEEE Workshop on Representation of Visual Scenes, pp.18-25, 1995 https://doi.org/10.1109/WVRS.1995.476848
  6. Dae-Hyun Kim, Jong-Soo Choi, 'Intermediate Scene Generation using Fast Bidirectional Disparity Map,' Proc. of 2002 International Technical Conference on Circuits/Systems,Computers and Communacations (ITC-CSCC 2002), Phuket, Thailand, pp.904-907, July, 2002
  7. 김대현, 최종수, '양방향 시차 몰핑을 이용한 중간 시점 영상보간', 대한전자공학회논문지, 제39권 제SP편 제2호, pp.215-223, 2002
  8. B. S. Reddy, B. N. Chatterji, 'An FFT-Based Technique for Translation, Rotation, and Scale-Invariant Image Registration,' IEEE Trans. On Image Processing, Vol.5, No.8, pp.1266-1271, August, 1996 https://doi.org/10.1109/83.506761
  9. Averbuch, Y. Keller, 'FFT Based Image Registration,' IEEE International Conference on Accoustics,Speech,and Signal Processing, Vol.4, pp.3608-3611, 2002 https://doi.org/10.1109/ICASSP.2002.1004697
  10. A. Oppenheim, A. S. Willsky, S. H. Nawab, Signals & Systems, Prentice-Hall, New Jersey, 1997
  11. Dae-Hyun Kim, Y. I. Yoon, S. H. Kim, 'Cylindrical Panoramic Image using Simplified Projective Transform,' EUROIMAGE International Conference on Augmented,Virtual Environment and Three Dimensional Imaging, Mykonos, Greece, pp.196-199, May-June, 2001
  12. 김대현, 최종수, '유사 특징점을 이용한 모자이킹 영상의 구성', 대한전자공학회논문지, 제38권 제SP편 제4호, pp.381-391, 2001