Fast Multi-View Synthesis Using Duplex Foward Mapping and Parallel Processing

순차적 이중 전방 사상의 병렬 처리를 통한 다중 시점 고속 영상 합성

  • 최지윤 (한양대학교 컴퓨터공학과 가상현실 연구실) ;
  • 유세운 (한양대학교 컴퓨터공학과 가상현실 연구실) ;
  • 신홍창 (한국전자통신연구소 방송시스템연구부) ;
  • 박종일 (한양대학교 컴퓨터공학과 가상현실 연구실)
  • Published : 2009.11.30

Abstract

Glassless 3D display requires multiple images taken from different viewpoints to show a scene. The simplest way to get multi-view image is using multiple camera that as number of views are requires. To do that, synchronize between cameras or compute and transmit lots of data comes critical problem. Thus, generating such a large number of viewpoint images effectively is emerging as a key technique in 3D video technology. Image-based view synthesis is an algorithm for generating various virtual viewpoint images using a limited number of views and depth maps. In this paper, because the virtual view image can be express as a transformed image from real view with some depth condition, we propose an algorithm to compute multi-view synthesis from two reference view images and their own depth-map by stepwise duplex forward mapping. And also, because the geometrical relationship between real view and virtual view is repetitively, we apply our algorithm into OpenGL Shading Language which is a programmable Graphic Process Unit that allow parallel processing to improve computation time. We demonstrate the effectiveness of our algorithm for fast view synthesis through a variety of experiments with real data.

3차원 입체 영상을 디스플레이에 출력하려면, 여러 시점에서의 영상 정보가 필요하다. 여러 시점의 영상을 얻을 수 있는 가장 기본적인 방법은, 필요로 하는 시점의 개수와 동일 한 수의 카메라를 사용하는 것이다. 하지만 이를 위해서는 카메라간의 동기화 와 방대한 데이터 처리 및 전송 등의 현실적인 문제가 해결되어야 한다. 이러한 현실적인 문제를 해결하기 위해서 연구되고 있는 방법이 한정된 시점 영상을 이용하여 여러 중간 시점 영상을 생성하는 영상 기반의 임의 시점 합성 방법이다. 본 논문에서는 두 개의 기준 시점 영상과 각각의 깊이 정보가 주어줬음을 가정하고 주어진 정보를 바탕으로 이중의 순차적인 전방 사상을 통하여 목표로 하는 여러 다중 시점의 영상을 동시에 합성하는 방법을 제시한다. 제안된 방법은 좌우 기준 시점 영상의 평행 이동으로 가상 시점 영상을 생성 할 수 있으며, 평행 이동은 시점의 거리에 비례한 행렬간의 관계로 나타난다. 따라서 이중의 순차적인 전방 사상이라 함은 좌우 시점에서 가상 시점 거리에 따른 관계식을 통한 순차적인 양안 시점의 평행 이동을 의미한다. 이 때 전방 사상을 통해 생성되는 가상 시점 영상과 기준 시점 영상간의 기하관계가 시점간 거리에 비례하여 반복적이므로 이를 GPU 프로그래밍을 통해 병렬 처리를 통해 고속화 하는데 초점을 맞추었다.

Keywords

References

  1. H.-C. Shin, Y.-J. Kim, H. Park, J.-I. Park, 'Fast view synthesis using GPU for 3D display,' IEEE Trans. Consumer Electronics, Vol.54, No.4, pp. 2068-2076, Nov., 2008 https://doi.org/10.1109/TCE.2008.4711274
  2. D, Scharstein, 'View synthesis using stereo vision,' Lecture Notes in Computer Science (LNCS), Vol.1583, 1999
  3. M. Bleyer, M. Gelautz, and C. Rother, C. Rhemann, 'A stereo approach that handles the matting problem via image warping,' Computer Vision and Pattern Recognition, 2009 https://doi.org/10.1109/CVPR.2009.5206656
  4. K. Wegner and O. Stankiewicz, 'Similarity measures for depth estimation,' Proc. of 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, 2009 https://doi.org/10.1109/3DTV.2009.5069670
  5. K.-J. Oh, S. Yea, and Y.-S. Ho, 'Hole-filling method using depth based in-painting for view synthesis in free viewpoint television (FTV) and 3D video,' Proc. of Picture Coding Symposium (PCS), 2009 https://doi.org/10.1109/PCS.2009.5167450
  6. P. Kauffm, N. Atzpadin, C. Fehn, M. Muller, O. Schreer, A. Smolic and R. Tanger, 'Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability,' Signal Processing: Image communication, Vol.22, No.2, pp. 217-234, 2007 https://doi.org/10.1016/j.image.2006.11.013
  7. C. Jin and H. Jeong, 'Intermediate view synthesis for multi-view 3D displays using belief propagation-based stereo matching,' Proc. of International Conference on Convergence and Hybrid Information Technology, Vol.1, pp.919-924, 2008 https://doi.org/10.1109/ICCIT.2008.212
  8. R. J. Rost, OpenGL Shading Language, second edition, Addison Wesley Professional, 2006
  9. R.S. Wright, Jr. and B. Lipchak, OpenGL Superbible, 3rd edition, Sams Publishing, 2005
  10. M. Pharr and R. Fernando, GPU Gems 2: Programming Techniques for High Performance Graphics and General-Purpose Computation, 2005
  11. Middlebury Stereo Vision Page, http://vision.middlebury.edu/stereo
  12. GPGPU, http://www.gpgpu.org