Stereoscopic Conversion based on Key Frames

키 프레임 기반 스테레오스코픽 변환 방법

  • 김만배 (강원대학교 컴퓨터정보통신공학과) ;
  • 박상훈 (강원대학교 컴퓨터정보통신공학과)
  • Published : 2002.09.01

Abstract

In this paper, we propose a new method of converting 2D video into 3D stereoscopic video, called stereoscopic conversion. In general, stereoscopic images are produced using the motion informations. However unreliable motion informations obtained especially from block-based motion estimation cause the wrong generation of stereoscopic images. To solve for this problem, we propose a stereoscopic conversion method based upon the utilization of key frame that has the better accuracy of estimated motion informations. As well, as generation scheme of stereoscopic images associated with the motion type of each key frame is proposed. For the performance evaluation of our proposed method, we apply it to five test images and measure the accuracy of key frame-based stereoscopic conversion. Experimental results show that our proposed method has the accuracy more than about 90 percent in terms of the detection ratio of key frames.

본 논문에서는 2D 동영상을 스테레오스코픽(Stereoscopic) 동영상으로 변환하는 새로운 방법을 제안한다. 일반적으로 영상의 운동정보를 이용하여 스테레오스코픽 영상을 생성한다. 그러나 얻어진 운동 정보는 신뢰도가 낮을 수가 있고, 이것은 스테레오스코픽 영상 생성 단계에서 오류 발생의 원인이 된다. 상기 문제점의 해결 방안으로 운동 벡터 정보의 신뢰도가 높고 추정된 운동 유형이 정확한 키 프레임(Key Frame)을 활용하는 스테레오스코픽 변환 방법을 제안한다. 또한 각 운동 유형에 따른 스테레오스코픽 변환 방법을 소개한다. 제안한 스테레오스코픽 변환 방법의 성능 검증을 위해 다양한 실험 영상에 적용하고 키 프레임의 운동유형의 정확도를 측정하였다. 실험에서는 평균 90%이상의 키 프레임과 그 운동 유형을 정확히 찾는 성능을 얻었다.

Keywords

References

  1. B. J. Garcia, 'Approaches to stereoscopic video based on spatialtemporal interpolati-on,' SPIE, Vol. 2635, Photonic West, 1990
  2. T. Okino and et. al, 'New television with 2D/3D image conversion techniques,' SPIE, Vol. 2653, Photonic West, 1995
  3. 김만배, 최광철, 김도균, 송문섭, '2차원 동영상의 3차원스테레오스 코픽 동영상 변환', 제 11회 신호처리합동학술대회, 서울대학교, 1998
  4. 김만배, '3차원 스테레오스코픽 변환을 위한 MPEG 압축 데이터에 서의 영상 처리 기법', 한국방송공학회 학술대회, 중앙대학교, pp. 3-8 1998
  5. M. Kim and et al., 'Stereoscopic conversion of monoscopic video by the transformation of vertical-to-horizontal disparity,' SPIE, Vol. 3295, Photonic West, Jan. 1998
  6. Man Bae Kim and Sang Hun Lee, 'A new method for the conversion of MPEG encoded data into sterereoscopic video,' J. of the Society for 3D Broadcasting and Imaging, Vol. 1. No. 1, pp. 48-59, Jun. 2000
  7. Y. Matsumoto and et al., 'Conversion system of monocular image conversion technologies,' SPIE, Vol. 3012, Photonic West, 1997
  8. D. F. McAllister, Stereo computer graphics and other true 3D technologies, Princeton, NJ: Princeton University Press, 1993
  9. A. M. Tekalp, 'Digtal Video Processing,' Prentice-Hall, 1995
  10. K. R. Rao and J. J. Hwang, 'Techniques and Standards for Image, Video, and Audio Coding,' Prentice-Hall, 1996