3DTV System Adaptive to User's Environment

사용자 환경에 적응적인 3DTV 시스템

  • 백윤기 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 최미남 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 박세환 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • Published : 2007.10.31

Abstract

In this paper, we propose a 3DTV system that considers user's view point and display environment. The proposed system consists of 3 parts - multi-view encoder/decoder, face-tracker, and 2D/3D converter. The proposed system try to encode multi-view sequence and decode it in accordance with the user's view point and it also gives a stereopsis to the multi-view image by using of 2D/3D conversion which converts decoded two-dimensional(2D) image to three-dimensional(3D) image. Experimental results shows that we are able to correctly reconstruct a stereoscopic view that is exactly corresponding to user's view point.

본 논문에서는 사용자의 시점과 환경을 고려한 3DTV 시스템을 제안한다. 제안된 시스템은 다시점 영상의 부 복호화기, 얼굴 추적, 2D/3D동영상 입체 변환으로 구성된다. 다시점 영상에 입체감을 부여하기 위한 방법 중 실시간 처리가 가능한 2차원 영상을 3차원 영상으로 변환하는 2D/3D 동영상 입체 변환을 이용하여 입체 영상을 생성하였다. 기존의 2D/3D 동영상 입체 변환은 다시점 영상을 고려한 변환 방법이 아니기 때문에 다시점 영상의 시점 변화 시 다른 시점의 영상을 사용하여 불안정한 입체 영상을 생성한다. 본 논문에서는 이러한 문제점을 해결하기 위하여 다시점 영상에 적합하도록 시점 변화 시를 고려한 2D/3D변환방법을 사용함으로써 시점 변화 시 안정된 입체영상을 생성할 수 있었다.

Keywords

References

  1. MPEG/ISO/IEC JTC1/SC29/WG11, 'Subjective Test Results for The CfP on Multi-View Video Coding,' M13009, Bangkok, Jan. 2006
  2. Matsumoto, Y., Terasaki, H., Sugimoto, K., Arakawa, T., 'Coversion System of Monocular Image Sequence to Stereo Using Motion Parallax,' SPIE Photonic West, Vol.3012, pp.108-115, 1997
  3. 김만배, 박상훈, '키 프레임을 이용하는 2차원 동영상의 3차원 입체 변환,' HCI 학회, 2002년 2월
  4. MPEG/ISO/IEC JTC1/SC29/WG11, 'MVC Reference Software Implementation Plan', JVT-U061, Hangzhou, China, 20-27 October, 2006
  5. 홍호기, 백윤기, 이승현, 김동욱, 유지상. '2Dh.264 동영상의 3D 변환' 한국통신학회논문지, 제 31권 제 12C호, pp.1208-1215, 2006
  6. Ross, J., 'Stereopsis by Binocular Delay,' In Nature, Vol.248, pp.354-364, 1974 https://doi.org/10.1038/248354a0
  7. Ross, J., Hogben, J. H., 'Short-term Memory in Stereopsis,' In Vision Research, Vol.14, pp.1195-1201, 1974 https://doi.org/10.1016/0042-6989(74)90216-8
  8. Sobottka, K., Pitas, I., 'Extraction of Facial Regions and Features Using Color and Shape Information,' IEEE International Conference on Pattern Recognition, Vol.3, Aug. 1996
  9. Dai, Y., Nakano, Y., 'Extraction of Facial Images from Complex Background Using Color Information and SGLD Matrices,' Proc. of Int. Workshop on Automatic Face-and Gesture-Recognition. pp.238-242, 1995
  10. 한충신, 장세훈, 배진우, 유지상, '다시점 영상 시스템을 위한 얼굴 추적,' 한국통신학회논문지, 제 30권 제 2C호, pp.16-24, 2005년 2월
  11. Rein, L. H., Mohamed, A. M., Anil K. J., 'Face Detection in Color Images,' IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, pp.696-706, May 2002 https://doi.org/10.1109/34.1000242
  12. Keio Multi-View Video Coding(MVC) Testing Data, http://www.ozawa.ics.keio.ac.jp/~moriyama/mpeg-3dvideo/index.htm