Realistic-Contents Generation Techniques with Stereoscopic and Composite Image Data

영상 데이터의 입체화 및 합성 기반 실감 콘텐츠 생성 기법

  • Kim Manbae (Dept. of Computer, Info. and Telecom., Kangwon National University) ;
  • Hong Donghee (Dept. of Computer, Info. and Telecom., Kangwon National University) ;
  • Cho Youngran (Dept. of Computer, Info. and Telecom., Kangwon National University) ;
  • Kim Haksoo (Dept. of Computer, Info. and Telecom., Kangwon National University)
  • 김만배 (강원대학교 컴퓨터정보통신공학과) ;
  • 홍동희 (강원대학교 컴퓨터정보통신공학과) ;
  • 조영란 (강원대학교 컴퓨터정보통신공학과) ;
  • 김학수 (강원대학교 컴퓨터정보통신공학과)
  • Published : 2004.12.01

Abstract

Recently, there has been much interest in realistic broadcasting that is a new field following HDTV and 3DTV. In general. the realistic broadcasting is composed of diverse components such as aquisition, authoring, compression, transmission and display, posing many challenging tasks. It is necessary that the types of realistic contents need to be defined prior to the development of realistic broadcasting systems. Based upon them, other components need to be designed and developed. In this paper, we propose some realistic contents suitable to the realistic broadcasting as well as techniques of generating them. Our proposed contents consist of stereoscopic multiview sequences, object-based stereoscopic images, depth map-based image compositing and the composition of stereoscopic real and graphics images. Content generation techniques and their associated software modules are presented with realistic images produced from our experiments. Those contents are produced to deliver stereoscopic perception, immersion and realism to the users as shown in our experimental results.

최근 HDTV 및 3차원 TV의 연구 개발에서 실감 방송에 대한 관심이 증가되고 있다. 실감 방송은 콘텐츠 생성, 제작, 압축, 전송 및 디스플레이까지 복합적이고 종합적인 시스템으로 구성된다. 이러한 분야에서는 방송을 통해 사용자에게 전송되는 실감 콘텐츠의 종류를 우선적으로 고려해야 한다. 콘텐츠에 따라 제작 단계에서 새로운 제작 기능을 필요로 하고, 콘텐츠 압축 기술의 연구의 필요성이 요구되며, 또한 전송 시스템의 설계 및 디스플레이 단말기들의 연구 개발이 필요하다. 본 논문에서는 향후 실감 방송에서 제공할 수 있는 실감 콘텐츠들을 소개하고 이에 따른 제작 방법을 제안한다. 제안하는 실감콘텐츠는 입체 다중뷰 영상, 객체기반 입체 영상, 깊이지도기반 합성 및 입체 영상과 그래픽 영상 합성으로 구성되며, 각 콘텐츠마다 제작 소프트웨어를 개발하였다. 또한, 실험 결과는 제작된 콘텐츠들이 사용자에게 입체감, 몰임감 및 현실감이 제공된다는 것을 보여준다.

Keywords

References

  1. 전정희, 임동근, 호요성, '3차원 영상 합성과 그래픽 애니메이션', 방송공학회지, 제6권
  2. 이범구, 김희정, 권영무, 남승진, '가상현실과 방송응용', 방송공학회지, 제4권 제3호, pp. 230-238, 1999년 9월
  3. 이인재, 정세윤, 김규헌, '실사 양안식 정지영상 및 동영상 콘텐츠 지원을 위한 합성 방법 연구', 한국방송공학회 학술대회, 2003년
  4. D. F. McAllister (editor), Stereo computer graphics and other true 3D technologies, Princeton, NJ: Princeton University Press, 1993
  5. http://ftp.ne.jp/KDDI/multiview
  6. 곽수영, 고병철, 변혜란, '영상검색을 위한 SVM-기반 중요 영역 추출 알고리즘', 제16회 영상 처리 및 이해에 관한 워크샵, 2004년 1월, 고려대학교
  7. Y. Tsaig and A. Averbuch, 'Automatic segmentation of moving objects in video sequences: A region labeling approach,' IEEE Trans. on Circuits and Systems for Video Technologies, Vol. 12, No. 7, pp. 597-612, July 2002 https://doi.org/10.1109/TCSVT.2002.800513
  8. T. Kanade, et. al., 'Video-rate Z keying: a new method for mering images', Tech. Report CMU-RI-TR-95-38, Robotics Institute, CMU, Dec. 1995
  9. http://www.3dvsystems.com
  10. J. D. Foley, et. al., Computer Graphics: Principles and Practice, Addison-Wesley, 1995
  11. D. Scharstein and R. Szeliski, 'A taxonomy and evaluation of dense two-frame stereo correspondence algorithms,' IJCV, Vol. 47, pp. 7-42, 2002
  12. J. Schmidt, H. Nieman, and S. Vogt, "Dense disparity maps in real-time with an application to augmented reality", Proc. of the 6th IEEE workshop on applications of computer vision, 2002
  13. 김한성, 손광훈, '영역 분할과 에너지 기반 변이 평활화를 이용한 스테레오 영상의 변이 추정', 제16회 영상 처리 및 이해에 관한 워크샵, 2004년 1월, 고려대학교