Design and Implementation of Interactive Multi-view Visual Contents Authoring System

대화형 복수시점 영상콘텐츠 저작시스템 설계 및 구현

  • Lee, In-Jae (Broadcasting Research Media Group, Radio & Broadcasting Research Division, ETRI) ;
  • Choi, Jin-Soo (Broadcasting Research Media Group, Radio & Broadcasting Research Division, ETRI) ;
  • Ki, Myung-Seok (Broadcasting Research Media Group, Radio & Broadcasting Research Division, ETRI) ;
  • Jeong, Se-Yoon (Broadcasting Research Media Group, Radio & Broadcasting Research Division, ETRI) ;
  • Moon, Kyung-Ae (Broadcasting Research Media Group, Radio & Broadcasting Research Division, ETRI) ;
  • Hong, Jin-Woo (Broadcasting Research Media Group, Radio & Broadcasting Research Division, ETRI)
  • 이인재 (한국전자통신연구원 전파방송연구단 방송미디어연구그룹) ;
  • 최진수 (한국전자통신연구원 전파방송연구단 방송미디어연구그룹) ;
  • 기명석 (한국전자통신연구원 전파방송연구단 방송미디어연구그룹) ;
  • 정세윤 (한국전자통신연구원 전파방송연구단 방송미디어연구그룹) ;
  • 문경애 (한국전자통신연구원 전파방송연구단 방송미디어연구그룹) ;
  • 홍진우 (한국전자통신연구원 전파방송연구단 방송미디어연구그룹)
  • Published : 2006.12.29

Abstract

This paper describes issues and consideration on authoring of interactive multi-view visual content based on MPEG-4. The issues include types of multi-view visual content; scene composition for rendering; functionalities for user-interaction; and multi-view visual content file format. The MPEG-4 standard, which aims to provide an object based audiovisual coding tool, has been developed to address the emerging needs from communications, interactive broadcasting as well as from mixed service models resulting from technological convergence. Due to the feature of object based coding, the use of MPEG-4 can resolve the format diversity problem of multi-view visual contents while providing high interactivity to users. Throughout this paper, we will present which issues need to be determined and how they can be realized by means of MPEG-4 Systems.

본 논문에서는 MPEG-4 Systems 기반 복수시점 영상 서비스를 위한 저작 기술에 대해 제안한다. MPE-4는 이전의 MPEG-l/2 등의 비디오 정보 압축 규격과 달리, 사용자와 콘텐츠 간의 객체 기반 대화형(interactivity) 기능에 대한 다양한 방법을 포함하고 있다. 따라서 MPEG-4 Systems 규격은 현재까지 개발된 표준들 중에서 복수시점 영상 서비스가 제공하려고 하는 목적에 가장 잘 부합하는 기능을 제공하고 있다. 본 논문에서는 MPEG-4 Systems 표준 기술을 기반으로 제공될 수 있는 복수시점 영상 서비스에 대해 기술하였고, 해당 서비스를 제공하기 위한 MPEG가 장면 기술(scene description) 프로파일을 제안하였다. 또한 제안된 프로파일에 기반을 둔 대화형 복수시점 영상콘텐츠 저작시스템을 설계하고 구현하였으며, 실험결과를 통해 그 가능성을 보여 주었다.

Keywords

References

  1. ISO/IEC JTC1/SC29/WG11 N5877, 'Applications and Requirements for 3DAV,' July 2003
  2. ISO/IEC JTC1/SC29/WG11 N5878, 'Report on 3DAV Exploration,' July 2003
  3. Smolic, A., McCutchen, D.: 3DAV Exploration of Video-Based Rendering Technology in MPEG, IEEE trans. on Circuits and Systems for Video Technology, Vol. 14, No. 3, (2004) 348-356 https://doi.org/10.1109/TCSVT.2004.823395
  4. ISO/IEC Information technology, Part1: Systems, ISO/IEC 14496-1:2002, 2002.03. (MPEG-4 systems)
  5. ISO/IEC JTC1/SC29/WG11 N3573, 'Working Draft 3.0 of ISO/IEC 14496-1/Amd3: Extensible MPEG-4 Texture Format (XMT),' July 2000
  6. ISO/IEC JTC1/SC29/WG11 N5298, 14496-14 : MP4 File Format, 'Text of ISO/IEC FDIS 14496-14,' April 2003
  7. Apple QuickTime VR Authoring Studio. http://www.apple.com/ quicktime/qtvr
  8. Photovista Virtual Tour. http://iseemedia.com[1] S. K. Nayar.: Catadioptric Omnidirectional Camera, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition,(1997) 17-19