Journal of KIISE:Information Networking (한국정보과학회논문지:정보통신)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Shot Transition Effects for MPEG - 1 Video Stream in Compressed Domain

MPEG-1 비디오 스트림에 대한 압축 영역에서의 장면 전환 효과 처리

  • Published : 2000.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

As the full-motion videos in MPEG are widely available nowadays, an editor that could easily edit such kind of media data is required to develop various multimedia applications. In order to concatenate and apply a transition effect to two video streams encoded in MPEG, they should be decoded first since there are dependencies in the frames in MPEG-encoded video stream. Since this decode-edit-encode process requires a huge amount of computing/storage resources, a new editing scheme that could apply various transition effects to MPEG video streams directly while keeping the quality of video data is strongly required. This paper proposes a new editing scheme that could apply three transition effects (such as fade-in, fade-out, and dissolve) to MPEG video streams in a compressed domain. In the proposed scheme, an extension of previous method in which the frames are partially decompressed and transition effects are applied is adopted for I- and P-frames. In addition, a new processing scheme for B-frame that could apply the transition effects in DCT domain directly using an approximation of motion compensation based on the motion vector to reference frames. Since this processing scheme could apply the transition effects in a compressed domain directly, the editing process could be speed-up about $3{\sim}4$ times faster than previous decode-edit-encoding method while keeping the quality of video data as good as the source data. The proposed scheme could be used to build a software-only MPEG video editing system that helps to edit MPEG video data even on a low-cost desk-top computer.

MPEG 형식의 비디오 데이타의 사용이 점차 늘어남에 따라, 이런 데이타를 자유롭게 편집할 수 있는 편집기의 필요성이 점차 증가하고 있다. 그러나 MPEG 데이타는 연속된 프레임들의 차이만을 저장하는 방법을 사용하기 때문에 두 개의 MPEG 데이타를 전환 효과를 주어서 편집을 하기 위해서는 압축을 해제한 후 효과를 주고 다시 압축하여야 하는 문제점을 가지고 있다. 이런 문제점을 해결하기 위하여 본 논문에서는 MPEG 형식으로 압축된 두 비디오 데이타에 대하여 부분적으로 압축을 해제한 상태에서 여러 종류의 장면 전환 효과(페이드 인 및 페이드 아웃, 디절브)를 적용할 수 있는 방법을 제안하였다. 제안한 방법에서는 MPEG형식 비디오 데이타의 I와 P프레임에 대하여서는 압축을 부분적으로 해제하는 전환 효과를 주는 기존의 방법을 응용하여 적용하였으며, B 프레임의 경우에는 참조 프레임에 대한 움직임 벡터를 기초로 구해진 움직임 보상 근사값을 이용하여 DCT 영역에서 장면 전환 효과를 주는 방법을 새로이 제안하였다. 이런 압축 영역에서의 장면 변화 적용 방법을 사용함으로써 압축을 해제하여 효과를 주는 것 보다 전환되는 프레임들의 화질을 유지하면서 3-4배 정도 빠르게 편집할 수 있다. 이러한 방법을 MPEG 비디오 편집기 시스템에 적용하게 된다면, 소프트웨어만을 이용한 저가의 데스크 탑 환경에서도 효율적인 비디오 편집 작업이 가능하게 될 것이다.

Keywords

References

  1. Chang, S.-F. and Messerschmitt, D.G., 'Manipulation and Compositing of MC-DCT Compressed Video,' Proc. of IEEE JSAC Special Issue on Intelligent Signal Processing, 1994 https://doi.org/10.1109/49.363151
  2. Chang, S.-F. and Messerschmitt, D.G., 'Video Compositing in the DCT Domain,' Proc. of IEEE Workshop on Visual Signal Processing and Communications, 1992
  3. Chang, S.-F. and Messerschmitt, D.G. 'A New Approach to Decoding and Compositing Motion Compensated DCT - Based Images,' Proc. of IEEE ICASSP, 1993 https://doi.org/10.1109/ICASSP.1993.319837
  4. MPEG Software Simulation Group, MPEG-2 Video Codec, Available from http://www.mpeg.org/ MPEG/MSSG
  5. ISO/IEC/JTC1/SC29/WG11, Coding of Moving Pictures and Associated Audio for digital storage media at up to about 1.5 Mbit/s, ISO/IEC International Standard 11172-2, 1993
  6. 대우전자 영상 연구소, MPEG 비디오, 연암 출판사, July 1995
  7. 정제창, 그림으로 보는 최신 MPEG , 교보문고, 1995
  8. 정제창, 그림으로 보는 응용 MPEG , 교보문고, 1997
  9. Jiying Zhao, Yoshihisa Shimazu, Koji Ohta, Rina Hayasaka, and Yutaka Matsushita, 'A JPEG Codec Adaptive to Region Importance,' Proc of ACM Multimedia 96, 1996 https://doi.org/10.1145/244130.244203
  10. John F. Koegel Buford, Multimedia Systems, ACM Press, 1994
  11. Simon J. Gibbs, Dionysios C. Tsichritzis, MULTIMEDIA PROGRAMMING Objects, Environment and Frameworks, Addison-Wesley Publishing Company, 1995
  12. Porter, T. and Duff, T., 'Compositing Digital Images,' Proc. of SIGGRAPH 84 on Computer Graphics, 1984 https://doi.org/10.1145/800031.808606
  13. B. Chiptrasert and K. R. Rao, 'Discrete Cosine Transform Filtering,' Proc. of Signal Processing, Vol. 19, No.3, pp. 233-45, 1990 https://doi.org/10.1016/0165-1684(90)90115-F
  14. Smith, B. C. and Rowe L. 'Algorithms for Manipulating Compressed Images,' Proc. of IEEE Computer Graphics and Applications, 1993
  15. Albert J. Ahumada, Jr. and Rensheng Horng, 'De-blocking DCT Compressed Images,' Proc. of SPIE on Human Vision, Visual Processing, and Digital Display, Vol. 2179, pp. 109-116, 1994 https://doi.org/10.1117/12.172662
  16. B. Shen and I. K. Sethi, 'Inner-Block Operation on Compressed Images,' Proc. of ACM Intl. Conf Multimedia'95, pp. 490-499, 1995 https://doi.org/10.1145/217279.215313
  17. B. Shen and I. K. Sethi, 'Scanline algorithms in compressed domain,' Proc. of SPIE on Digital Video Compression : Algorithms and Technologies, Vol. 2668, 1996 https://doi.org/10.1117/12.235444