Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Motion Flow Analysis using Bi-directional Prediction-Independent Framework in MPEG Compressed Domain

압축 영역에서의 양방향 예측 구조를 이용한 움직임 흐름 분석

  • 김낙우 (중앙대학교 첨단영상대학원 영상공학과) ;
  • 김태용 (중앙대학교 첨단영상대학원 영상공학과) ;
  • 최종수 (중앙대학교 첨단영상대학원 영상공학과)
  • Published : 2004.09.01
Download PDF
⟨ Previous Next ⟩

Abstract

Because video sequence consists of dynamic objects in nature, the object motion in video is an effective feature in describing the contents of video sequence and motion feature plays an important role in video retrieval. In this paper, we propose a method that converts motion vectors (MVs) to a uniform set on MPEG coded domain, independent of the frame type and the direction of prediction, and utilizes these normalized MVs (N-MVs) as motion descriptor to understand video contents. We describe a frame-type independent representation of the various types of frames presented in an MPEG video in which all frames can be considered equivalently, without full-decoding. In the experiments, we show that the proposed method is better than the conventional one in terms of performance.

비디오 시퀀스는 일반적으로 다양한 움직임을 가지는 객체들로 구성되어 있기 때문에, 움직임 특징은 비디오 검색 등에서 매우 중요한 역할을 한다. 본 논문에서는 MPEG 압축 영상에서의 움직임 벡터를 비디오 영상의 움직임 표현 서술자로 활용하는 새로운 방법이 제안된다. 즉, 압축 영상에서의 다양한 움직임 벡터를 프레임이나 매크로블록 예측 구조에 관계없이 단일 움직임 방향만을 갖도록 하여, 이것을 해당 영상의 서술자로 활용한다. 이를 위하여, 본 논문에서는 양방향 예측 구조를 이용한 벡터 재해석 기법을 제안한다. 보통, 압축 영역에서의 각 프레임 움직임 해석 시, 움직임 벡터가 없는 I 프레임과 그 외 프레임들의 직접 비교는 불가능하지만, 제안 기법은 1, B, p 프레임 등의 모든 프레임에서 동등하게 벡터 해석을 할 수 있게 한다. 제안된 알고리즘은 압축 영상의 전체 복원과정 없이 매크로 블록 영역 상에서 처리함으로써 시간 손실을 줄이고 있으며, 실험 결과는 제안된 방법의 높은 성능을 잘 나타내어 주고 있다.

Keywords

References

  1. H. L. Eng and K. K. Ma, 'Bidirectional motion tracking for video indexing,' Multimedia Signal Processing, pp. 153-158, 1999 https://doi.org/10.1109/MMSP.1999.793813
  2. J. G. Kim, H. S. Chang, J. W. Kim and H. M. Kim, 'Efficient camera motion characterization for MPEG video indexing,' Proc. of IEEE International Conf. on Multimedia and Expo, vol. 2, pp. 1171-1174, 2000 https://doi.org/10.1109/ICME.2000.871569
  3. D. Zhong and S. F. Chang, 'AMOS: an active system for MPEG-4 video object segmentation,' Proc. of IEEE International Conf. on Image Processing, vol. 2, pp. 647-651, 1998 https://doi.org/10.1109/ICIP.1998.723609
  4. M. Cherfaoui and C. Bertin, 'Temporal segmentation of videos: A new approach,' in IS & T and SPIE Proc.: Digital Video Compression Algorithm and Technology, vol. 2419, San Jose, 1995 https://doi.org/10.1117/12.206380
  5. HongJiang Zhang, Atreyi Kankanhalli, Stephen W. Smoliar, 'Automatic Partitioning of Full-Motion Video,' Multimedia Systems, Vol.1, No.1, pp.10-28, 1993 https://doi.org/10.1007/BF01210504
  6. H. Zhang, C. Y. Low, Y. Gong and S. Smoliar, 'Video parsing using compressed data,' in Proc. of SPIE Conf. on Image and Video Processing II, vol. 2182, pp. 142-149, 1994
  7. Y. Juan and S. F. Chang, 'Scene change detection in a MPEG compressed video sequence,' in IS & T and SPIE Proc.: Digital Video Compression Algorithm and Technology, vol. 2419, San Jose, 1995
  8. V. Kobla, et al, 'Indexing and Retrieval of MPEG Compressed Video,' Journal of Electronic Imaging, Vol.7 (2), 1998 https://doi.org/10.1117/1.482645
  9. S. F. Chang, et al, 'VideoQ: An automated content based video search system using visual cues,' Proc. of ACM Multimedia, pp. 313-324, 1997 https://doi.org/10.1145/266180.266382
  10. F. Liu and R. W. Picard, 'Finding periodicity in space and time,' Proc. of IEEE International Conf. on Computer Vision, pp. 376-383, 1998 https://doi.org/10.1109/ICCV.1998.710746
  11. C. W. Ngo, et al, 'Motion characterization by temporal slice analysis,' Proc. of IEEE International Conf. on Computer Vision and Pattern Recognition, pp. 768-773, 2000 https://doi.org/10.1109/CVPR.2000.854952
  12. E. Ardizzone, M. La Casica and D. Molinelli, 'Motion and color-based video indexing and retrieval,' Proc. of IEEE International Conf. on Computer Vision and Pattern Recognition, pp. 135-139, 1996 https://doi.org/10.1109/ICPR.1996.546809
  13. E. Ardizzone, et al, 'Video indexing using MPEG motion compensation vectors,' Multimedia Computing and Systems, pp. 725-729, 1999 https://doi.org/10.1109/MMCS.1999.778574
  14. ISO/IEC/JTC1/SC29/WG11, 13812-2, 1995
  15. O. Sukmarg and K. R. Rao, 'Fast object detection and segmentation in MPEG compressed domain,' Proc. of IEEE TENCON 2000, vol. 3, pp. 364-368, 2000 https://doi.org/10.1109/TENCON.2000.892290
  16. N.W. Kim, T.Y. Kim and J.S. Choi, 'Motion analysis using the normalization of motion vectors on MPEG compressed domain', ITC-CSCC2002, vol. 3, pp. 1408-1411, 2002