Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

Semantic Event Detection and Summary for TV Golf Program Using MPEG-7 Descriptors

MPEG-7 기술자를 이용한 TV 골프 프로그램의 이벤트검출 및 요약

  • 김천석 (한국정보통신대학원대학교 멀티미디어 그룹) ;
  • 이희경 (한국정보통신대학원대학교 멀티미디어 그룹, 한국전자통신연구원 방송미디어연구부) ;
  • 남제호 (한국전자통신연구원 방송미디어연구부) ;
  • 강경옥 (한국전자통신연구원 방송미디어연구부) ;
  • 노용만 (한국정보통신대학원대학교 멀티미디어 그룹)
  • Published : 2002.06.01
Download PDF
⟨ Previous Next ⟩

Abstract

We introduce a novel scheme to characterize and index events in TV golf programs using MPEG-7 descriptors. Our goal is to identify and localize the golf events of interest to facilitate highlight-based video indexing and summarization. In particular, we analyze multiple (low-level) visual features using domain-specific model to create a perceptual relation for semantically meaningful(high-level) event identification. Furthermore, we summarize a TV golf program with TV-Anytime segmentation metadata, a standard form of an XML-based metadata description, in which the golf events are represented by temporally localized segments and segment groups of highlights. Experimental results show that our proposed technique provides reasonable performance for identifying a variety of golf events.

본 논문에서는 최근 증가하는 TV 골프 경기의 하이라이트 부분을 요약하기 위해 시청자가 관심을 갖는 주요 이벤트를 시각 특징정보들을 이용하여 자동 추출할 수 있는 알고리즘을 제시하였다. 본 알고리즘은 4단계로 구성된다. 첫 번째 단계에서는 입력된 비디오의 샷 (Shot) 및 키 프레임 (Key Frame)을 구하여 데이터베이스화하는 구조를 분석하고, 두 번째 단계에서는 이들 정보를 이용하여 하위 레벨의 특징정보를 추출한다. 세 번째 단계에서는 특징 전보들을 통합하여 샷의 의미를 부여하여, 이벤트 구성 요소들과 정합시킨다. 네 번째 단계에서는 사전에 정의된 추론 규칙과 시간 정보를 이용하여 구성 요소들을 통합하여 이벤트를 결정한다. 본 연구에서는 하위 레벨의 특징 정보를 상호 호환성과 재사용성이 가능하도록 MPEG-7 비주얼 특징 정보를 사용하였다 TV-Anytime의 하이라이트/이벤트 스키마(schema)를 이용하여 검출된 이벤트들로 구성된 요약문을 XML 문서로 작성하였다. 제안 알고리즘의 성능을 검사하기 위해 비디오 자동 요약 시스템과 브라우징을 제작하여 실험하였으며 평균 80%의 검색 율과 정확도를 얻었다.

Keywords

References

  1. W. A.Khatib, Y. F. Day and A. Ghafoor, 'Semantic Modeling and Knowledge Representation in Multimedia Databases,' IEEE Tractions On Knowledge And Data Engineering, Vol. 11, No. 1, Jan. 1999
  2. V. Tovinkere and R. J. Qian, 'Detecting semantic events in soccer games: towards a complete solution,' Proc. IEEE ICME, Aug 22-25, 2001
  3. P. Xu, L. Xie, S.F. Chang, A. Divakaran, A. Vetro and H. Sun, 'Algorithms and systems for segmentation and structure analysis in soccer video,' Proc. IEEE ICME, Aug. 2001
  4. Y. Rui, A. Gupta and A. Acero, 'Automatically extracting highlights for TV baseball programs,' Proc. ACM Multimedia 2000, pp. 105-115, Oct. 2000
  5. G. Sudhir, J. C. M. Lee and A. K. Jain, 'Automatic classification of tennis video for high-level content-based retrieval,' Proc. IEEE Int'. Workshop on Content-Based Access of Image and Video Database, pp. 81-90, 1998
  6. D. Zhong and S.F. Chang, 'Structure analysis of sports video using domain models,' Proc. IEEE ICME, Aug. 2001
  7. B. Noboru, K. Yoshihiko and K. Tadahiro, 'Event based video indexing by intermodal collaboration,' First International Workshop on Multimedia Intelligent Storage and Retrieval management, 1999
  8. Y. Chang, W. Zeng, I. Kamel and R.Alonso, 'Integrated image and speech analysis for content -based video indexing,' Processing of the Third IEEE International Conference on Multimedia Computing and Systems, pp. 306-313, 1996
  9. M.A. Smith and T. Kanade, 'Video skimming and characterization through the combination of image and language understanding audio, video and text information,' Processing of IEEE Conference Computer Vision and Pattern Recognition, pp.775-781, 1996
  10. K. A. Peker , R. Cabassen and A. Divakaran, 'Rapid Generation of Sport Video Highlights using the MPEG-7 Motion Activity Descriptor,' Proc. SPIE, Vol. 4676, pp. 318-323, 2002
  11. N. Haering, R. J.Qian and M. I. Sezan, 'A Semantic Event-Detection Approach and Its Application to Detecting Hunts in Wildlife Video,' IEEE Transactions On Circuits And Systems For Video Technology, Vol. 10, No. 6, pp. 857-868, Sept. 2000 https://doi.org/10.1109/76.867923
  12. Video Group, 'Text of ISO/IEC 15938-3/FDIS Information technology - Multimedia content description interface - Part 3 Visual,' 2001
  13. Y. M. Ro, M. C. Kim, H. K. Kang and J. W. Kim, 'MPEG-7 Homogeneous texture descriptor,' ETRI Journal, Vol. 23, No. 2, June 2001
  14. B. Yeo and B. Liu, 'Rapid scene analysis on compressed video,' IEEE Transactions On Circuits Systems Video Technology, Vol. 5, No. 6, pp. 533-544, 1995 https://doi.org/10.1109/76.475896