The Journal of the Acoustical Society of Korea (한국음향학회지)

The Acoustical Society of Korea (한국음향학회)
권호 표지

Automatic Indexing Algorithm of Golf Video Using Audio Information

오디오 정보를 이용한 골프 동영상 자동 색인 알고리즘

  • 김형국 (광운대학교 전파공학과)
  • Published : 2009.07.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes an automatic indexing algorithm of golf video using audio information. In the proposed algorithm, the input audio stream is demultiplexed into the stream of video and audio. By means of Adaboost-cascade classifier, the continuous audio stream is classified into announcer's speech segment recorded in studio, music segment accompanied with players' names on TV screen, reaction segment of audience according to the play, reporter's speech segment with field background, filed noise segment like wind or waves. And golf swing sound including drive shot, iron shot, and putting shot is detected by the method of impulse onset detection and modulation spectrum verification. The detected swing and applause are used effectively to index action or highlight unit. Compared with video based semantic analysis, main advantage of the proposed system is its small computation requirement so that it facilitates to apply the technology to embedded consumer electronic devices for fast browsing.

본 논문에서는 오디오 정보 분석을 이용하여 골프 통영상을 자동 색인하는 알고리즘을 제안한다. 제안하는 알고리즘에서는 입력되는 골프 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 연속적인 오디오 스트림을 Adaboost Cascade 분류방식을 통하여 스튜디오 환경에서의 아나운서의 음성구간, 선수이름이 TV 화면에 소개 될 때 수반되는 음악구간, 선수들의 플레이에 따라 반응하는 관중들의 박수 및 환호성 소리구간, 필드에서의 레포터의 음성구간, 바다나 바람 등의 필드환경 잡음 사운드구간 등의 5가지 구간으로 분류한다. 그리고 드라이브 샷, 아이런 샷과 퍼팅 샷 시에 발생하는 스윙 사운드는 onset 검출과 변조스펙트럼 검증 방법을 통해 검출되며, 관객의 박수 소리 구간과 결합하여 액션 및 하이라이트를 효율적으로 색인할 수 있게 한다. 제안된 알고리즘은 오디오 신호의 간단한 연산을 통해 의미를 지니고 있는 기본구조들을 검출하기 때문에 골프 동영상에서 사용자가 원하는 부분을 빠르게 브라우징하는 임베이디드 시스템에 적용가능하다.

Keywords

References

  1. I. Otsuka, R. Radhakrishnan, M. Siracusa, A. Divakaran, and H. Mishima, "An enhanced video summarization system using audio features for a personal video recorder," IEEE Transactions on Consumer Electronics, vol. 52, no. 1, pp. 168-172, 2006 https://doi.org/10.1109/TCE.2006.1605043
  2. A. Ekin, A. M. Tekalp, and R. Mehrotra, "Automatic soccer video analysis and summarization," IEEE Transactions on Image Processing, vol. 12, no. 7, pp. 796-807, 2003 https://doi.org/10.1109/TIP.2003.812758
  3. D. Zhang, and S. F. Chang, "Event detection in baseball video using superimposed caption recognition," Proc. of 10th ACM international Conf. on Multimedia, Juan-les-Pins, France, pp. 315-318, Dec. 2002 https://doi.org/10.1145/641007.641073
  4. D. A. Sadlier, and N. E. O’Connor, "Event detection in field sports video using audio-visual features and a support vector machine," IEEE Transactions on Circuits and Systems for Video Technology, vol. 15, no. 10. pp. 1225-1233, 2005 https://doi.org/10.1109/TCSVT.2005.854237
  5. H.-G. Kim, J. Jeong, J.-H. Kim, and J. Kim, "Real-time highlight detection in basebaI video for TVs with time-shift function," IEEE Transactions on Consumer Electronics, vol. 54, no. 2, pp. 831-838, 2008 https://doi.org/10.1109/TCE.2008.4560167
  6. S. Ravindran, D. V. Anderson, and J. Rehg, "Cascade jump support vector mactine dassifiers," IEEE Workshop on Machine Learning for Signal Processing, pp. 135-139, Sep. 2005 https://doi.org/10.1109/MLSP.2005.1532888