DOI QR코드

DOI QR Code

Audio Segmentation and Classification Using Support Vector Machine and Fuzzy C-Means Clustering Techniques

서포트 벡터 머신과 퍼지 클러스터링 기법을 이용한 오디오 분할 및 분류

  • ;
  • 강명수 (울산대학교 컴퓨터정보통신공학과) ;
  • 김철홍 (전남대학교 전자컴퓨터공학부) ;
  • 김종면 (울산대학교 컴퓨터정보통신공학부)
  • Received : 2011.05.23
  • Accepted : 2011.09.22
  • Published : 2012.02.29

Abstract

The rapid increase of information imposes new demands of content management. The purpose of automatic audio segmentation and classification is to meet the rising need for efficient content management. With this reason, this paper proposes a high-accuracy algorithm that segments audio signals and classifies them into different classes such as speech, music, silence, and environment sounds. The proposed algorithm utilizes support vector machine (SVM) to detect audio-cuts, which are boundaries between different kinds of sounds using the parameter sequence. We then extract feature vectors that are composed of statistical data and they are used as an input of fuzzy c-means (FCM) classifier to partition audio-segments into different classes. To evaluate segmentation and classification performance of the proposed SVM-FCM based algorithm, we consider precision and recall rates for segmentation and classification accuracy for classification. Furthermore, we compare the proposed algorithm with other methods including binary and FCM classifiers in terms of segmentation performance. Experimental results show that the proposed algorithm outperforms other methods in both precision and recall rates.

최근 멀티미디어 정보가 급증함에 따라 콘텐츠 관리에 대한 요구도 함께 증가되고 있다. 이에 오디오 분할 및 분류는 멀티미디어 콘텐츠를 효과적으로 관리할 수 있는 대안이 될 수 있다. 따라서 본 논문에서는 동영상에서 취득한 오디오 신호를 분할하고, 분할된 오디오 신호를 음악, 음성, 배경 음악이 포함된 음성, 잡음이 포함된 음성, 묵음(silence)으로 분류하는 정확도가 높은 오디오 분할 및 분류 알고리즘을 제안한다. 제안하는 알고리즘은 오디오 분할을 위해 서포트 벡터 머신(support vector machine, SVM)을 이용하였다. 오디오 신호의 분류를 위해서는 분할된 오디오 신호의 특징을 추출하고 이를 퍼지 클러스터링 알고리즘(fuzzy c-means, FCM)의 입력으로 사용하여 각 계층으로 오디오 신호를 분류하였다. 제안하는 알고리즘의 평가는 분할과 분류에 대해 각각 그 성능을 평가하였으며, 분할 성능 평가는 정확도율(precesion rate)과 오차율(recall rate)을 이용하였으며, 분류 성능 평가는 정확성(classification accuracy)을 사용하였다. 또한 오디오 분할의 경우는 이진 분류기와 퍼지 클러스터링을 이용한 기존의 알고리즘과 그 성능을 비교하였다. 모의 실험 결과, 제안한 알고리즘의 분류 성능이 기존 알고리즘 보다 정확도율과 오차율 면에서 모두 우수하였다.

Keywords

References

  1. J. Foote, "An Overview of Audio Information Retrieval," ACM Multimedia Systems, Vol.7, pp.2-10, 1999. https://doi.org/10.1007/s005300050106
  2. Z. Liu and Y. Wang, "Audio Feature Extraction and Analysis for Scene Segmentation and Classification," J. VLSI Signal Processing, Vol.20, pp.61-79, 1998. https://doi.org/10.1023/A:1008066223044
  3. L. Lu, H. J. Zhang, and H. Jiang, "Content Analysis for Audio Classification and Segmentation," IEEE Trans. Speech and Audio Processing, Vol.10, No.7, pp.504-516, 2002. https://doi.org/10.1109/TSA.2002.804546
  4. C. Lin, S. H. Chen, and T. K. Truong, "Multiple Change-Point Audio Segmentation and Classification Using an MDL-based Gaussian Model," IEEE Trans. Speech and Audio Processing, Vol.14, No.2, pp.647-657, 2006. https://doi.org/10.1109/TSA.2005.852988
  5. D. Kimber and L. Wilcox, "Acoustic Segmentation for Audio Browsers," in Proc. Interface Conf., pp.9-16, Sydney, 2006.
  6. S. Z. Li, "Content-based Audio Classification and Retrieval Using the Nearest Feature Line Method," IEEE Trans. Speech and Audio Processing, Vol.8, No.5, pp.619-625, 2000. https://doi.org/10.1109/89.861383
  7. T. Giannakopulos, A. Pikrakis, and S. Theodoridis, "A Novel Efficient Approach for Audio Segmentation," 19th Int'l Conf. Pattern Recognition, pp.1-4, 2008.
  8. N. Naoki, H. Miki, and K. Kideo, "Audio Signal Segmentation and Classification for Scene-cut Detection," IEEE Int'l Sym. Circuit and System, pp.4030-4033, 2005.
  9. Y. Shi and M. Mizumoto, "An Improvement of Neuro-fuzzy Learning Algorithm for Tuning Fuzzy Rules," Fuzzy Sets and Systems, Vol.1118, No.2, pp.33350, 2001.
  10. Y. Zhu, Z. Ming, and Q. Huang, "Automatic Audio Genre Classification Based on Support Vector Machine," 3th Int'l Conf. Natural Computation, Vol.1, pp.517-521, 2007.
  11. V. Vapnik, "Estimation of Dependences Based on Empirical Data," 1st Edition, Springer-Verlag, 1982.
  12. V. Vapnik, "Statistical Learning Theory," Springer, New York.
  13. C. J. C. Burges, "A Tutorial on Support Vector Machines for Pattern Recognition," J. Knowledge Discovery and Data Mining, Vol.2, pp.121-167, 1998. https://doi.org/10.1023/A:1009715923555
  14. J. C. Platt, "Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines," Microsoft Research Technical Report MSR-TR-98-14, 1998.
  15. N. Cristianini and J. Shawe-Taylor, "An Introduction to Support Vector Machines and Other Kernel-based Learning Methods," Cambridge University Press, 2000.
  16. S. Gunn, "Support Vector Machines for Classification and Recognition," ISIS Tech. Rep., 1998.
  17. J. C. Bezdek, J. Keller, R. Krisnapuram, and N. R. Pal, "Fuzzy Models and Algorithms for Pattern Recognition and Image Processing," Kluwer Academic Publishers Norwell, MA, USA, 2005.
  18. S. Krinidis and V. Chatzis, "A Robust Fuzzy Local Information C-Means Clustering Algorithm," IEEE Trans. Image Processing, Vol.19, No.5, pp.1328-1337, 2010. https://doi.org/10.1109/TIP.2010.2040763