The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Guassian pdfs Clustering Using a Divergence Measure-based Neural Network

발산거리 기반의 신경망에 의한 가우시안 확률 밀도 함수의 군집화

  • Published : 2004.05.01
Download PDF
⟨ Previous Next ⟩

Abstract

An efficient algorithm for clustering of GPDFs(Gaussian Probability Density Functions) in a speech recognition model is proposed in this paper. The proposed algorithm is based on CNN with the divergence as its distance measure and is applied to a speech recognition. The algorithm is compared with conventional Dk-means(Divergence-based k-means) algorithm in CDHMM(Continuous Density Hidden Markov Model). The results show that it can reduce about 31.3％ of GPDFs over Dk-means algorithm without suffering any recognition performance. When compared with the case that no clustering is employed and full GPDFs are used, the proposed algorithm can save about 61.8％ of GPDFs while preserving the recognition performance.

음성인식 모델상의 GPDFs(Gaussian Probability Density Functions)을 효율적으로 군집화 할 수 있는 알고리즘이 제안되었다. 제안된 알고리즘은 데이터 사이의 거리 척도로 발산 거리를 사용하는 새로운 형태의 CNN(Centroid Neural Network)으로, 제한된 자원을 가지는 H/W환경의 음성인식에서 메모리 사용량을 축소하는 응용에 대한 실험 결과, 음성인식 모델인 CDHMM(Continuous Density Hidden Markov Model)에서 기존의 Dk-means(Divergence-based k-means)알고리즘을 이용한 방법과 비교하여 인식 성능의 유지와 함께 약 31.3％의 GPDFs를 더 축소할 수 있었고, 군집화 알고리즘을 적용하지 자은 전체 GPDFs를 사용한 경우와 비교해서 인식 성능의 유지와 함께 약 61.8％의 GPDFs를 압축할 수 있었으며, SNR 10㏈ 잡음 데이터에 대한 성능평가에서도 인식 성능이 유지될 수 있었다.

Keywords

References

  1. Proc. ICASSP-02 v.1 Efficient reduction of gaussian component using MDL criterion for HMM-based speech recognition K.Shinoda;K.Iso
  2. Proc. ICASSP-95 v.1 High speed speech recognition using tree structured probability density function T.Watanabe;K.Shinodaand;K.Takagi;K.Iso
  3. Proc. ICASSP-00 v.3 An optimal Bhattacharyya centroid algorithm for Gaussian clustering with applications in automatic speech recognition L.Rigazio;B.Tsakam;J.Junqua
  4. IEEE Trans. on Neural Network v.11 no.2 Centroid Neural Network for Unsupervised Competitive Learning Dong Chul Park https://doi.org/10.1109/72.839021
  5. IEEE Trans. on Pattern Analysis and Machine Intelligence v.24 Information Theoretic Clustering E.Gokcay;J.Principe https://doi.org/10.1109/34.982897
  6. Introduction to Statistical Pattern Recognition(2nd ed.) K.Fukunage