Homogeneous Centroid Neural Network에 의한 Tied Mixture HMM의 군집화

Clustering In Tied Mixture HMM Using Homogeneous Centroid Neural Network

  • 박동철 (명지대학교 정보공학과 지능컴퓨팅 연구실) ;
  • 김우성 (호서대학교 컴퓨터공학부)
  • 발행 : 2006.09.01

초록

음성인식에서 TMHMM(Tied Mixture Hidden Markov Model)은 자유 매개변수의 수를 감소시키기 위한 좋은 접근이지만, GPDF(Gaussian Probability Density Function) 군집화 오류에 의해 음성인식의 오류를 발생시켰다. 본 논문은 TMHMM에서 발생하는 군집화 오류를 최소화하기 위하여 HCNN(Homogeneous Centroid Neural Network) 군집화 알고리즘을 제안한다. 제안된 알고리즘은 CNN(Centroid Neural Network)을 TMHMM상의 음향 특징벡터에 활용하였으며, 다른 상태에 소속된 확률밀도가 서로 겹쳐진 형태의 이질군집 지역에 더 많은 코드벡터를 할당하기 위해서 본 논문에서 새로 제안이 제안되는 이질성 거리척도를 사용 하였다. 제안된 알고리즘을 한국어 고립 숫자단어의 인식문제에 적용한 결과, 기존 K-means 알고리즘이나 CNN보다 각각 14.63%, 9,39%의 오인식률의 감소를 얻을 수 있었다.

TMHMM(Tied Mixture Hidden Markov Model) is an important approach to reduce the number of free parameters in speech recognition. However, this model suffers from a degradation in recognition accuracy due to its GPDF (Gaussian Probability Density Function) clustering error. This paper proposes a clustering algorithm, called HCNN(Homogeneous Centroid Neural network), to cluster acoustic feature vectors in TMHMM. Moreover, the HCNN uses the heterogeneous distance measure to allocate more code vectors in the heterogeneous areas where probability densities of different states overlap each other. When applied to Korean digit isolated word recognition, the HCNN reduces the error rate by 9.39% over CNN clustering, and 14.63% over the traditional K-means clustering.

키워드

참고문헌

  1. Liu, Y. and Fung, P., 'State dependent phonetic tied mixtures with pronunciation modeling for spontaneous speech recognition,' IEEE Tr. on ASSP, vol.14, issue. 1, pp. 89-102, Jul. 2004
  2. Rigazio, L., Tsakam B., and Junqua J., 'An optimal Bhattacharyya centroid algorithm for Gaussian clustering with applications in automatic speech recognition,' Proc. of ICASSP, vol.3, pp. 1599-1602, 2000
  3. Dermatas, E. and Kokkinakis, G., 'Algorithm for clustering continuous density HMM by recognition error', IEEE Tr. on ASSP, vol.4, pp231-234, May. 1996
  4. Park, D.C., Kwon, D.H., and Suk, M., 'Clustering of Gaussian Probability Density Functions Using Centroid Neural Networks,' IEE Electronic Letters, vol 49, no.4, pp.381-382, Feb 2003
  5. Park, D.C., 'Centroid Neural Network for Unsupervised Competitive Learning', IEEE Tr. on Neural Networks, vol. 11, no.2, pp520-528, Mar. 2000 https://doi.org/10.1109/72.839021
  6. 박동철, 우영준, '신경망에의한 테두리를 보존하는 영상압축,' 한국통신학회 논문지, 24권, 10B호, pp. 1946-1952, 1999