Journal of the Korean Institute of Telematics and Electronics C (전자공학회논문지C)
- Volume 36C Issue 6
- /
- Pages.44-51
- /
- 1999
- /
- 1226-5853(pISSN)
An Empiricl Study on the Learnign of HMM-Net Classifiers Using ML/MMSE Method
ML/MMSE를 이용한 HMM-Net 분류기의 학습에 대한 실험적 고찰
- Kim, Sang-Woon (Dept. of Computer Science & Eng., Myongji Univ.) ;
- Shin, Seong-Hyo (Dept. of Computer Science & Eng., Myongji Univ.)
- Published : 1999.06.01
Abstract
The HMM-Net is a neural network architecture that implements the computation of output probabilities of a hidden Markov model (HMM). The architecture is developed for the purpose of combining the discriminant power of neural networks with the time-domain modeling capability of HMMs. Criteria of maximum likehood(ML) and minimization of mean squared error(MMSE) are used for learning HMM-Net classifiers. The criterion MMSE is better than ML when initial learning condition is well established. However Ml is more useful one when the condition is incomplete[3]. Therefore we propose an efficient learning method of HMM-Net classifiers using a hybrid criterion(ML/MMSE). In the method, we begin a learning with ML in order to get a stable start-point. After then, we continue the learning with MMSE to search an optimal or near-optimal solution. Experimental results for the isolated numeric digits from /0/ to /9/, a training and testing time-series pattern set, show that the performance of the proposed method is better than the others in the respects of learning and recognition rates.
HMM-Net은 은닉 마르코프 모델(HMM)의 계산과정을 신경망 구조로 구현한 것으로, HMM이 갖고 있는 시계열 모델링 능력과 신경망이 갖고 있는 우수한 변별력을 결합한 것이다. HMM-Net 분류기를 학습하는 방법으로는 HMM의 학습에 이용되는 最尤法(ML)과 신경망 학습의 最小二乘誤差法(MMSE)를 적용할 수 있다. 이들 중 ML이 MMSE보다 안정된 학습을 보장하는 반면 초기 학습조건을 적절하게 설정하였을 경우에는 MMSE가 ML보다 우수하다고 알려져 있다[3]. 따라서 이 논문에서는 먼저 ML을 이용하여 초기학습을 수행한 다음 보다 학습성능이 우수한 MMSE로 바꾸어 최적 또는 준최적으로 학습하는 하이브리드 학습법(ML/MMSE)을 제안한다. 실험용 시계열 패턴으로 /0/부터 /9/까지의 고립 숫자음을 이용하여 실험한 결과, 제안한 방법이 학습특성 및 인식률면에서 ML이나 MMSE만을 이용하는 기존의 방법보다 우수하였음을 확인하였다.
Keywords