HMM Topology Optimization using HBIC and BIC_Anti Criteria

This paper concerns continuous density HMM topology optimization. There have been several researches for HMM topology optimization. BIC (Bayesian Information Criterion) is one of the well known optimization criteria, which assumes statistically well behaved homogeneous model parameters. HMMs, however, are composed of several different kind of parameters to accommodate complex topology, thus BIC's assumption does not hold true for HMMs. Even though BIC reduced the total number of parameters of HMMs, it could not improve the recognition rates. In this paper, we proposed two new model selection criteria, HBIC (HMM-oriented BIC) and BIC_Anti. The former is proposed to improve BIC by estimating model priors separately. The latter is to combine BIC and anti-likelihood to accelerate discrimination power of HMMs. We performed some comparative research on couple of model selection criteria for online handwriting data recognition. We got better recognition results with fewer number of parameters.

HBIC와 BIC_Anti 기준을 이용한 HMM 구조의 최적화

본 논문에서는 연속 밀도 HMM 구조의 최적화 문제를 다룬다. HMM 구조의 최적화를 위해 여러 연구가 있었는데, 그 중에서도 잘 알려진 BIC(Bayesian Information Citerion)등과 같이 이미 제안된 모델 선택 기준은 동질의 파라미터를 갖는 데이타에 대해 통계적으로 잘 행동하는 모델을 가정하고 있어서 연속 밀도 HMM 등과 같이 복잡한 파라미터를 갖는 구조에는 적합하지 않고, 파라미터 수를 줄이는데는 어느 정도 효과가 있었으나 인식률 향상에 있어서는 한계를 보였다. 이에 본 논문에서는 HMM의 파라미터 유형에 따라 별도의 확률 밀도를 추정하여 사전 모델 확률(a priori model probability)로 사용하는 모델 선택 기준인 HBIC(HMM-oriented BIC)를 제안했다. 또한 HMM의 변별력을 높이기 위해 변별력 특성을 갖는 안티확률을 BIC와 결합한 새로운 모델 선택 기준인 BIC_Anti를 제안했다. 제안한 모델 선택 기준의 유용성을 검증하기 위해 온라인 필기 데이타를 대상으로 실험하여 기존의 연구와 비교하였다. 그 결과 제안한 HBIC와 BIC_Anti 모델 선택 기준을 사용하는 것이 BIC를 사용하는 것보다 더 적은 파라미터 수로도 향상된 인식률을 얻을 수 있음을 확인했다.