Bayesian Model for Probabilistic Unsupervised Learning

확률적 자율 학습을 위한 베이지안 모델

  • 최준혁 (김포대학 컴퓨터계열) ;
  • 김중배 (한국전자통신연구원 컴퓨터·소프트웨어 기술연구소) ;
  • 김대수 (한신대학교 컴퓨터학과) ;
  • 임기욱 (선문대학교 산업공학과)
  • Published : 2001.12.01

Abstract

GTM(Generative Topographic Mapping) model is a probabilistic version of the SOM(Self Organizing Maps) which was proposed by T. Kohonen. The GTM is modelled by latent or hidden variables of probability distribution of data. It is a unique characteristic not implemented in SOM model, and, therefore, it is possible with GTM to analyze data accurately, thereby overcoming the limits of SOM. In the present investigation we proposed a BGTM(Bayesian GTM) combined with Bayesian learning and GTM model that has a small mis-classification ratio. By combining fast calculation ability and probabilistic distribution of data of GTM with correct reasoning based on Bayesian model, the BGTM model provided improved results, compared with existing models.

Bishop이 제안한 Generative Topographic Mapping(GTM)은 Kohonen이 제안한 자율 학습 신경망인 Self Organizing Maps(SOM)의 확률 버전이다. GTM은 데이터가 생성되는 확률 분포를 잠재 변수, 혹은 은닉 변수를 사용하여 모형화한다. 이것은 SOM에서는 구현될 수 없는 GTM만의 특징이며, 이러한 특징으로 인하여 SOM의 한계들을 극복할 수 있게 된다. 본 논문에서는 이러한 GTM 모형에 베이지안 학습(Bayesian learning)을 결합하여 작은 오분류율을 가지는 분류 알고리즘인 베이지안 GTM(Bayesian GTM)을 제안한다. 이 알고리즘은 기존의 GTM의 빠른 계산 처리 능력과 데이터에 대한 확률 분포, 그리고 베이지안 추론의 정확성을 이용하여 기존의 분류 알고리즘보다 우수한 결과를 얻게 된다. 본 논문에서는 기존의 분류 알고리즘에서 많이 실험하였다. 학습 데이터를 통하여 이를 확인하였다.

Keywords

References

  1. Neural Networks for Pattern Recognition Bishop, C. M.
  2. Proceedings 1996 International Conference on Artificial Neural Networks;ICANN 96 v.1112 GTM: a Principled Alternative to the Self Organizing Map Bishop, C. M.;Svensen, M.;Williams, C. K. I.
  3. Bayesian Data Analysis Gelman, A.;Carlin, J. B.;Stern. H. S.;Rubin, D. B.
  4. Self-Organizing Maps Teuvo Kohonen
  5. Bayesian Learning for Neural Networks Neal, R. M.
  6. Pattern Recognition with Neural Networks in C++ Abhijit S. Pandya;Robert B. Macy
  7. Pattern Recognition and Neural Networks Ripley, B. D.
  8. Tools for Statistical inference Martin A. Tanner
  9. Bayesian Learning for Neural Networks R. M. Neal
  10. Bayesian Methods Thomas Leonard;John S. J. Hsu
  11. UCI Machine Learning Repository UCI