DOI QR코드

DOI QR Code

A Study on Handwritten Digit Categorization of RAM-based Neural Network

RAM 기반 신경망을 이용한 필기체 숫자 분류 연구

  • 박상무 (울산대학교 전기공학부) ;
  • 강만모 (울산대학교 전기공학부) ;
  • 엄성훈 (영산대학교 자유전공학부)
  • Received : 2012.04.24
  • Accepted : 2012.06.08
  • Published : 2012.06.30

Abstract

A RAM-based neural network is a weightless neural network based on binary neural network(BNN) which is efficient neural network with a one-shot learning. RAM-based neural network has multiful information bits and store counts of training in BNN. Supervised learning based on the RAM-based neural network has the excellent performance in pattern recognition but in pattern categorization with unsupervised learning as unsuitable. In this paper, we propose a unsupervised learning algorithm in the RAM-based neural network to perform pattern categorization. By the proposed unsupervised learning algorithm, RAM-based neural network create categories depending on the input pattern by itself. Therefore, RAM-based neural network for supervised learning and unsupervised learning should proof of all possible complex models. The training data for experiments provided by the MNIST offline handwritten digits which is consist of 0 to 9 multi-pattern.

RAM 기반 신경망은 2진 신경망(Binary Neural Network, BNN)에 복수개의 정보 저장 비트를 두어 교육의 반복 횟수를 누적하도록 구성된 가중치를 가지지 않는(weightless) 신경회로망으로서 한 번의 교육만으로 학습이 이루어지는 효율성이 뛰어난 신경회로망이다. 지도 학습에 기반을 둔 RAM 기반 신경망은 패턴 인식 분야에는 우수한 성능을 보이는 반면, 비지도 학습에 의해 패턴을 구분해야 하는 범주화 연구에는 적합하지 않은 모델로 분류된다. 본 논문에서는 비지도 학습 알고리즘을 제안하여 RAM 기반 신경망으로 패턴 범주화를 수행한다. 제안된 비지도 학습 알고리즘에 의해 RAM 기반 신경망은 입력 패턴에 따라 자율 학습하여 스스로 범주를 생성할 수 있으며, 이를 통해 RAM 기반 신경망이 지도 학습과 비지도 학습이 모두 가능한 복합 모델임을 증명한다. 실험에 사용한 학습 패턴으로는 0에서 9까지의 오프라인 필기체 숫자로 구성된 MNIST 데이터베이스를 사용하였다.

Keywords

References

  1. M. A. Arbib, "Brains, Machines and Mathematics", Springer Verlag, 1987.
  2. Amary and Mori, "Introduction to Neural Network", Treecaps WS, 1991.
  3. I. Aleksander and T. J. Stonham, "Adaptive logic for artificiallly intelligent system", The Radio and Electronic Engineer, Vol. 44, 1974.
  4. I. Aleksander and T. J. Stonham, "Guide to pattern recognition using random-access memories", Computers and Digital Techniques, Vol. 2, pp. 29-40, 1979. https://doi.org/10.1049/ij-cdt.1979.0009
  5. I. Aleksander and H. Morton, "An Introduction to Neural computing", Chapman & Hall, 1990.
  6. I. Aleksander, Thomas W. V., Bowden P. A., "WISARD a radical step forward in image recognition.", Sensor Review, pp. 120-124, July 1984.
  7. W. W. Bledsoe and C.L. Bisson, "Improved memory matrices for the N-tuple pattern recognition method", I.R.E. Transactions Vol. EC-11, pp.414-415, 1962.
  8. Young Chul Kwon, "Experience Sensitive Binary Neural Network", Ph. D Thesis, Ulsan University, 1995.
  9. Dong Hyoung Lee, Sang Moo Park, Young Chul Kwon, Soo Dong Lee, "Experience Sensitive Binary Neural Network", ITC-CSCC'98, Vol. II , pp.1049-1052, 1998.
  10. Sung Jin Kim, Young Chul Kwon, Soo Dong Lee, "Experience Sensitive Cumulative Neural Network using RAM", IEEK Journal, Vol. 41, CI, 2004. 3.