대한전자공학회논문지TE (Journal of the Institute of Electronics Engineers of Korea TE)

대한전자공학회 (The Institute of Electronics and Information Engineers)
권호 표지

은닉층 노드의 생성추가를 이용한 적응 역전파 신경회로망의 학습능률 향상에 관한 연구

On the enhancement of the learning efficiency of the adaptive back propagation neural network using the generating and adding the hidden layer node

  • 김은원 (大林大學 電子情報通信學科) ;
  • 홍봉화 (世明大學校 컴퓨터數理情報學科)
  • Kim, Eun-Won (Dept. of Electronic, Information & Communication) ;
  • Hong, Bong-Wha (Dept. of Computer aided mathematical information Science Semyung Univ.)
  • 발행 : 2002.06.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 역전파 신경회로망의 학습능률을 향상시키기 위한 방법으로 발생한 오차에 따라서 학습파라미터와 은닉층의 수를 적응적으로 변경시킬 수 있는 적응 역 전파 학습알고리즘을 제안하였다. 제안한 알고리즘은 역전파 신경회로망이 국소점으로 수렴하는 문제를 해결할 수 있고 최적의 수렴환경을 만들 수 있다. 제안된 알고리즘을 평가하기 위하여 배타적 논리합, 3-패리티 및 7${\times}$5 영문자 폰트의 학습을 이용하였다. 실험결과, 기존에 제안된 알고리즘들에 비하여 국소점에 빠지게 되는 경우가 감소하였고 약 17.6%~64.7%정도 학습능률이 향상하였다.

This paper presents an adaptive back propagation algorithm that its able to enhancement for the learning efficiency with updating the learning parameter and varies the number of hidden layer node by the generated error, adaptively. This algorithm is expected to escaping from the local minimum and make the best environment for the convergence of the back propagation neural network. On the simulation tested this algorithm on three learning pattern. One was exclusive-OR learning and the another was 3-parity problem and 7${\times}$5 dot alphabetic font learning. In result that the probability of becoming trapped in local minimum was reduce. Furthermore, the neural network enhanced to learning efficient about 17.6%~64.7% for the existed back propagation. 

키워드

참고문헌

  1. D .E. Rumelhart, G. E. Hinton & R. J. Williams, Learning internal representations by error propagation, parallel distributed processing, vol. 1, pp. 318-362. MIT Press, 1986
  2. D. E. Rumelhart, J. L. McClelland and the PDP Reserch Group(Eds.), Parallel Distributed Processing : Explorations in the Microstructure of Cognition, vol. 1 and 2, MIT Press, 1986
  3. D. E. Rumelhart, G. E. Hinton, & R. J. Williams, 'Learning representation by back propagation errors', Nature, vol. 323, pp. 533-536, 1986
  4. T. J. Sejnowski, & C. R. Rosenberg, 'Parallel networks that learn to pronounce English text', Complex Systems, vol. 1, pp. 145-168, 1987
  5. Yoh-Han Pao, Adative Pattern Recognition and Neural Networks. Addison Wesley pp. 113-139, 1989
  6. DARPA Neural Network study, AFCEA international press, 1988
  7. James A. Freeman, David M. Skapura, Neural Networks Algorithms, Applications, and Programming Techniques, Addison Wesley pp. 89-125, 1991
  8. Jacek M. Zurada, Introduction to Artificial Neural System, West, pp. 163-248, 1992
  9. 홍봉화, 김은원, 조원경, '역전파 신경회로망에서 은닉층 노드수에 따른 오차 및 적응학습파라미터 의 변화에 관한 연구', 전자공학회논문지, 제38권 TE편, 제1호, 1-10쪽, 2001년 3월
  10. 홍봉화, '적응 역전파 신경회로망의 초기연결강도 설정에 관한 연구', 한국정보기술전략혁신학회 논문지, 제4권 제1호, 71-79쪽, 2001년 3월
  11. R,A Jacobs, 'Increased Rates of Convergence through Learning Rate Adaptation', Neural Networks, vol. 1, pp. 295-307, 1988
  12. Ali A. Minai and Ronald D. Williams, 'Acceleration of back propagation through learning rate momentum adaptation', International Joint Conference on Neural Network, vol. 1, Nagoya Japan, pp. 676-679, Oct ., 1993
  13. Yao Zhang, 'Updating learning rates for back propagation network', International Joint Conference on Neural Networks, vol. 1 Nagoya Japan, pp. 569-572, Oct. 1993
  14. Yoshio Hirose, Koichi Yamashita and Shimpei Hjjiya, 'Back-Propagation algorithm which varies the number of hidden units', IEEE Transaction on Neural Networks, vol. 4, pp 61-66. 1991