Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

An Information Geometrical Approach on Plateau Problems in Multilayer Perceptron Learning

다층 퍼셉트론 학습의 플라토 문제에 대한 정보기하 이론적 접근

  • Published : 1999.04.01

⟨ Previous Next ⟩

Abstract

다층 퍼셉트론은 다양한 응용 분야에 성공적으로 적용되고 있는 대표적인 신경회로망 모델이다. 그러나 다층 퍼셉트론의 학습에 사용되는 오류역전파 알고리즘으로 알려진 기울기 강하 학습법은 느린 수렴속도로 인해 실시간 처리가 요구되거나 시간에 따라 환경이 변하는 문제에의 적용이 불가능하다. 이러한 느린 수렴속도는 기울기 강하법을 사용한 학습과정에서의 오차함수의 기울기 변화가 극히 적어 오차의 감소가 거의 일어나지 않는 부분인 플라토에 기인하는 것으로 알려져있다. 본 논문에서는 정보기하이론의 관점에서 기존의 학습법에 사용되는 기울기의 이론적 문제를 지적하고, 그로부터 플라토 문제의 원인을 밝힌다. 또한 이를 바탕으로 정보기하이론에 의해 새롭게 정의되는 자연 기울기를 이용한 학습법을 제시하고, 이를 이용한 플라토 문제가 문제해결의 가능성을 분석적으로 고찰하고 실험을 통해 확인한다.

Keywords

References

  1. Physical Review Letters v.74 Exact Solution for On-Line Learning in Multilayer Neural Networks D.Saad;A.Solla
  2. Advances in Neural Information Processing Systems v.8 Adaptive Back-Propagation in On-Line Learning of Multilayer Networks A.West;D.Saad
  3. Neural Networks for Pattern Recognition C.M.Bishop
  4. Fundamentals of Artificial Neural Networks M.Hassoun
  5. Neural Networks v.8 Information Geometry of the EM and em Algorithm for Neural Networks S.Amari
  6. IEEE Trans. on Neural Networks v.3 Information Geometry of Boltzmann Machines S.Amari;K.Kurata;H.Nagaoka
  7. Advanced in Neural Information Processing Systems v.9 Neural Learning in Structured Parameter Spaces - Natural Riemannian Gradient S.Amari
  8. Neural Computation v.10 Natural Gradient Works Efficiently in Learning S.Amari
  9. Neural Computing Research Group Technical Report Incorporating Curvature Information into On-line Learning M.Rattery;D.Saad
  10. IEEE trans. on Neural Network Natural Gradient Descent for Training Multi-Layer Perceptrons H.Yang;S.Amari