Information and Communications Magazine (정보와 통신)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

심층 신경망의 발전 과정과 이해

  • Published : 2016.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

본고에서는 최근 활발하게 연구되고 있는 심층 학습에 대하여 알아본다. 기계 학습 분야 중 하나인 심층 학습은 인공 신경망의 한 형태인 심층 신경망을 통해 구현된다. 심층 신경망은 기존 다층 신경망의 구조와 거의 유사한 학습 구조를 가지지만, 학습 과정에서 발생하는 부정확한 학습 문제를 해결함으로써 최근의 성공을 이끌어낼 수 있었다. 본고에서는 다층 신경망이 가지고 있던 문제점들을 심층 신경망에서 어떻게 극복하였는지 심층 신경망의 발전 과정을 통해 알아보고, 기계 학습의 기본개념을 바탕으로 이를 설명하여 비전문가들의 이해를 돕고자 하였다.

Keywords

References

  1. Arel I., Rose D. C., and Karnowski T. P. "Deep Machine Learning-A New Frontier in Artificial Intelligence Research," IEEE Comput. Intell. Mag. Vol. 5, No. 4, pp. 13-18, 2010.
  2. Rosenblatt, F. "The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain". Psychol. Rev. Vol. 65 No. 6, pp. 386-408, 1958. https://doi.org/10.1037/h0042519
  3. Rosenblatt, F. "The Perceptron--a perceiving and recognizing automaton," Report 85-460-1, Cornell Aeronautical Lab., 1957.
  4. Minsky, M. and Papert S. Perceptrons: An Introduction to Computational Geometry. MIT Press, 1969.
  5. Werbos P. "Beyond regression: New tools for prediction and analysis in the behavioral sciences," PhD thesis, Harvard University, 1974.
  6. Hochreiter S., Bengio Y., Frasconi P., and Schmidhuber J. "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies," A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press, 2001.
  7. Hinton G. E., Osindero S. and Teh, Y. "A fast learning algorithm for deep belief nets," Neural Comput. Vol. 18, No. 7, pp. 1527-1554, 2006. https://doi.org/10.1162/neco.2006.18.7.1527
  8. Dahl G. E., Sainath T. N. and Hinton G. E. "Improving Deep Neural Networks for LVCSR using Rectified Linear Units and Dropout," IEEE Int. Conf. Acoustics, Speech and Signal Processing, pp. 8609-8613, Vancouver, Canada, May 2013.
  9. Krizhevsky A., Sutskever I. and Hinton, G. E. "ImageNet Classification with Deep Convolutional Neural Networks," Neural Information Processing Systems, pp. 1097-1105, Lake Tahoe, USA, Dec 2012.