Principal Feature Extraction on Image Data Using Neural Networks of Learning Algorithm Based on Steepest Descent and Dynamic tunneling

기울기하강과 동적터널링에 기반을 둔 학습알고리즘의 신경망을 이용한 영상데이터의 주요특징추출

This paper proposes an efficient principal feature extraction of the image data using neural networks of a new learning algorithm. The proposed learning algorithm is a backpropagation(BP) algorithm based on the steepest descent and dynamic tunneling. The BP algorithm based on the steepest descent is applied for high-speed optimization, and the BP algorithm based on the dynamic tunneling is also applied for global optimization. Converging to the local minimum by the BP algorithm of steepest descent, the new initial weights for escaping the local minimum is estimated by the BP algorithm of dynamic tunneling. The proposed algorithm has been applied to the 3 image data of 12${\times}$12pixels and the Lenna image of 128${\times}$128 pixels respectively. The simulation results shows that the proposed algorithm has better performances of the convergence and the feature extraction, in comparison with those using the Sanger method and the Foldiak method for single-layer neural networks and the BP algorithm for multilayer neural network.

본 논문에서는 새로운 학습알고리즘의 3층 전향 신경망을 이용한 입력데이터의 주요 특징추출에 대해서 제안하였다. 제안된 학습알고리즘에서에서는 빠른 수렴속도의 최적화가 가능하도록 하기 위하여 기울기하강의 역전파 알고리즘을 이용하고, 국소최적해를 만났을 때 이를 벗어난 새로운 연결가중치의 설정을 위하여 동적터널링의 역전파 알고리즘을 이용함으로써 빠른 수렴속도로 전역최적해로에 수렴되도록 학습시킬 수 있다. 제안된 학습 알고리즘을 이용한 다층신경망을 $12{\times}12$ 픽셀의 영상 데이터들과 $128{\times}128$ 픽셀의 Lenna 영상데이터를 대상으로 시뮬레이션한 결과, 단층신경망을 이용하는 Sanger 방법이나 측면연결을 가지는 단충신경망을 이용하는 Foldiak 방법 및 기울기하강에 기초를 둔 기존의 역전파 알고리즘을 이용한 다층신경망에 의한 결과와 비교할 때 더욱 우수한 수렴성능과 추출성능이 있음을 확인할 수 있었다.