Learning of the Recurrent Neural Networks with Addition Feedback Connections and Application to the Recognition of Korean Spoken Digits

附加的인 Feedback 연결을 가진 循環神經回路網의 學習과 韓國語 숫자음 認識에의 應用

We propose a new learning method of recurrent neural networks as an effort to solve local minima problem. In this method the network with fixed connection weights is run for a given period time under given time-variant external inputs and initial conditions. The weights are changed in the direction that the total error is maximally decreased by using the steepest gradient method. If the obtained error is not sufficiently small even after iterating this procedure, additional feedback connections are introduced. Then, the external input signal is redefined. And we execute experiments on the recognition of Korean spoken digits as an application of the proposed network.

본 논문에서는 기존의 循環神經回路網에서의 學習性能을 개선하고 局部최소해 문제를 해결하기 위한 노력의 일환으로서 附加적인 피드백 연결을 가진 순환신경회로망과 그 학습 알고리듬을 제안하였다. 이 방법에서는 회로망은 한번 반복하는동안 고정된 연결 가중치를 가지고, 주어진 時變人力과 初期條件下에서 주어진 週期동안 동작한다. 가중치는 最急降下法에 의해 총에너지가 가장 많이 감소하는 방향으로 변화된다. 만일 이러한 과정을 일정 반복횟수동안 수행한 후에도 에너지가 충분히 감소하지 않으면, 附加적인 피드백 연결이 도입되고 회로망의 외부입력이 주어진 식에 따라 다시 정의된다. 또한 제안된 회로망의 응용으로서 한국어 숫자음 인식에 대한 실험을 행하였다.