Maximum Epoch for Learning Improvement of Second-Order Recurrent Neural Network Inferring Regular Grammars

이차 순환신경망에서 정규문법의 학습을 위한 최대 epoch 결정

Learning algorithm of SRNN doesn't use analytic maximum epoch, so that its performance is inefficient and its cost is high. In this paper, with the proper maximum epoch, we improve teaming efficiency. We first describe cost function of maximum epoch and computation time theoretically Then, using it, we propose that maximum epoch must be between 400 and 500. Estimated maximum epoch is verified by experiment.

기존의 정규문법 학습에 사용된 이차순환신경망의 학습 알고리즘은 최대 epoch 설정에서 좀더 분석적이지 못하여 학습이 실패한 경우 학습비용의 낭비가 발생하고 학습효율이 낮아진다. 이 논문에서는 학습알고리즘의 미비점을 학습과정에서 발생될 수 있는 상황을 통해 분석하여 적절한 최대 epoch를 정함으로써 학습효율을 향상시키고자 한다. 그러기 위해 정규문법의 학습과정에서 소요되는 계산시간과 최대 epoch의 학습비용함수를 이론적으로 표현하고 이에 따라서 최대 epoch가 400-500일때 최소 비용을 갖게 됨을 보이고 이것을 실험을 통해 확인한다.