Performance and Root Mean Squared Error of Kernel Relaxation by the Dynamic Change of the Moment

모멘트의 동적 변환에 의한 Kernel Relaxation의 성능과 RMSE

This paper proposes using dynamic momentum for squential learning method. Using The dynamic momentum improves convergence speed and performance by the variable momentum, also can identify it in the RMSE(root mean squared error). The proposed method is reflected using variable momentum according to current state. While static momentum is equally influenced on the whole, dynamic momentum algorithm can control the convergence rate and performance. According to the variable change of momentum by training. Unlike former classification and regression problems, this paper confirms both performance and regression rate of the dynamic momentum. Using RMSE(root mean square error ), which is one of the regression methods. The proposed dynamic momentum has been applied to the kernel adatron and kernel relaxation as the new sequential learning method of support vector machine presented recently. In order to show the efficiency of the proposed algorithm, SONAR data, the neural network classifier standard evaluation data, are used. The simulation result using the dynamic momentum has a better convergence rate, performance and RMSE than those using the static moment, respectively.

본 논문에서는 순차적 학습 방법에서의 동적 모멘트를 제안한다. 동적 모멘트에서의 가변적인 모멘트를 이용하여 수렴 속도와 학습 성능을 향상시키며 회귀율에서도 이를 확인할 수 있다 제안된 학습 방법은 기존의 정적모멘트와는 달리 수렴 정도에 따라 현재의 학습에 과거의 학습률을 달리 반영하는 방법이다. 기존의 정적 상수로 정의된 모멘트가 전체 학습에 동등하게 영향을 주는 반면 제안된 동적모멘트를 이용한 학습 방법은 학습 수행에 따라 동적으로 모멘트를 변경함으로써 수렴 속도와 학습 성능을 효과적으로 제어할 수 있다. 이전의 분류문제와 회귀문제의 분리확인과는 달리 본 논문에서는 제안된 동적모멘트의 성능과 회귀율을 동시에 확인한다. 본 논문에서 사용한 회귀방법은 RMS 오류율을 사용하였으며 제안된 학습방법인 동적모멘트를 SVM(Support Vector Machine)의 순차 학습방법인 KA(Kernel Adatron)과 KR(Kernel Relaxation)에 적용하여 RMS 오류율을 확인하였다. 공정한 학습 성능 평가를 위해 신경망 분류기표준평가데이터인 SONAR 데이터를 이용하였으며 실험 결과 동적모멘트를 이용한 학습 성능과 수렴 속도 및 RMS 오류율이 정적모멘트를 이용한 학습방법보다 향상되었음을 확인하였다.