A Novel Global Minimum Search Algorithm based on the Geodesic of Classical Dynamics Lagrangian

고전 역학의 라그랑지안을 이용한 미분 기하학적 global minimum 탐색 알고리즘

뉴럴네트워크에서 학습은 에러를 줄이는 방법으로 구현 된다. 이 때 parameter 공간에서 Risk function은 multi-minima potential로 표현 될 수 있으며 우리의 목적은 global minimum weight 좌표를 얻는 것이다. 이전의 연구로는 Attouch et al.의 damped oscillator 방정식을 이용한 방법이 있고, Qian의 critically damped oscillator를 통한 steepest descent의 momentum과 learning parameter 유도가 있다. 우리는 이 두 연구를 참고로 manifold 상에서 최단 경로인 geodesic을 Newton 역학의 Lagrangian에 적용함으로써 adaptive steepest descent 학습법을 얻었다. 우리는 이 새로운 방법을 Rosenbrock 과 Griewank 포텐셜들에 적용하여 그 성능을 알아 본다.