Abstract
The general solution for classification and regression problems can be found by matching and modifying matrices with the information in real world and then these matrices are teaming in neural networks. This paper treats primary space as a real world, and dual space that Primary space matches matrices using kernel. In practical study, there are two kinds of problems, complete system which can get an answer using inverse matrix and ill-posed system or singular system which cannot get an answer directly from inverse of the given matrix. Further more the problems are often given by the latter condition; therefore, it is necessary to find regularization parameter to change ill-posed or singular problems into complete system. This paper compares each performance under both classification and regression problems among GCV, L-Curve, which are well known for getting regularization parameter, and kernel methods. Both GCV and L-Curve have excellent performance to get regularization parameters, and the performances are similar although they show little bit different results from the different condition of problems. However, these methods are two-step solution because both have to calculate the regularization parameters to solve given problems, and then those problems can be applied to other solving methods. Compared with UV and L-Curve, kernel methods are one-step solution which is simultaneously teaming a regularization parameter within the teaming process of pattern weights. This paper also suggests dynamic momentum which is leaning under the limited proportional condition between learning epoch and the performance of given problems to increase performance and precision for regularization. Finally, this paper shows the results that suggested solution can get better or equivalent results compared with GCV and L-Curve through the experiments using Iris data which are used to consider standard data in classification, Gaussian data which are typical data for singular system, and Shaw data which is an one-dimension image restoration problems.
분류 및 회계문제에서의 일반적인 해법은, 현실 세계에서 얻은 정보를 행렬로 사상하거나, 이진정보로 변형하는 등 주어진 데이타의 가공과 이를 이용한 학습에서 찾을 수 있다. 본 논문은 현실세계에 존재하는 순수한 데이타를 근원공간이라 칭하며, 근원 데이타가 커널에 의해 사상된 행렬을 이원공간이라 한다. 근원공간 혹은 이원공간에서의 분류문제는 그 역이 존재하는 문제 즉, 완전해가 존재하는 문제와, 그 역이 존재하지 않거나, 역의 원소 값들이 무한히 커지는 불량조건 흑은 특이조건인 두 가지 형태로 존재한다. 특히, 실제 문제에 있어서 완전 해를 가진 문제이기 보다는 후자에 가까운 형태로 나타나게 된다. 결론적으로 근원데이타나 이원데이타를 이용한 문제를 해결하기 위해서는 많은 경우에 완전 해를 갖는 문제로 변형시키는 정규화과정이 필요하다. 본 논문에서는 이러한 정규화 인수를 찾는 문제를 기존의 GCV, L-Curve, 그리고 이원공간에서의 데이타를 RBF 신경회로망에 적용시킨 커널 학습법에 대한 각각의 성능을 비교실험을 통해 고찰한다. GCV와 L-Curve는 정규화 인수를 찾는 대표적인 방법으로 두 방법 모두 성능면에서 동등하며 문제의 조건에 따라 다소 차이를 보인다. 그러나 이러한 두 방법은 문제해를 구하기 위해서는 정규화 인수를 구한후 문제를 재정의하는 이원적인 문제해결이라는 취약점을 갖는다. 반면, RBF 신경회로망을 이용한 방법은 정규화 인수와 해를 동시에 학습하는 단일화된 방법이 된다. 이때 커널을 이용한 학습법의 성능을 향상하기 위해, 전체학습과 성능의 제한적 비례관계라는 설정아래, 각각의 학습에 따라 능동적으로 변화하는 동적모멘텀의 도입을 제안한다. 동적모멘트는 바이어스 학습을 포함한 방법과 포함하지 않은 방법에 각각 적용분석하였다. 끝으로 제안된 동적모멘텀이 분류문제의 표준인 Iris 데이터, Singular 시스템의 대표적 모델인 가우시안 데이타, 그리고 마지막으로 1차원 이미지 복구문제인 Shaw데이타를 이용한 각각의 실험에서 분류문제와 회계문제 양쪽 모두에 있어 기존의 GCV, L-Curve와 동등하거나 우수한 성능이 있음을 보인다.