A Robust Backpropagation Algorithm and It's Application

문자인식을 위한 로버스트 역전파 알고리즘

Function approximation from a set of input-output pairs has numerous applications in scientific and engineering areas. Multilayer feedforward neural networks have been proposed as a good approximator of nonlinear function. The back propagation(BP) algorithm allows multilayer feedforward neural networks to learn input-output mappings from training samples. It iteratively adjusts the network parameters(weights) to minimize the sum of squared approximation errors using a gradient descent technique. However, the mapping acquired through the BP algorithm may be corrupt when errorneous training data we employed. When errorneous traning data are employed, the learned mapping can oscillate badly between data points. In this paper we propose a robust BP learning algorithm that is resistant to the errorneous data and is capable of rejecting gross errors during the approximation process, that is stable under small noise perturbation and robust against gross errors.

공학 분야에서 신경망에 대한 관심은 신호처리, 로보틱스, 컨트롤, 문자인식, 패턴인식 그리고 컴퓨터 그래픽 분야등에서 연구되고 있으며, 이들은 함수근사응용과 밀접한 관련이있다. 통계학 분야에서는 패턴인식의 판별분석, 주성분분석, 회귀분석 그리고 군집분석을 위한 신경망등에 대한 연구가 활발히 이루어지고 있다. 문자인식을 위한 다층 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있으나 이 알고리즘은 긴 훈련기간, 극소점 문제, 이상치(outlier)에 민감하다는 단점을 지니고 있다. 이상치에 민감한 일반적인 역전파 알고리즘의 단점을 극복하기 위해 이상치에 민감하지 않은 로버스트 알고리즘의 필요성이 대두되었다. 본 논문에서는 통계물리에서 자주 사용하는 방법을 이용하여 제안한 로버스트 역전파 알고리즘을 문자인식에 적용하여 일반적인 역전파 알고리즘의 문자인식 성능과 비교하였다.