Improving the Performance of Decision Boundary Feature Extraction for Neural Networks by Calculating Normal Vector of Decision Boundary Analytically

In this paper, we present an analytical method for decision boundary feature extraction for neural networks. It has been shown that all the features necessary to achieve the same classification accuracy xxxas in the original space can be obtained from the vectors normal to decision boundaries. However, the vector normal to the decision boundary of a neural network has been calculated numerically using a gradient approximation. This process is time-consuming and the normal vector may be inaccurately estimated. In this paper, we propose a method to improve the performance of the previous decision boundary feature extraction for neural networks by accurately calculating the normal vector When the normal vectors are computed analytically, it is possible to reduce the processing time significantly and improve the performance of the previous implementation that employs numerical approximation.

결정경계 수직벡터의 해석적 계산을 통한 신경망 결정경계 특징추출 알고리즘의 성능 개선

본 논문에서는 결정경계(decision boundary)를 이용한 신경망의 특징추출을 해석적으로 구현할 수 있는 방법을 제안한다. 최근 발표된 신경망의 결정경계 기반의 특징추출 방법은 기존의 특징추출 방법보다 우수한 성능을 보여 주었다. 이러한 결정경계 특징추출 방법은 패턴 분류기(pattern classifier)의 결정경계에 수직한 벡터가 패턴 클래스(class)간을 분류하는데 유용한 정보를 포함한다는 사실을 기반으로 원래의 데이터로부터 분류에 필요한 정보들만을 추출하게 된다. 그러나 기존의 결정경계 특징추출 알고리즘은 신경망 결정경계의 수직벡터를 구하기 위해 결정경계의 변화율(gradient) 근사 방법을 사용하였다. 그 결과 결정경계 수직벡터가 부정확하게 계산될 가능성이 있고 계산 시간이 길어지는 문제점이 존재한다. 본 논문에서는 이러한 문제점을 해결하기 위해 수직벡터를 하나의 방정식으로부터 해석적으로 계산하는 방법을 제안한다. 제안된 방법을 원격탐사 데이터의 패턴분류에 적용하여 그 성능을 확인한 결과 특징추출에 필요한 연산 시간을 대폭 줄일 수 있고 또한 더 향상된 특징추출 성능을 얻음을 확인하였다.