Regression Neural Networks for Improving the Learning Performance of Single Feature Split Regression Trees

단일특징 분할 회귀트리의 학습성능 개선을 위한 회귀신경망

In this paper, we propose regression neural networks based on regression trees. We map regression trees into three layered feedforward networks. We put multi feature split functions in the first layer so that the networks have a better chance to get optimal partitions of input space. We suggest two supervised learning algorithms for the network training and test both in single feature split and multifeature split functions. In experiments, the proposed regression neural networks is proved to have the better learning performance than those of the single feature split regression trees and the single feature split regression networks. Furthermore, we shows that the proposed learning schemes have an effect to prune an over-grown tree without degrading the learning performance.

본 논문은 회귀트리에 기반을 둔 회귀 신경망을 제안한다. 회귀트리를 세 개의 계층을 갖는 전향 신경망에 사상하고, 첫 번째 계층에 다중특징 분할함수를 형성시켜 신경망이 보다 더 최적인 입력 공간의 분할을 갖도록 한다. 본 연구에서는 신경망 트레이닝을 위한 두 가지 지도 학습 알고리즘을 제안하여 단일특징 분할함수와 다중특징 분할함수에 실험한다. 실험결과, 제안된 회귀 신경망은 기존의 단일특징 분할 회귀트리 및 단일특징 분할 회귀신경망보다 학습능력이 우수함을 입증한다. 또한 본 논문에서 제안한 알고리즘이 학습 능력을 저하시키지 않으면서도 효과적으로 과성장한 회귀트리를 가지치기 할 수 있음을 보인다.