Multiple Classifier Fusion Method based on k-Nearest Templates

k-최근접 템플릿기반 다중 분류기 결합방법

  • 민준기 (연세대학교 컴퓨터과학과) ;
  • 조성배 (연세대학교 컴퓨터과학과)
  • Published : 2008.06.15

Abstract

In this paper, the k-nearest templates method is proposed to combine multiple classifiers effectively. First, the method decomposes training samples of each class into several subclasses based on the outputs of classifiers to represent a class as multiple models, and estimates a localized template by averaging the outputs for each subclass. The distances between a test sample and templates are then calculated. Lastly, the test sample is assigned to the class that is most frequently represented among the k most similar templates. In this paper, C-means clustering algorithm is used as the decomposition method, and k is automatically chosen according to the intra-class compactness and inter-class separation of a given data set. Since the proposed method uses multiple models per class and refers to k models rather than matches with the most similar one, it could obtain stable and high accuracy. In this paper, experiments on UCI and ELENA database showed that the proposed method performed better than conventional fusion methods.

본 논문에서는 다중 분류기를 효과적으로 결합하기 위하여 k-최근접 템플릿방법을 제안한다. 이는 하나의 클래스를 여러개의 템플릿으로 모델링하기 위하여 분류기의 출력값을 기반으로 각 클래별 학습 샘플들을 여러개의 하위클래스로 분해하고, 각 하위클래스별 분류기 출력값의 평균을 계산하여 지역화된 템플릿을 생성한다. 그 뒤 평가샘플과 각 템플릿간의 거리를 계산하고, k개의 최근접 템플릿들 중 가장 많은 비율을 차지하는 클래스로 평가샘플을 분류한다. 본 논문에서는 클래스 분해를 위해 C-means 클러스터링 알고리즘을 이용하였으며, k값은 주어진 데이타 셋의 클래스 내 밀집도와 클래스 간 분리도에 따라 자동으로 결정하였다. 제안하는 방법은 각 클래스별로 여러 개의 모델을 사용하며, 이들 중 가장 유사한 하나의 모델과 매칭하는 대신 k개의 모델을 참조하기 때문에 안정적이고 높은 분류성능을 획득할 수 있다. 본 논문에서는 UCI와 ELENA데이타베이스를 이용한 실험을 통해 제안하는 방법이 기존의 결합 방법들에 비해 우수한 분류성능을 보임을 확인하였다.

Keywords

References

  1. D. Opitz and R. Maclin, "Popular ensemble methods: An empirical study," J. Artificial Intelligence Research, Vol.11, pp. 169-198, 1999
  2. L.I. Kuncheva, "A theoretical study on six classifier fusion strategies," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.24, No.2, pp. 281-286, 2002 https://doi.org/10.1109/34.982906
  3. L.I. Kuncheva, J.C. Bezdek, and R.P.W. Duin, "Decision templates for multiple classifier fusion: An experimental comparison," Pattern Recognition, Vol.34, No.2, pp. 299-314, 2001 https://doi.org/10.1016/S0031-3203(99)00223-X
  4. L.I. Kuncheva, "Switching between selection and fusion in combining classifiers: An experiment," IEEE Trans. Systems, Man, and Cybernetics, Part B-Cybernetics, Vol.32, No.2, pp. 146-156, 2002 https://doi.org/10.1109/3477.990871
  5. J.-K. Min, J.-H. Hong, and S.-B. Cho, "Fingerprint classification using multiple decision template with SVM," J. Korea Information Science Society, Vol.32, No.11, pp. 1136-1146, 2005
  6. A.K. Jain and R.C. Dubes, Algorithms for Clustering Data, Prentice Hall, 1988
  7. U. Maulik and S. Bandyopadhyay, "Performance evaluation of some clustering algorithms and validity indices," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.24, No.12, pp. 1650-1654, 2002 https://doi.org/10.1109/TPAMI.2002.1114856