DOI QR코드

DOI QR Code

A New Clustering Method for Minimum Classification Error

분류 오류 최소화를 위한 클러스터링 기법

  • 허경용 (동의대학교 전자공학과) ;
  • 김성훈 (경북대학교 컴퓨터정보학부)
  • Received : 2014.05.15
  • Accepted : 2014.06.17
  • Published : 2014.07.31

Abstract

Clustering is one of the most popular unsupervised learning methods, which is widely used to form clusters with homogeneous data. Clustering was used to extract contexts corresponding to clusters and a classification method was applied to each context or cluster individually. However, it is difficult to say that the unsupervised clustering is the best context forming method from the view of classification. In this paper, a new clustering method considering classification was proposed. The proposed method tries to minimize classification error in each cluster when a classification method is applied to each context locally. For this purpose, the proposed method adds constraints forcing two data points belong to the same class to have small distances, and two data points belong to different classes to have large distances in each cluster like in linear discriminant analysis. The usefulness of the proposed method is confirmed by experimental results.

클러스터링은 대표적인 비교사 학습 방법의 하나로 균일한 특성을 가지는 데이터를 군집으로 묶기 위해 사용된다. 균일한 특성을 가지는 데이터 부분집합을 문맥으로 정의하고 문맥 내에서 국부적으로 분류를 행하는 융합 방법이 사용되고 있지만 클러스터링은 비교사 학습 방법이라는 한계로 인해 클러스터링 결과로 만들어지는 문맥이 분류에 있어 최선임을 보장하기 어렵다. 이 논문에서는 생성된 클러스터를 문맥으로 가정하고 각 문맥에서 분류를 시행하는 경우 최소의 오류를 보일 수 있는, 분류를 고려한 클러스터링 기법을 제안한다. 제안하는 방법은 선형 판별 분석에서와 유사하게 클러스터 내 동일한 클래스에 속하는 데이터 쌍은 작은 거리 값을, 서로 다른 클래스에 속하는 데이터 쌍은 큰 거리 값을 가지도록 하기 위한 제약 조건을 적용하여 분류 오류를 줄이도록 하였다. 제안한 방법의 실효성은 실험 결과를 통해 확인할 수 있다.

Keywords

References

  1. L. A. Zadeh, "Fuzzy sets, " Information and Control, Vol. 8, No. 3, pp. 338-353, June 1965. https://doi.org/10.1016/S0019-9958(65)90241-X
  2. E. H. Ruspini, "A new approach to clustering, " Information and Control, Vol. 15, No. 1, pp. 22-32, July 1969. https://doi.org/10.1016/S0019-9958(69)90591-9
  3. Rui Xu and Donald Wunsch II, "Survey of Clustering Algorithms, " IEEE Transactions on Neural Networks, Vol. 16, No. 3, pp. 645-678, May 2005. https://doi.org/10.1109/TNN.2005.845141
  4. J. C. Dunn, "A fuzzy relative of the ISODATA process and its use in detecting compact well separated clusters, " Journal of Cybernetics, Vol. 3, No. 3, pp. 32-57, Apr. 1974.
  5. J. C. Bezdek, "Pattern Recognition with Fuzzy Objective Function Algorithms, " Plenum, New York, 1981.
  6. G. Heo, P. Gader and H. Frigui, "A Noise Robust Variant of Context Extraction for Local Fusion, " Proceedings of 2010 IEEE International Conference on Fuzzy Systems, pp. 1-6, 2010.
  7. A. M. Bensaid, "Partially supervised clustering for image segmentation, " Pattern Recognition, Vol. 29, No. 5, pp. 859-871, May 1996. https://doi.org/10.1016/0031-3203(95)00120-4
  8. A. M. Martinez and A. C. Kak, "PCA versus LDA, " IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23 No. 2, pp. 228-233, Feb. 2001. https://doi.org/10.1109/34.908974
  9. D. E. Gustafson and W. C. Keller, "Fuzzy clustering with a fuzzy covariance matrix, " Proceedings of the 1978 IEEE Conference on Decision and Control, pp. 761-766, 1979.
  10. R. Babuska, P. J. van der Veen and U. Kaymak, "Improved Covariance Estimation for Gustafson-Kessel Clustering, " Proceedings of the 2002 IEEE International Conference on Fuzzy Systems, pp. 1081-1085, 2002.
  11. B. Feil and J. Abonyi, "Geodesic Distance Based Fuzzy Clustering, " Advances in Soft Computing, Vol. 39, pp. 50-59, 2007. https://doi.org/10.1007/978-3-540-70706-6_5
  12. Gomes, Ryan, Andreas Krause, and Pietro Perona. "Discriminative clustering by regularized information maximization, " Advances in Neural Information Processing Systems, Vol. 23 pp. 775-783, 2010.
  13. K. Zhang, I. W. Tsang and J. T. Kwok, "Maximum Margin Clustering Made Practical, " IEEE Transactions on Neural Networks, Vol. 20, No. 4, pp. 583-596, Apr. 2009. https://doi.org/10.1109/TNN.2008.2010620