DOI QR코드

DOI QR Code

Initialization of Fuzzy C-Means Using Kernel Density Estimation

커널 밀도 추정을 이용한 Fuzzy C-Means의 초기화

  • 허경용 (동의대학교 영상미디어 센터) ;
  • 김광백 (신라대학교 컴퓨터공학과)
  • Received : 2011.04.05
  • Accepted : 2011.04.24
  • Published : 2011.08.31

Abstract

Fuzzy C-Means (FCM) is one of the most widely used clustering algorithms and has been used in many applications successfully. However, FCM has some shortcomings and initial prototype selection is one of them. As FCM is only guaranteed to converge on a local optimum, different initial prototype results in different clustering. Therefore, much care should be given to the selection of initial prototype. In this paper, a new initialization method for FCM using kernel density estimation (KDE) is proposed to resolve the initialization problem. KDE can be used to estimate non-parametric data distribution and is useful in estimating local density. After KDE, in the proposed method, one initial point is placed at the most dense region and the density of that region is reduced. By iterating the process, initial prototype can be obtained. The initial prototype such obtained showed better result than the randomly selected one commonly used in FCM, which was demonstrated by experimental results.

Fuzzy C-Means (FCM)는 군집화를 위해 널리 사용되는 알고리듬 중 하나로 다양한 응용 분야에서 성공적으로 사용되어 왔다. 하지만 FCM은 여러 가지 단점을 가지고 있으며 초기 원형 설정이 그 중 하나이다. FCM은 국부 최적해에 수렴하므로 초기 원형 설정에 따라 군집화의 결과가 달라진다. 따라서 초기 원형의 설정은 군집화 결과 향상을 위해 중요하다. 이 논문에서는 이러한 FCM의 초기 원형 설정 문제를 해결하는 방안으로 커널 밀도 추정을 활용하는 방법을 제안한다. 커널 밀도 추정은 비모수적 분포들에도 사용할 수 있어 국부적인 데이터 밀도 추정에 유용하다. 제안한 방법에서는 커널 밀도 추정을 수행한 후 밀도가 높은 지역에 클러스터의 초기 원형을 설정하고 원형이 설정된 영역의 밀도를 감소시키는 과정을 반복함으로써 효율적으로 초기 원형을 선택할 수 있다. 제안된 방법이 일반적으로 사용되는 무작위 초기화 방법에 비해 효율적이라는 사실은 실험 결과를 통해 확인할 수 있다.

Keywords

References

  1. R. Xu and D. Wunsch, Clustering, Wiley-IEEE Press, 2008.
  2. L. A. Zadeh, "Fuzzy sets," Information and Control, vol. 8, no. 3, pp. 338-353, 1965.
  3. E. H. Ruspini, "A new approach to clustering," Information and Control, vol. 16, pp. 22-32, 1969.
  4. J. C. Dunn, "A fuzzy relative of the ISODATA process and its use in detecting compact well separated clusters," Journal of Cybernetics, pp. 32-57, 1974.
  5. J. C. Bezdek, Pattern Recognition with Fuzzy Objective Function Algorithms, Springer, 1981.
  6. B. Scholkopf and A. J. Smola, Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, Cambridge, MA, 2001.
  7. Z. I. Botev, J. F. Grotowski, and D. P. Kroese, "Kernel density estimation via diffusion," Annals of Statistics, vol. 38, no. 5, pp. 2916-2957, 2010. https://doi.org/10.1214/10-AOS799
  8. M. Garey, D. Johnson, and H. Witsenhausen, "The complexity of the generalized Lloyd-Max problem," IEEE Transactions on Information Theory, vol. 28, no. 2, pp. 255-256, 1982 https://doi.org/10.1109/TIT.1982.1056488
  9. X. L. Xie and G. Beni, "A validity measure for fuzzy clustering," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, no. 8, pp. 841-847, 1991. https://doi.org/10.1109/34.85677

Cited by

  1. A Context-Aware Information Service using FCM Clustering Algorithm and Fuzzy Decision Tree vol.16, pp.7, 2013, https://doi.org/10.9717/kmms.2013.16.7.810