DOI QR코드

DOI QR Code

Cluster Based Fuzzy Model Tree Using Node Information

상호 노드 정보를 이용한 클러스터 기반 퍼지 모델트리

  • 박진일 (충북대학교 전기전자컴퓨터공학부) ;
  • 이대종 (충북대학교 BK2l 충북정보기술사업단) ;
  • 김용삼 (충북대학교 전기전자컴퓨터공학부) ;
  • 조영임 (수원대학교 IT 대학 컴퓨터학과) ;
  • 전명근 (충북대학교 전기전자컴퓨터공학부)
  • Published : 2008.02.25

Abstract

Cluster based fuzzy model tree has certain drawbacks to decrease performance of testinB data when over-fitting of training data exists. To reduce the sensitivity of performance due to over-fitting problem, we proposed a modified cluster based fuzzy model tree with node information. To construct model tree, cluster centers are calculated by fuzzy clustering method using all input and output attributes in advance. And then, linear models are constructed at internal nodes with fuzzy membership values between centers and input attributes. In the prediction step, membership values are calculated by using fuzzy distance between input attributes and all centers that passing the nodes from root to leaf nodes. Finally, data prediction is performed by the weighted average method with the linear models and fuzzy membership values. To show the effectiveness of the proposed method, we have applied our method to various dataset. Under various experiments, our proposed method shows better performance than conventional cluster based fuzzy model tree.

클러스터 기반 퍼지 모델트리에서 훈련 데이터의 과잉 적응은 검중 데이터의 성능을 저하시키는 문제점을 가지고 있다. 이러한 문제점을 해결하기 위한 방법으로 본 논문에서는 상호 노드간의 정보를 고려하는 방법을 제안하고자 한다. 제안된 방법은 우선 입력과 출력변수의 속성을 고려한 퍼지 클러스터링에 의해 중심벡터를 계산한 후, 중심벡터들과 입력 속성간의 소속도를 이용하여 구간 분할된 영역별로 각각의 선형모델을 구축한다. 예측 단계에서는 입력된 데이터가 잎노드에 도달하기까지 경유하게 되는 노드들의 중심벡터들과 입력 데이터간의 거리값에 따른 소속도를 계산한 후 최종적으로 각 노드의 선형모델들과 계산된 소속도를 이용하여 출력값을 예측하게 된다. 제안된 방법의 우수성을 보이기 위해 다양한 벤치마크 데이터를 대상을 실험한 결과, 기존의 클러스터 기반 퍼지 모델트리보다 향상된 성능을 보임을 알 수 있었다.

Keywords

References

  1. Donato Malerbe, and et al, "Stepwise Indcution of Model Trees", LNAI 1275, pp. 20-32, 2001
  2. Quinlan J.R. "Learning with continuous classes" in Proceedings AI'92, Adams & Sterling (Eds.), World Scientific, pp. 343-348, 1992
  3. Karalic A, "Linear regression in regression tree leaves", in Proceedings of ISSEK'92, Bled, Solvenia, 1992
  4. Wang Y., Witten I.H., "Inducing Model Trees for Continuous Classes", in Poster Paper of the 9th European Conference on Machine Learning (ECML 97)., M. van Someren, & G. Widmer (Eds.), Prague, Czech Republic, pp. 128-137, 1997
  5. Lanubile A., Malerba D., Induction of regression trees with Regtree, in Book of Short Paper on Classification and Data Analysis, Pescara, Italy, pp. 253-260, 1997
  6. Torgo L., "Kernel Regression Trees", in Poster paper of 9th European Conference on Machine Learning (ECML 97), M. van Someren, & G. Widmer (Eds.), Prague, Czech Republic, pp. 118-127, 1997
  7. Witold Pedrycz, "C-Fuzzy Decision Trees", IEEE Trans. on System, Man, and Cybernetics, Part C, Vol. 35, No. 4, pp. 498-511, 2005 https://doi.org/10.1109/TSMCC.2004.843205
  8. 이대종, 박진일, 전명근외, "클러스터 기반 퍼지 모델트리를 이용한 데이터 모델링", 한국퍼지 및 지능시스템학회 논문지, Vol. 16, No. 5, pp. 608-615, 2006 https://doi.org/10.5391/JKIIS.2006.16.5.608
  9. Guang-Bin Huang and et al, "Extreme learning machine:Theory and applications", Neurocomputing, Vol. 70, pp. 489-501, 2006 https://doi.org/10.1016/j.neucom.2005.12.126
  10. http://www.sgi.com/tech/mlc/db
  11. http://www.cs.waikato.ac.nz/~ml/weka/index.html