DOI QR코드

DOI QR Code

An Optimizing Hyperrectangle method for Nearest Hyperrectangle Learning

초월평면 최적화를 이용한 최근접 초월평면 학습법의 성능 향상 방법


Abstract

NGE (Nested Generalized Exemplars) proposed by Salzberg improved the storage requirement and classification rate of the Memory Based Reasoning. It constructs hyperrectangles during training and performs classification tasks. It worked not bad in many area, however, the major drawback of NGE is constructing hyperrectangles because its hyperrectangle is extended so as to cover the error data and the way of maintaining the feature weight vector. We proposed the OH (Optimizing Hyperrectangle) algorithm which use the feature weight vectors and the ED(Exemplar Densimeter) to optimize resulting Hyperrectangles. The proposed algorithm, as well as the EACH, required only approximately 40% of memory space that is needed in k-NN classifier, and showed a superior classification performance to the EACH. Also, by reducing the number of stored patterns, it showed excellent results in terms of classification when we compare it to the k-NN and the EACH.

메모리기반 추론에서 기억공간의 효율적인 사용과 분류성능의 향상을 위하여 제안된 NGE이론에 기반한 최근접 초월평면법은 학습자료를 초월평면상에 투영시켜 생성된 초월평면을 이용한다. 이때 학습자료에 포합될 수 있는 오류자료가 그대로 초월평면에 포함되어 분류의 정확성을 저해하는 요인으로 작용하는 단점을 가지고 있다. 본 논문에서는 기존의 최근접 초월평면의 단점을 보완한 초월평면 최적화(OH:Optimizing Hyperrectangle) 방법을 제안 한다. 제안된 방법은 특징가중치 벡터를 초월평면마다 할당하여 학습하고, 학습 후 생성된 모든 초월평면에 대해 특징별 최빈구간을 추출하여 최적초월평면을 구성하여 분류 시 사용한다. 제안된 방법은 EACH시스템과 마찬가지로 k-NN분류기에서 필요로 하는 메모리 공간의 40%정도를 사용하며, 분류에 있어서는 EACH시스템 보다 우수한 인식 성능을 보이고 있다.

Keywords

References

  1. T. Dietterich, "A Study of Distance-Based Machine Learning Algoritluns", Ph. D. Thesis, computer Science Dept., Oregon State University, 1995.
  2. D. Wettschereck and T. Dietterich, "Locally Adaptive Nearest Neighbor Algorithms", Advances in Neural Information Processing Systems 6, pp. 184-191, Morgan Kaufmann, San Mateo, CA. 1994.
  3. D. Wettschereck, "Weighted k-NN versus Majority k-NN A Recommendation", German National Research Center for Information Technology, 1995.
  4. S. Cost and S. Salzberg, "A Weighted Nearest Neighbor Algorithm for Learning with Symbolic Features", Machine Learning, Vol. 10, No. 1, pp. 57-78, 1993.
  5. D. Aha, "A Study of Instance-Based Algorithms for Supervised Learning Tasks: Mathematical, Empirical, and Psychological Evaluations", Ph. D. Thesis, Information and Computer Science Dept., University of California, Irvine, 1990.
  6. D. Aha, "Instance-Based Learning Algorithms", Machine Learning, Vol. 6, No. 1, pp. 37-66, 1991.
  7. D. Wettschereck and T. Dietterich, "An Experimental Comparison of the Nearest-Neighbor and Nearest - Hyperrectangle Algorithms", Machine Learning, Vol. 19, No. 1, pp. 1-25, 1995.
  8. S. Salzberg, "A Nearest hyperrectangle learning method", Machine Learning, no. 1, pp. 251-276, 1991.
  9. D. Wettschereck, et al., "A Review and Empirical Evaluation of Feature Weighting Methods for a Class of Lazy Learning Algorithms", Artificial Intelligence Review Journal, 1996.
  10. T. Kohonen, "Learning vector quantization for pattern recognition (Technical Report TKK-F-A601), Espoo, Finland : Helsinki University of Technology, Department of Technical Physics, 1986.
  11. S. Salzberg, "On Comparing Classifiers: Pitfalls to Avoid and a Recommended Approach", Data Mining and Knowledge Discovery, Vol. 1, pp. 1-11, 1997
  12. 이형일, 정태선, 윤충화, "EACH 시스템에서의 새로운 가중치 적용법" 한국 정보과학회 "98 춘계학술 대회 논문집(B), 제25권 1호, pp288-290, 1998.
  13. 이형일, 정태선, 윤충화, 강경식, "재귀 분할 평균기법윤 이용한 새로운 메모리 기반 추폰 알고리즘" 한국정보 처리 학회 논문지 제6권 제7 호, pp1849-1857, 1999
  14. 최영희, 장수인, 유재수, 오재철, "수량적 연관규칙탐사를 위한 효율적인 고빈도 항목열 생성기법" 한국정보처리학회 논문지 제6권 제10호, pp2597-2607, 1999