Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

A Memory-based Reasoning Algorithm using Adaptive Recursive Partition Averaging Method

적응형 재귀 분할 평균법을 이용한 메모리기반 추론 알고리즘

  • Published : 2004.04.01
Download PDF
⟨ Previous Next ⟩

Abstract

We had proposed the RPA(Recursive Partition Averaging) method in order to improve the storage requirement and classification rate of the Memory Based Reasoning. That algorithm worked not bad in many area, however, the major drawbacks of RPA are it's partitioning condition and the way of extracting major patterns. We propose an adaptive RPA algorithm which uses the FPD(feature-based population densimeter) to stop the ARPA partitioning process and produce, instead of RPA's averaged major pattern, optimizing resulting hyperrectangles. The proposed algorithm required only approximately 40% of memory space that is needed in k-NN classifier, and showed a superior classification performance to the RPA. Also, by reducing the number of stored patterns, it showed an excellent results in terms of classification when we compare it to the k-NN.

메모리 기반 추론에서 기억공간의 효율적인 사용과 분류성능의 향상을 위하여 제안되었던 RPA(Recursive Partition Averaging)알고리즘은 대상 패턴 공간을 분할 한 후 대표 패턴을 추출하여 분류 기준 패턴으로 사용한다. 이 기법은 메모리 사용 효율과 분류 성능 면에서 우수한 결과를 보였지만, 분할 종료 조건과 대표패턴의 추출 방법이 분류 성능 저하의 원인이 되는 단점을 가지고 있었다. 여기에서는 기존 RPA의 단점을 보안한 ARPA(Adaptive RPA) 알고리즘을 제안한다. 제안된 알고리즘은 패턴 공간의 분할 종료 조건으로 특징별 최빈 패턴 구간(FPD: Feature-based population densimeter)추출 알고리즘을 사용하며, 학습 결과 패턴의 생성을 대표패턴 추출기법 대신 최빈 패턴 구간을 이용하여 생성한 최적초월평면(OH： Optimized Hyperrectangle)을 사용한다. 제안된 알고리즘은 k-NN 분류기에서 필요로 하는 메모리 공간의 40%정도를 사용하며, 분류에 있어서도 RPA보다 우수한 인식 성능을 보이고 있다. 또한 저장된 패턴의 감소로 인하여, 실제 분류에 소요되는 시간 비교에 있어서도 k-NN보다 월등히 우수한 성능을 보이고 있다.

Keywords

References

  1. T. Dietterich, A Study of Distance-Based Machine Learning Algorithms, Ph. D. Thesis, computer Science Dept., Oregon State University, 1995
  2. D. Wettschereck and T. Dietterich, Locally Adaptive Nearest Neighbor Algorithms, Advances in Neural Information Processing Systems 6, pp. 184-191, Morgan Kaufmann, San Mateo, CA. 1994
  3. D. Wettschereck, Weighted k-NN versus Majority k-NN A Recommendation : German National Research Center for Information Technology, 1995
  4. S. Cost and S. Salzberg, A Weighted Nearest Neighbor Algorithm for Learning with Symbolic Features, Machine Learning, Vol. 10, No.1, pp. 57-78, 1993 https://doi.org/10.1023/A:1022664626993
  5. D. Aha, A Study of Instance-Based Algorithms for Supervised Learning Tasks: Mathematical, Empirical, and Psychological Evaluations, Ph. D. Thesis, Information and Computer Science Dept., University of California, Irvine, 1990
  6. D. Aha, Instance-Based Learning Algorithms, Machine Learning, Vol. 6, No. 1, pp. 37-66, 1991 https://doi.org/10.1023/A:1022689900470
  7. D. Wettschereck and T. Dietterich, An Experimental Comparison of the Nearest- Neighbor and Nearest-Hyperrectangle Algorithms, Machine Learning, Vol. 19, No.1, pp. 1-25, 1995 https://doi.org/10.1023/A:1022603022740
  8. S. Salzberg, A Nearest Hyperrectangle Learning Method, Machine Learning, no. 1, pp. 251-276, 1991 https://doi.org/10.1023/A:1022661727670
  9. 정태선, 이형일, 윤충화, 고정 분할 평균알고리즘을 사용하는 새로운 메모리 기반 추론, 한국정보처리학회 논문지 제6권 제6호, pp1563-1570, 1999
  10. D. Wettschereck, A Review and Empirical Evaluation of Feature Weighting Methods for a Class of Lazy Learning Algorithms, Artificial Intelligence Review Journal, 1996 https://doi.org/10.1023/A:1006593614256
  11. J.R. Quinlan, Induction of Decision Trees, Machine Learning Vol. 1, pp. 81-106, 1986 https://doi.org/10.1023/A:1022643204877
  12. 김상귀, 이형일, 윤충화, A study on the optimization of binary decision tree, 명지대학교 산업기술연구소 논문지, vol. 16, pp. 104-112, 1997
  13. G. Bradshaw, Learning about speech sounds: The NEXUS project. In Proceedings of the Fourth International Workshop on Machine Leaning, pp. 1-11, Irvine, CA: Morgan Kaufmann, 1987
  14. T. Kohonen, Learning vector quantization for pattern recognition(Technical Report TKK-F-A601). Espoo, Finland: Helsinki University of Technology, Department of Technical Physics, 1986
  15. S. Salzberg, On Comparing Classifiers: Pitfalls to Avoid and a Recommended Approach, Data Mining and Knowledge Discovery, Vol. 1, pp. 1-11, 1997 https://doi.org/10.1023/A:1009752403260
  16. 이형일, 정태선, 윤충화, 강경식, 재귀 분할 평균기법을 이용한 새로운 메모리 기반 추론 알고리즘, 한국정보처리학회 논문지 제6권 제7호, pp. 1849-1857, 1999
  17. 최영희, 장수민, 유재수, 오재철, 수량적 연관규칙탐사를 위한 효율적인 고빈도 항목열 생성기법, 한국정보처리학회 논문지 제6권 제10호, pp. 2597-2607, 1999