Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Classifier Selection using Feature Space Attributes in Local Region

국부적 영역에서의 특징 공간 속성을 이용한 다중 인식기 선택

  • Published : 2004.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a method for classifier selection that uses distribution information of the training samples in a small region surrounding a sample. The conventional DCS-LA(Dynamic Classifier Selection - Local Accuracy) selects a classifier dynamically by comparing the local accuracy of each classifier at the test time, which inevitably requires long classification time. On the other hand, in the proposed approach, the best classifier in a local region is stored in the FSA(Feature Space Attribute) table during the training time, and the test is done by just referring to the table. Therefore, this approach enables fast classification because classification is not needed during test. Two feature space attributes are used entropy and density of k training samples around each sample. Each sample in the feature space is mapped into a point in the attribute space made by two attributes. The attribute space is divided into regular rectangular cells in which the local accuracy of each classifier is appended. The cells with associated local accuracy comprise the FSA table. During test, when a test sample is applied, the cell to which the test sample belongs is determined first by calculating the two attributes, and then, the most accurate classifier is chosen from the FSA table. To show the effectiveness of the proposed algorithm, it is compared with the conventional DCS -LA using the Elena database. The experiments show that the accuracy of the proposed algorithm is almost same as DCS-LA, but the classification time is about four times faster than that.

본 논문은 시험 표본 주위의 영역에 대한 속성을 이용한 다중 인식기 선택 방법을 제안한다. 기존의 DCS-LA 동적 인식기 선택 방법은 시험 표본 주위의 학습표본들을 사용해서 각 인식기의 국부적 정확성을 계산하여 인식기를 동적으로 선택하기 때문에 인식 시간이 오래 걸린다. 본 논문에서는 특징공간에서 국부적인 속성을 계산해서 그 속성값에 적합한 인식기를 미리 선정해서 저장해 놓은 후 시험 표본이 들어오면 그 주변의 속성값에 따라 저장된 인식기에서 선택을 하기 때문에 인식시간을 줄일 수 있다. 국부적인 속성으로는 표본 주위의 작은 영역에 대한 엔트로피와 밀도를 계산하여 사용하였으며 이들을 특징공간속성(Feature Space Attribute)라고 하였다. 이들 두 속성으로 이루어지는 속성 공간을 규칙적인 사각형 셀로 나누어, 학습과정에서 각각의 학습표본에 대해 계산된 속성값이 어떤 셀에 속하는지를 구한다. 또한 각 셀에 속하는 학습표본들에 대해 각 인식기의 국부적 정확도를 구하여 셀에 저장한다. 시험 과정에서 시험표본에 대해 속성값 계산을 통해 그 표본이 속하는 셀을 구한 후 그 셀에서 국부적 정확도가 가장 높은 인식기로 인식한다. Elena 데이타베이스를 사용해서 기존의 방법과 제안된 방법을 비교하였다. 제안된 방법은 기존의 DCS-LA와 거의 같은 인식률을 나타내지만 인식속도는 약 4배 가까이 빨라짐을 실험을 통해 확인할 수 있었다.

Keywords

References

  1. Xu, L., Krzyzak, A., and Suen, C. Y., 'Methods of Combining Multiple Classifiers and Their Applications to Handwriting Recognition,' IEEE Trans. on Systems, Man, and Cybernetics, 22(3):418-435, 1992 https://doi.org/10.1109/21.155943
  2. Kittler, J., Hatef, M., Duin, R. P. W., and Matas, J., 'On Combining Classifiers,' IEEE Trans. on Pattern Analysis and Machine Intelligence, 20(3), pp. 226-239, 1998 https://doi.org/10.1109/34.667881
  3. G. Giacinto and F. Roli, 'Methods for Dynamic Classifier Selection,' ICIAP '99, 10th International Conference on Image Analysis and Processing, Venice, Italy, pp. 659-664, 1999 https://doi.org/10.1109/ICIAP.1999.797670
  4. Woods, K., Kegelmeyer, W. P. Jr., and Bowyer, K., 'Combination of Multiple Classifiers Using Local Accuracy Estimates,' IEEE Trans. on Pattern Analysis and Machine Intelligence, 19(4), pp. 405-410, 1997 https://doi.org/10.1109/34.588027
  5. B. V. Dasarathy and B. V. Sheela, 'A composite classifier system design : concepts and methodology,' Proceeding of IEEE, Vol. 67, pp. 708-713, 1978
  6. A. Verikas, A. Lipnickas, K. Malmqvist, M. Bacauskiene, and A. Gelzinis, 'Soft combination of neural classifiers:A comparative study,' Pattern Recognition Letters, Vol 20, pp. 429-444, 1999 https://doi.org/10.1016/S0167-8655(99)00012-4
  7. L. A. Rastrigin and R.H. Erenstein. 'Method of Collective Recognition,' Energoizdat, Moscow, 1981
  8. G. Giacinto and F. Roli, 'Dynamic classifier selection based on multiple classifier behaviour,' Pattern Recognition, Vol. 34, Iss. 9, pp. 1879-1881, September 2001 https://doi.org/10.1016/S0031-3203(00)00150-3
  9. L. I. Kuncheva, 'Cluster-and-Selection method for classifier combination,' Proc. 4th International Conference on Knowledge-Based Intelligent Enginerring Systems & Allied Technologies (KES '2000), pp. 185-188, Brighton, UK, 2000
  10. Huang, Y. S. and Suen, C. Y., 'A Method of Combining Multiple Experts for the Recognition of Unconstrained Handwritten Numerals,' IEEE Trans. on Pattern Analysis and Machine Intelligence, 17(1):90-94, 1995 https://doi.org/10.1109/34.368145
  11. A. J. C. Sharkey, 'Multi-net systems, in Combining Artificial Neural nets : Ensemble and Modular Multi-Net Systems,' pp. 1-30, Springer_Verlag, London, 1999
  12. J. X. Dong, A. Krzyzak, and C. Y. Suen, 'A Multi-Net Local Learning Framework for Pattern Recognition,' In Proc. of 7th ICDAR, pp. 328-332, 2001 https://doi.org/10.1109/ICDAR.2001.953808
  13. L. Bottou and V. Vapnik, 'Local learning algorithms,' Neural Computation, vol. 4, no. 6, pp. 888-900, 1992
  14. http://www.dice.ucl.ac.be/neual-nets/Reserach/Projects/ELENA/