베이스 에러율의 상위 경계 최소화에 기반한 고차 곱 근사 방법과 숫자 인식기 결합에의 적용

A High Order Product Approximation Method based on the Minimization of Upper Bound of a Bayes Error Rate and Its Application to the Combination of Numeral Recognizers

  • Kang, Hee-Joong (School of Information and Computer Engineering Hansung University)
  • 발행 : 2001.09.01

초록

다수의 인식기를 결합하여 베이지안 결정 이론 하에서 클래스 분별력을 높이려면, 훈련 데이터 샘플로부터 얻은 클래스 변수와 결정 변수들로 구성된 조건부 엔트로피에 의해서 한정되는 베이스 에러율의 상위 경계를 최소화해야 한다. Wang과 Wong은 베이스 에러율의 상위 경계를 최소화하기 위하여 클래스 변수와 다수의 특징 패턴 변수들로 구성된 고차 확률 분포를 트리 의존관계로 근사하는 1차 근사 방법을 제안하였다. 본 논문에서는 이러한 베이스 에러율의 상위 경계 최소화에 기반한 기존의 1차 트리 의존관계 근사 방법을 확장하여 고차 의존관계까지 고려할 수 있는 확장된 곱 고차 근사 방법을 제안한다. 제안된 근사 방법을 CENPARMI의 무제약 필기 숫자를 인식하는 다수의 숫자 인식기 결합 방법에 적용하여 인식 실험을 하였으며, 이 방법에 의해서 보다 높은 인식율을 얻게 되었다.

In order to raise a class discrimination power by combining multiple classifiers under the Bayesian decision theory, the upper bound of a Bayes error rate bounded by the conditional entropy of a class variable and decision variables obtained from training data samples should be minimized. Wang and Wong proposed a tree dependence first-order approximation scheme of a high order probability distribution composed of the class and multiple feature pattern variables for minimizing the upper bound of the Bayes error rate. This paper presents an extended high order product approximation scheme dealing with higher order dependency more than the first-order tree dependence, based on the minimization of the upper bound of the Bayes error rate. Multiple recognizers for unconstrained handwritten numerals from CENPARMI were combined by the proposed approximation scheme using the Bayesian formalism, and the high recognition rates were obtained by them.

키워드

참고문헌

  1. Xu, L., Krzyzak, A., and Suen, C. Y., 'Methods of Combining Multiple Classifiers and Their Applications to Handwriting Recognition,' IEEE Trans. on Systems, Man, and Cybernetics, 22(3):418-435, 1992 https://doi.org/10.1109/21.155943
  2. Huang, Y. S. and Suen, C. Y., 'A Method of Combining Multiple Experts for the Recognition of Unconstrained Handwritten Numerals,' IEEE Trans. on Pattern Analysis and Machine Intelligence, 17(1):90-94, 1995 https://doi.org/10.1109/34.368145
  3. Mandler, E. and Schuermann, J., 'Combining the classification results of independent classifiers based on the dempster/shafer theory of evidence,' In E. S. Gelsema and L. N. Kanal, editors, Pattern Recognition and Artificial Intelligence, pp.381-393. 1988
  4. Franke, J. and Mandler, E., 'A comparison of two approaches for combining the votes of cooperating classifiers,' In Proceedings of the 11th IAPR Int. Conference on Pattern Recognition, Vol. 2, pp. 611-614, 1992 https://doi.org/10.1109/ICPR.1992.201786
  5. Lee, D.-S. and Srihari, S. N., 'Handprinted Digit Recognition : A Comparison of Algorithms,' In Proceedings of the 3rd Int. Workshop on Frontiers in Handwriting Recognition, pp.153-162, 1993
  6. Kang, H.-J., Kim, K., and Kim, Jin H., 'Optimal Approximation of Discrete Probability Distribution with leth-order Dependency and Its Applications to Combining Multiple Classifiers,' Pattern Recognition Letters, 18(6), pp.515-523, 1997 https://doi.org/10.1016/S0167-8655(97)00041-X
  7. 강희중, 이성환, '무제약 필기 숫자를 인식하기 위한 다수 인식기를 결합하는 의존관계 기반의 프레임워크', 정보과학회논문지 : 소프트웨어 및 응용, 제27권, 제8호, pp.855-863, 2000
  8. Lewis, P. M., 'Approximating Probability Distributions to Reduce Storage Requirement,' Information and Control, 2:214-225, 1959 https://doi.org/10.1016/S0019-9958(59)90207-4
  9. Chow, C. K. and Liu, C. N., 'Approximating Discrete Probability Distributions with Dependence Trees,' IEEE Trans. on Information 'Theory, 14(3): 462-467, 1968 https://doi.org/10.1109/TIT.1968.1054142
  10. Wang, D. C. C. and Wong, A. K. C., 'Classification of Discrete Data with Feature Space Transform,' IEEE Trans. on Automatic Control, AC-24(3):434-437, 1979
  11. Hellman, M. E. and Raviv, J., 'Probability of error, equivocation, and the Chernoff bound,' IEEE Trans. on Information Theory, IT-16:368-372, 1970