DOI QR코드

DOI QR Code

Improving Learning Performance of Support Vector Machine using the Kernel Relaxation and the Dynamic Momentum

Kernel Relaxation과 동적 모멘트를 조합한 Support Vector Machine의 학습 성능 향상

  • 김은미 (전남대학교 대학원 컴퓨터공학과) ;
  • 이배호 (전남대학교 전자컴퓨터정보통신공학부, 정보통신연구소)
  • Published : 2002.12.01

Abstract

This paper proposes learning performance improvement of support vector machine using the kernel relaxation and the dynamic momentum. The dynamic momentum is reflected to different momentum according to current state. While static momentum is equally influenced on the whole, the proposed dynamic momentum algorithm can control to the convergence rate and performance according to the change of the dynamic momentum by training. The proposed algorithm has been applied to the kernel relaxation as the new sequential learning method of support vector machine presented recently. The proposed algorithm has been applied to the SONAR data which is used to the standard classification problems for evaluating neural network. The simulation results of proposed algorithm have better the convergence rate and performance than those using kernel relaxation and static momentum, respectively.

본 논문에서는 커널완화법과 동적모멘트를 이용한 support vector machines의 학습성능 개선을 제안하였다. 제안된 학습 방법은 기존의 정적모멘트와는 달리 수렴 정도에 따라 현재의 학습에 과거의 학습 속성을 반영하는 동적모멘트 방법이다. 기존의 정적 상수로 정의된 모멘트가 전체 학습에 동등하게 영향을 주는 반면 제안된 동적모멘트를 이용한 학습방법은 학습 수행에 따라 동적으로 모멘트를 변경함으로써 수렴속도와 학습 성능을 효과적으로 제어할 수 있다. 제안된 학습법을 support vector machine의 새로운 순차 학습 방법인 커널완화법에 적용하였다. 신경망 분류기 표준 평가 데이터인 SONAR 데이터를 이용하여 실험한 곁과 동적모멘트를 이용한 방법이 수렴속도와 학습 성능면에서 기존의 커널완화법과 정적모멘트를 이용한 학습법에 비해 향상된 성능을 보이는 것을 확인하였다.

Keywords

References

  1. B. Boser, I. Guyon, and V. K Vapnik, 'A training algorithm for optimal margin classifiers,' Fifth Annual Workshop on Computational Learning Theory, San Mateo, CA : Morgan Kaufmann, pp.144-152, 1992 https://doi.org/10.1145/130385.130401
  2. J C. Platt, 'Fast training of support vector machines using sequential minimal optimization,' Advances in Kernel Methods-Support Vector Learning, B. Scholkopf, C. Burges, A. Smola, editors, MIT-Press, pp.185-208, 1998
  3. R. O. Duda, P. E. Hart, D. G. Stork, Pattern Classification, Second Edition by John Wiley and Sons, Inc, 2001
  4. 류재홍, 정종철, '커널 이완절차에 의한 커널 공간의 저밀도 표현 학습', 한국퍼지 및 지능시스템학회, 2001년도 추계 학술대회 학술발표논문집, 제11권 제2호, pp.60-64, Dec., 2001
  5. T. T Friess, N. Cristianini, C. Campbell, 'The KernelAdatron Algorithm: a Fast and Simple Learning Procedure for Support Vector Machines,' in Shavlik, J, ed., Machine Learning: Proceedings of the 15th Int. Conf., Morgan Kaufmann Publishers, San Francisco, CA 1998
  6. D. G. Luenberger, Linear and Nonlinear Programming, 2nd Ed., Addison-Wesley Publishing Company Inc, 1984
  7. S. Haykin, Neural Networks, A Comprehensive Foundation Second Edition by Prentice-Hall, Inc, 1999
  8. 조용현, '모멘트를 이용한 Support Vector Machines의 학습 성능개선', 정보처리학회논문지, 제7권 제5호, pp.1446-1455, May, 2000
  9. Y. Li, et al. , 'The relaxed online maximum margin algorithm,' In Advances in NIPS 13, 1999
  10. E. Osuna, R. Freund, and F. Girosi. 'Training support vector machines: an application to face detection,' CVPR'97, 1997 https://doi.org/10.1109/CVPR.1997.609310
  11. 이성환 편저, 패턴인식의 원리 II, 홍릉과한출판사, 1994
  12. O. L. Mangasarian andD. R. Musicant, 'Active Set Support Vector Machine Classification,' Neural Information Processing Systems 2000(NIPS 2000), T. K. Lee, T. G. Dietterich and V. Tresp, editors, MIT Press, pp.577-583, 2001
  13. 김상운 편저, 패턴인식의 입문, 홍릉과학출판사, 1997