Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지
DOI QR코드

DOI QR Code

Design of Robust Support Vector Machine Using Genetic Algorithm

유전자 알고리즘을 이용한 강인한 Support vector machine 설계

  • 이희성 (연세대학교 전기전자공학부) ;
  • 홍성준 (연세대학교 전기전자공학부) ;
  • 이병윤 (연세대학교 전기전자공학부) ;
  • 김은태 (연세대학교 전기전자공학부)
  • Received : 2010.02.23
  • Accepted : 2010.05.30
  • Published : 2010.06.25
Download PDF
⟨ Previous Next ⟩

Abstract

The support vector machine (SVM) has been widely used in variety pattern recognition problems applicable to recommendation systems due to its strong theoretical foundation and excellent empirical successes. However, SVM is sensitive to the presence of outliers since outlier points can have the largest margin loss and play a critical role in determining the decision hyperplane. For robust SVM, we limit the maximum value of margin loss which includes the non-convex optimization problem. Therefore, we proposed the design method of robust SVM using genetic algorithm (GA) which can solve the non-convex optimization problem. To demonstrate the performance of the proposed method, we perform experiments on various databases selected in UCI repository.

Support vector machine (SVM)은 튼튼한 이론적 배경을 가지고 있고 구조적 위험을 성공적으로 최소화하기 때문에 추천가 시스템과 같은 다양한 패턴 인식 분야에서 사용되고 있다. 하지만 SVM이 초평면을 결정할 때 이상점들은 margin 손실들을 가지고 있기 때문에 이들은 초평면을 결정하는데 매우 중요한 역할을 하고 있다. 그 이유로 SVM은 이상점들에게 매우 민감한 문제점을 갖는다. 강인한 SVM을 위해 우리는 이상점들의 margin 손실의 최대치를 제한하지만 이것은 non-convex 최적화 문제를 포함한다. 따라서 본 논문에서는 non-convex 최적화 문제에 적합한 유전자 알고리즘을 이용하여 강인한 SVM을 설계하는 방법을 제안한다. 제안하는 알고리즘의 우수성을 보여주기 위하여 UCI repository에서 선택된 여러 데이터베이스들을 이용한 실험을 수행하였다.

Keywords

References

  1. 조규행, 박윤식, 이계환, 장준혁, “효과적인 특징 벡터를 도입한 Support Vector Machine기반 음성 검출기,” Telecommunications Reviews, vol. 18, no. 2, pp. 362-370, 2008.
  2. L. Wang, H. Jia, and J. Li, “Training robust support vector machine with smooth Ramp loss in the primal space,” Neurocomputing, vol. 71, pp. 3020-3025, 2008. https://doi.org/10.1016/j.neucom.2007.12.032
  3. L. Xu, K. Crammer, and D. Schuurmans, “Robust support vector machine training via convex outlier ablation,” in Proc. the 21st National Conference on Artificial Intelligence, pp. 536-542, 2006.
  4. H. Lee, E. Kim, and M. Park, “A genetic feature weighting scheme for pattern recognition,” Integrated Computer-Aided Engineering, vol. 14, no. 2, pp. 161-171, 2007.
  5. C. R. Houck, J. A. Joines, and M. G. Kay, “A genetic algorithm for function optimization: A Matlab implementation,” NCSU-IE Technical Report 95-09, North Carolina State University, 1995.
  6. 이희성, 이제헌, 김은태 “GAVaPS를 이용한 다수 K-Nearest Neighbor classifier들의 feature 선택,” 한국지능시스템학회 논문지, vol. 18, no. 6, pp. 871-875, 2008.
  7. 방연근, 이철희, “강화된 유전알고리즘을 이용한 이중 동조 기반 퍼지 예측시스템 설계 및 응용,” 전기학회 논문지, vol. 59, no. 1, pp. 184-191, 2010.
  8. 손태식, 서정우, 서정택, 문종섭, 최홍민, “Support Vector Machine 기반 TCP/IP 헤더의 은닉채널 탐지에 관한 연구,” 정보보호학회 논문지, vol. 14, no. 1, pp. 35-45, 2004.
  9. P. M. Murphy and D. W. Aha, “UCI Repository for Machine Learning Databases,” Technical report, Dept. of Information and Computer Science, Univ. of California, Irvine, Calif., 1994.

Cited by

  1. Genetic Outlier Detection for a Robust Support Vector Machine vol.15, pp.2, 2015, https://doi.org/10.5391/IJFIS.2015.15.2.96