정보처리학회논문지B (The KIPS Transactions:PartB)

한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

수정된 커널 주성분 분석 기법의 분류 문제에의 적용

Modified Kernel PCA Applied To Classification Problem

  • 김병주 (영산대학교 컴퓨터 정보공학부) ;
  • 심주용 (대구가톨릭대학교 정보통계학과) ;
  • 황창하 (대구가톨릭대학교 정보통계학과) ;
  • 김일곤 (경북대학교 컴퓨터과학과)
  • 발행 : 2003.06.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 학습 자료로부터 비선형 특징추출과 분류를 위한 점진적인 커널 주성분 분석 방법(IKPCA)을 제안한다. 일괄처리 방식의 커널 주성분 분석 방법은 학습 자료의 크기가 클 경우 과도한 계산량이 문제가 된다. 또한 새로 추가 되는 학습 자료가 있을 경우 고유벡터를 계산하기 위해 고유공간 전체를 다시 계산해야 하는 문제점이 있다. IKPCA는 이러한 문제점들을 고유공간 모델의 점진적인 계산과 경험 커널사상에 의해 해결하였다. IKPCA는 일괄처리방식의 커널 주성분 분석에 비해 기억공간 요구량에 있어 효율적이며 학습 자료의 재학습에 의해 성능을 쉽게 향상시킬 수 있다. 비선형 자료에 대한 실험을 통해 IKPCA는 일괄처리방식의 커널 주성분 분석 방법에 비해 특징추출과 분류 문제의 성능에 있어 유사한 결과를 나타내었다.

An incremental kernel principal component analysis (IKPCA) is proposed for the nonlinear feature extraction from the data. The problem of batch kernel principal component analysis (KPCA) is that the computation becomes prohibitive when the data set is large. Another problem is that, in order to update the eigenvectors with another data, the whole eigenspace should be recomputed. IKPCA overcomes these problems by incrementally computing eigenspace model and empirical kernel map The IKPCA is more efficient in memory requirement than a batch KPCA and can be easily improved by re-learning the data. In our experiments we show that IKPCA is comparable in performance to a batch KPCA for the feature extraction and classification problem on nonlinear data set.

키워드

참고문헌

  1. I. T. Jolliffe, 'Principal Component Analysis,' New York Springer-Verlag, 1986
  2. S. Chandrasekaran, B. S. Manjunath, Y. F. Wang, J. Winkeler and H. Zhang, 'An eigenspace update algorithm for image analysis,' Graphical Models and Image Processing, 59(5), pp.321-332, Sep., 1997 https://doi.org/10.1006/gmip.1997.0425
  3. J. Winkeler, B. S. Manjunath and S. Chandrasekaran, 'Subset selection for active object recognition,' In CVPR, IEEE Computer Society Press, Vol.2, pp.511-516, Jun., 1999 https://doi.org/10.1109/CVPR.1999.784729
  4. P. Hall, D. Marshall and R. Martin, 'Incremental eigenanalysis for classification,' In British Machine vision Conference, Vol.1, pp.286-295, Sep., 1998
  5. M. E. Tipping and C. M. Bishop, 'Mixtures of probabilistic principal component analysers,' Neural Computation 11(2), pp.443-482, 1998 https://doi.org/10.1162/089976699300016728
  6. M. A. Kramer, 'Nonlinear principal component analysis using autoassociative neural networks,' AICHE Journal 37(2), pp.233-243, 1991 https://doi.org/10.1002/aic.690370209
  7. K. I. Diamantaras and S. Y. Kung, 'Principal Component Neural Networks : Theory and Applications,' New York John Wiley& Sons, Inc., 1996
  8. B. Scholkopf, A. Smola and K. R. Muller, 'Nonlinear component analysis as a kernel eigenvalue problem,' Neural Computation 10(5), pp.1299-1319, 1998 https://doi.org/10.1162/089976698300017467
  9. R. Rosipal and M. Girolami, 'An Expectation Maximizatiom approach to nonlinear component analysis,' Submitted
  10. B. Scholkopf, S. Mika, C. Burges, P. Knirsch, K. R. Miller, G. Ratsch and A. J. Smola, 'Input Space versus Feature Space in Kernel-based Methods,' IEEE Transaction on Neural Networks, Vol.10, pp.1000-1017, Sep., 1999 https://doi.org/10.1109/72.788641
  11. A. J. Smola O. L. Mangasarian and B. Scholkopf, 'Sparse kernel feature analysis,' Technical Report 99-03, University of Wisconsin, Data Mining Iinstitute, Madison, 1999
  12. S. R. Gunn, 'Support vector machines for classification and regression,' Technical Report ISIS-1-98, Department of Electronics and Computer Science, University of Southampton, 1998
  13. S. Mika, 'Kernel algorithms for nonlinear signal processing in feature spaces,' Master's thesis, Technical University of Berlin, November, 1998
  14. H. Murakami and V. Kumar, 'Efficient Calculation of Primary Images from a Set of Images,' IEEE Trans. On Pattern Analysis and Machine Intelligence, 4(5), pp.511-515, 1982 https://doi.org/10.1109/TPAMI.1982.4767295
  15. V. N. Vapnik, 'Statistical learning theory,' John Wiley & Sons, New York, 1998
  16. K. Tsuda, 'Support vector classifier based on asymmetric kernel function,' Proc. ESANN, 1999
  17. J. A. K. Suykens and Vandewalle, 'Least squares support vector machine classifiers,' Neural Processing Letters, Vol.9, pp.293-300, 1999 https://doi.org/10.1023/A:1018628609742
  18. Accessible at http://www.esat.kuleuven.ac.be/sista/lssvmlab/tutorial