The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A New Self-Organizing Map based on Kernel Concepts

자가 조직화 지도의 커널 공간 해석에 관한 연구

  • Published : 2006.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

Previous recognition/clustering algorithms such as Kohonen SOM(Self-Organizing Map), MLP(Multi-Layer Percecptron) and SVM(Support Vector Machine) might not adapt to unexpected input pattern. And it's recognition rate depends highly on the complexity of own training patterns. We could make up for and improve the weak points with lowering complexity of original problem without losing original characteristics. There are so many ways to lower complexity of the problem, and we chose a kernel concepts as an approach to do it. In this paper, using a kernel concepts, original data are mapped to hyper-dimension space which is near infinite dimension. Therefore, transferred data into the hyper-dimension are distributed spasely rather than originally distributed so as to guarantee the rate to be risen. Estimating ratio of recognition is based on a new similarity-probing and learning method that are proposed in this paper. Using CEDAR DB which data is written in cursive letters, 0 to 9, we compare a recognition/clustering performance of kSOM that is proposed in this paper with previous SOM.

Kohonen SOM(Self-Organizing Map)이나 MLP(Multi-Layer Perceptron), SVM(Support Vector Machine)과 같은 기존의 인식 및 클러스터링 알고리즘들은 새로운 입력 패턴에 대한 적응성이 떨어지고 학습 패턴 자체의 복잡도에 대한 학습률의 의존도가 크게 나타나는 등 여러 가지 단점이 있다. 이러한 학습 알고리즘의 단점은 문제의 학습 패턴자체의 특성을 잃지 않고 문제의 복잡도를 낮출 수 있다면 보완할 수 있다. 패턴 자체의 특성을 유지하며 복잡도를 낮추는 방법론은 여러 가지가 있으며, 본 논문에서는 커널 공간 해석 기법을 접근 방법으로 한다. 본 논문에서 제안하는 kSOM(kernel based SOM)은 원 공간의 데이터가 갖는 복잡도를 무한대에 가까운 초 고차원의 공간으로 대응시킴으로써 데이터의 분포가 원 공간의 분포에 비해 상대적으로 성긴(spase) 구조적 특정을 지니게 하여 클러스터링 및 인식률의 상승을 보장하는 메커니즘 을 제안한다. 클러스터링 및 인식률의 산출은 본 논문에서 제안한 새로운 유사성 탐색 및 갱신 기법에 근거하여 수행한다. CEDAR DB를 이용한 필기체 문자 클러스터링 및 인식 실험을 통해 기존의 SOM과 본 논문에서 제안한 kSOM과 성능을 비교한다.

Keywords

References

  1. V.N. Vapnik, 'The nature of statistical learning theory', Springer Verlag, New York, 1995
  2. V.N. Vapnik, 'Statistical Learning Theory', Wiley, New York, 1998
  3. K-R. Muller, et al., 'An Intoduction to Kernel-Based Learning Algorithms', IEEE Transactions on Neural Netwoks, Vol.12, No.2, March, 2001 https://doi.org/10.1109/72.914517
  4. C.J.C. Burges, 'A Tutorial on Support Vector Machines for Pattern Recognition', Data Mining and Knowledge Discovery, Vol.2, pp.121-167, 1998 https://doi.org/10.1023/A:1009715923555
  5. Bernhard Scholkopf, et. al., 'Input Space vs. Feature Space in Kernel Based Methods', IEEE Transactions on Neural Netwoks, Vol.10, No.5, pp.1000-1017, 1999 https://doi.org/10.1109/72.788641
  6. B. Scholkopf, 'Support vector learning', Oldenbourg Verlag, Munich, 1997
  7. G. Baudat and F. Anouar, 'Generalized discriminant analysis using a kernel approach', Neural Computation, Vol.12, No.10, pp.2385-2404, 2000 https://doi.org/10.1162/089976600300014980
  8. B. Scholkopf, A.J, Smola, and K-R. Muller, 'Nonlinear component analysis as a kernel eigenvalue problem', Neural Computation, Vol.10, pp.1299-1319, 1998 https://doi.org/10.1162/089976698300017467
  9. Y.A. LeCun, et. al., 'Learning algorithms for classification: A comparison on handwritten digit recognition', Neural Networks, 1995
  10. Sungmoon Cheong, Sang Hoon Oh and Soo- Young Lee, 'Support Vector Machines with Binary Tree Achitecture for Multi-Class Classification', Neural Information Processing Letters and Reviews, Vol.2, No.3, March, 2004
  11. Simon Haykin, 'Neural Networks', Prentice Hall, 2nd Ed., 1999