Optimization of Structure-Adaptive Self-Organizing Map Using Genetic Algorithm

유전자 알고리즘을 사용한 구조적응 자기구성 지도의 최적화

  • 김현돈 (연세대학교 컴퓨터과학과) ;
  • 조성배 (연세대학교 컴퓨터과학과)
  • Published : 2001.06.01

Abstract

Since self-organizing map (SOM) preserves the topology of ordering in input spaces and trains itself by unsupervised algorithm, it is Llsed in many areas. However, SOM has a shortcoming: structure cannot be easily detcrmined without many trials-and-errors. Structure-adaptive self-orgnizing map (SASOM) which can adapt its structure as well as its weights overcome the shortcoming of self-organizing map: SASOM makes use of structure adaptation capability to place the nodes of prototype vectors into the pattern space accurately so as to make the decision boundmies as close to the class boundaries as possible. In this scheme, the initialization of weights of newly adapted nodes is important. This paper proposes a method which optimizes SASOM with genetic algorithm (GA) to determines the weight vector of newly split node. The leanling algorithm is a hybrid of unsupervised learning method and supervised learning method using LVQ algorithm. This proposed method not only shows higher performance than SASOM in terms of recognition rate and variation, but also preserves the topological order of input patterns well. Experiments with 2D pattern space data and handwritten digit database show that the proposed method is promising.

자기구성 지도는 주어진 입력에 대해 올바른 출력 값이 제공되지 않는 비교사 방식으로 학습된다. 또한, 반응하는 순서나 위치를 통해 위상이 보존(topology preserving)되는 특성을 가지고 있어 많은 분야에 응용되고 있다. 그러나, 자기 구성지도는 학습이 되기 전에 위상을 미리 고정시켜야 하기 때문에 실제 문제에 적용하기 어렵다는 단점을 가지고 있다. 구조 적응형 자기구성 지도는 자기구성 지도의 고정된 구조 때문에 발생하는 문제를 해결하기 위해 지도의 구조를 학습 중에 적절하게 변경시킨다. 이때, 변화된 구조의 가중치를 어떻게 초기화시킬 것인가 하는 것이 또한 중요한 문제이다. 이 논문에서는 구조 적응형 자기구성 지도 모델에서 유전자 알고리즘을 이용하여 분화된 노드의 가중치를 결정하는 방법을 제안한다. 이 방법은 기존의 구조 적응형 자기구성 지도보다 다소 높은 인식률을 보였고, 숫자 별 인식률 편차를 줄일 수 있었다. 오프라인 필기 숫자 데이터로 실험한 결과, 제안한 방법이 유용함을 알 수 있었다.

Keywords

References

  1. Neural Computation v.9 Self-organizing map with dynamical node splitting: Application to handwritten digit recognition S. B. Cho
  2. Parallel Problem Solving from Nature v.2 Adaptation of Kohonen Feature Map Topologies by Genetic Algorithms D. Polani;T. Uthmann
  3. Proceedings of the Fifth International Conference on Genetic Algorithms Training Kohonen Feature Maps in different Topologies: an Analysis using Genetic Algorithms D. Polani;T.Uthmann
  4. Proceedings of ICNN' 94, International Conference on Neural Networks Training the Self-Oraganizing Feature Map using Hybrids of Genetic and Kohonen Methods M. Mclnerney;A. Dhawan
  5. Biol. Cyb. v.43 Self-organized formation of topologically correct feature maps T. Kohonen
  6. Self-Organizing Maps T. Kohonen
  7. IEEE Transactions on Neural Networks Topology Preservation in Self-Organizing Maps K. Kiviluoto
  8. IEEE Transactions on Neural Networks v.8 no.2 Topology Preservation in Self-Organizing Feature Maps : Exact Definition and Measurement T. Villmann;R. Der;M. Hermann;T. M. Martinetz
  9. IEEE Transactions on Neural Networks v.11 no.3 Interactive Visualization and Analysis of Hierarchical Neural Projections for Data Mining A. Konig