A Design of Hierarchical Gaussian ARTMAP using Different Metric Generation for Each Level

계층별 메트릭 생성을 이용한 계층적 Gaussian ARTMAP의 설계

  • 최태훈 (현대엔지니어링(주) 기술혁신개발실 프로젝트 IT부) ;
  • 임성길 (경희대학교 컴퓨터공학과) ;
  • 이현수 (경희대학교 컴퓨터공학과)
  • Published : 2009.08.15

Abstract

In this paper, we proposed a new pattern classifier which can be incrementally learned, be added new class in learning time, and handle with analog data. Proposed pattern classifier has hierarchical structure and the classification rate is improved by using different metric for each levels. Proposed model is based on the Gaussian ARTMAP which is an artificial neural network model for the pattern classification. We hierarchically constructed the Gaussian ARTMAP and proposed the Principal Component Emphasis(P.C.E) method to be learned different features in each levels. And we defined new metric based on the P.C.E. P.C.E is a method that discards dimensions whose variation are small, that represents common attributes in the class. And remains dimensions whose variation are large. In the learning process, if input pattern is misclassified, P.C.E are performed and the modified pattern is learned in sub network. Experimental results indicate that Hierarchical Gaussian ARTMAP yield better classification result than the other pattern recognition algorithms on variable data set including real applicable problem.

본 논문에서는 아날로그 데이터 처리가 가능하고, 온라인 학습, 학습 중 새로운 클래스 추가등의 특징을 가진 패턴 인식기를 제안하였다. 제안한 패턴 인식기는 계층적 구조를 가지고 있으며, 각 레벨별로 서로 다른 메트릭을 적용하여 분류 성능을 향상 시켰다. 제안한 패턴 인식기는 신경망 기반의 패턴 인식 알고리즘인 Gaussian ARTMAP 모델을 기반으로 하고 있다. Gaussian ARTMAP 모델을 계층적으로 구성하고, 계층마다 서로 다른 특징을 학습하도록 하기 위하여 Principal Component Emphasis (P.C.E) 방법을 제안하였으며, 이를 이용하여 새로운 메트릭을 생성하는 방법을 제안하였다. P.C.E는 학습된 입력 데이터들의 분산을 이용하여 클래스 내의 공통 속성을 나타내는 분산이 작은 차원을 제거하고 패턴 간의 서로 다른 속성을 나타내는 분산이 큰 차원만 유지하는 방법이다. 제안한 알고리즘의 학습 과정에서 교사 신호와 다르게 분류된 패턴이 발생하면 잘못 분류 된 클래스와 입력된 패턴을 분리하기 위하여 P.C.E를 수행하고 하위 노드에서 학습하게 된다. 실험 결과 제안한 모델은 기존에 제안된 패턴 인식 모델들 보다 높은 분류 성능을 가지고 있음을 확인하였다.

Keywords

References

  1. Carpenter, G.A, Grossberg S., 'ARTMAP: A self‑organizing neural network architecture for fast supervised learning and pattern recognition,' Proceedings of the International Joint Conference on Neural Networks (IJCNN‑91), pp.565-588, 1991 https://doi.org/10.1016/0893-6080(91)90012-T
  2. Carpenter, G.A., Grossberg, S., and Rosen, D.B. 'Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system,' Neural Networks, vol.4, pp.759-771, 1991 https://doi.org/10.1016/0893-6080(91)90056-B
  3. Williamson, J. R., 'Gaussian ARTMAP: A Neural Network for Fast Incremental Learning of Noisy Multidimensional Maps,' neural networks, vol.9, no.5, pp.881-897, 1996 https://doi.org/10.1016/0893-6080(95)00115-8
  4. Xu, H., Vuskovic, M., 'Mahalanobis distance-based ARTMAP network,' Neural Networks Proceedings 2004, vol.3, pp.2353-2359, 2004
  5. Dagher, I., 'Art networks with geometrical distances,' Journal of Discrete Algorithms archive, vol.4, Issue.4, pp.538-553, 2006 https://doi.org/10.1016/j.jda.2005.06.007
  6. Bartfai, G., 'An ART-based Modular Architecture for Learning Hierarchical Clusterings,' Journal of Neurocomputing on volume 13, pp.31-45, 1996 https://doi.org/10.1016/0925-2312(95)00077-1
  7. Fraley, C., 'Algorithms for model-based Gaussian Hierarchical Clustering,' Society for industrial and applied mathmatics, SIAM J. SCI. COMPUT. vol.20, no.1. pp.270-281, 1998 https://doi.org/10.1137/S1064827596311451
  8. Dasgupta, S., Long, P.M., 'Performance guarantees for hierarchical clustering,' Journal of Computer and System Sciences archive Volume 70, Issue 4, pp.555-569, 2005 https://doi.org/10.1016/j.jcss.2004.10.006
  9. 김승석, 곽근창, '계층적 클러스터링과 Gaussian Mixture model을 이용한 뉴로 퍼지 모델링', 퍼지 및 지능 시스템, vol.13, no.5, pp.512-519, 2003 https://doi.org/10.5391/JKIIS.2003.13.5.512
  10. UC Irvine Machine Learning Repository, http:// archive.ics.uci.edu/ml/index.html, Website
  11. Athitsos, V., Sclaroff, S., 'Boosting nearest neighbor classifiers for multiclass recognition,' Computer Vision and Pattern Recognition, 2005 IEEE Computer Society Conference on 25-25 June 2005 pp.45-45, 2005
  12. Liu, H., Motoda, H., Dash, M., 'A monotonic measure for optimal feature selection,' In Proceedings of European Conference on Machine Learning Volume Year 1398/1998, pp.101-106, 1998
  13. Bennett, K. P., Demiriz, A., Maclin, R., 'Exploiting unlabeled data in ensemble methods,' International Conference on Knowledge Discovery and Data Mining archive Proceedings of the eighth ACM SIGKDD, pp.289-296, 2002 https://doi.org/10.1145/775047.775090