Journal of the Institute of Electronics Engineers of Korea SC (전자공학회논문지SC)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

(Adaptive Structure of Modular Wavelet Neural Network Using Growing and Pruning Algorithm)

성장과 소거 알고리즘을 이용한 모듈화된 웨이블렛 신경망의 적응구조 설계

  • Seo, Jae-Yong (Dept. of Information Technology Engineering, Korea University of Technology and Education) ;
  • Kim, Yong-Taek (Dept.of Electronics Electric Engineering, Chungang University) ;
  • Jo, Hyeon-Chan (Dept. of Information Technology Engineering, Korea University of Technology and Education) ;
  • Jeon, Hong-Tae (Dept.of Electronics Electric Engineering, Chungang University)
  • 서재용 (한국기술교육대학교 정보기술공학부) ;
  • 김용택 (중앙대학교 전자전기공학부) ;
  • 조현찬 (한국기술교육대학교 정보기술공학부) ;
  • 전홍태 (중앙대학교 전자전기공학부)
  • Published : 2002.01.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose the growing and pruning algorithm to design the optimal structure of modular wavelet neural network(MWNN) with F-projection and geometric growing criterion. Geometric growing criterion consists of estimated error criterion considering local error and angle criterion which attempts to assign wavelet function that is nearly orthogonal to all other existing wavelet functions. These criteria provide a methodology which a network designer can construct MWNN according to one's intention. The proposed growing algorithm increases in number of module or the size of modules of MWNN. Also, the pruning algorithm eliminates unnecessary node of module or module from constructed MWNN to overcome the problem due to localized characteristic of wavelet neural network which is used to modules of MWNN. We apply the proposed constructing algorithm of the optimal structure of MWNN to approximation problems of 1-D function and 2-D function, and evaluate the effectiveness of the proposed algorithm.

본 논문에서는 F-투영법과 기하학적인 성장기준을 적용하여 모듈화된 웨이블렛 신경망의 최적구조를 설계할 수 있는 성장과 전지 알고리즘을 제안한다. 기하학적인 성장기준은 지역오차를 고려한 예측 오차기준과 기존의 웨이블렛 함수와의 준직교성을 보장하는 웨이블렛 함수를 배치하기 위한 각도기준으로 구성되어 있다. 이러한 성장기준은 모듈화된 웨이블렛 신경망을 설계자 의도에 부합하도록 구성할 수 있는 방법론을 제시한다. 제안한 성장 알고리즘은 모듈화된 웨이블렛 신경망의 모듈과 망의 크기를 증가시킨다. 또한 소거 알고리즘은 모듈화된 웨이블렛 신경망의 모듈로 사용되는 웨이블렛 신경망의 지역화 특성으로 인해 모듈의 크기가 증가하는 문제점을 극복하기 위해 불필요한 모듈의 노드를 제거한다. 제안한 모듈화된 웨이블렛 신경망의 최적구조 설계알고리즘을 1차원과 2차원의 함수 근사화 문제에 적용하여 제안한 알고리즘의 성능을 검증하였다.

Keywords

References

  1. R. Reed, 'Pruning Algorithm - A Survey,' IEEE Trans. on Neural Networks, Vol. 6, pp. 610-622, 1995 https://doi.org/10.1109/72.248452
  2. Advances in Neural Information Processing Systems-9 Adaptively Growing Hierarchical Mixtures of Experts J.Fristch;M.Finke;A.Waibel;M.I.Jordan(ed.);M.C.Mozer(ed.);T.Petsche(ed.)
  3. J. Fristch, M. Finke, A. Waibel, 'Adaptively Growing Hierarchical Mixtures of Experts,' Advances in Neural Information Processing Systems-9, M. I. Jordan, M. C. Mozer, and T. Petsche, Eds. Cambridge, MA: MIT Press, pp. 459-465, 1997
  4. S. R. Waterhouse and A. J. Robinson, 'Pruning and Growing Hierarchical Mixtures of Experts,' The 4th Int. Conf. on Artificial Neural Networks, Cambridge, UK, pp. 341-346, 1995
  5. C.C. whitworth and V. Kadirkamanathan, 'Cross-Entropy Based Pruning of the Hierarchical Mixtures of Experts,' Proc. of the IEEE Workshop Neural Networks for Signal Proceesing, pp. 375-383, 1997 https://doi.org/10.1109/NNSP.1997.622418
  6. Viswanath Ramamuri and Joydeep Ghosh, 'Structurally Adaptive Modular Networks for Nonstationary Environments,' IEEE Trans. on Neural Networks, Vol. 10, No. 1, pp.152-160, 1999 https://doi.org/10.1109/72.737501
  7. 서재용, 김용택, 조현찬, 전홍태, '시간-주파수 분석을 이용한 모듈라 웨이블렛 신경망의 최적 구조 설계,' 대한전자공학회 논문지, 제38권, SC편, 제2호, pp. 12-19, 2001
  8. Michael, I. Jordan and Robert A. Jacobs, 'Hierarchical Mixtures of Experts and the EM Algorithm,' Neural Computation, Vol. 6, No. 1, pp. 181-214, 1994 https://doi.org/10.1162/neco.1994.6.2.181
  9. Lei Xu and M. I. Jordan, 'On Convergence Properties of the EM Algorithm for Gaussian Mixtures,' Neural Computation, Vol. 8, pp. 129-151, 1996 https://doi.org/10.1162/neco.1996.8.1.129
  10. 서재용, 김용택, 조현찬, 김용민, 전홍태, 'F-투영법을 이용한 웨이블렛 신경망의 성장 알고리즘,' 대한전자공학회 2001 하계종합학술대회 논문집, 제24권 제1호, Vol. 3, pp. 165-168, 2001
  11. Visakan Kadirkamanathan and Mehesan Niranja, 'A Function Estimation Approach to Sequential Learning with Neural Networks,' Neural Computation, Vol. 5, pp. 954-975, 1999 https://doi.org/10.1162/neco.1993.5.6.954