Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Building an Ensemble Machine by Constructive Selective Learning Neural Networks

건설적 선택학습 신경망을 이용한 앙상블 머신의 구축

  • 김석준 (서울대학교 컴퓨터공학부) ;
  • 장병탁 (서울대학교 컴퓨터공학부)
  • Published : 2000.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 효과적인 앙상블 머신의 구축을 위한 새로운 방안을 제시한다. 효과적인 앙상블의 구축을 위해서는 앙상블 멤버들간의 상관관계가 아주 낮아야 하며 또한 각 앙상블 멤버들은 전체 문제를 어느 정도는 정확하게 학습하면서도 서로들간의 불일치 하는 부분이 존재해야 한다는 것이 여러 논문들에 발표되었다. 본 논문에서는 주어진 문제의 다양한 면을 학습한 다수의 앙상블 후보 네트웍을 생성하기 위하여 건설적 학습 알고리즘과 능동 학습 알고리즘을 결합한 형태의 신경망 학습 알고리즘을 이용한다. 이 신경망의 학습은 최소 은닉 노드에서 최대 은닉노드까지 점진적으로 은닉노드를 늘려나감과 동시에 후보 데이타 집합에서 학습에 사용할 훈련 데이타를 점진적으로 선택해 나가면서 이루어진다. 은닉 노드의 증가시점에서 앙상블의 후부 네트웍이 생성된다. 이러한 한 차례의 학습 진행을 한 chain이라 정의한다. 다수의 chain을 통하여 다양한 형태의 네트웍 크기와 다양한 형태의 데이타 분포를 학습한 후보 내트웍들이 생성된다. 이렇게 생성된 후보 네트웍들은 확률적 비례 선택법에 의해 선택된 후 generalized ensemble method (GEM)에 의해 결합되어 최종적인 앙상블 성능을 보여준다. 제안된 알고리즘은 한개의 인공 데이타와 한 개의 실세계 데이타에 적용되었다. 실험을 통하여 제안된 알고리즘에 의해 구성된 앙상블의 최대 일반화 성능은 다른 알고리즘에 의한 그것보다 우수함을 알 수 있다.

Keywords

References

  1. M.P. Perrone, 'Improving regression estimation: Averaging methods for variance reduction with extensions to general convex measure opti : mization,' Ph.D. Thesis, Brown University, Rhode Island, 1993
  2. M.P. Perrone and L.N. Cooper, 'When networks disagree: Ensemble methods for hybrid neural networks,' Artificial Neural Networks for Speech and Vision, pp. 126-142. 1994
  3. B.-T. Zhang, 'Self-development learning: constructing optimal size neural networks via incremental data selection,' Arbcitspapiere der GMD, No 768, German National Research Center for Computer Science (GMD), St. Augustin/Bonn, July 1993
  4. S. Hashem, 'Optimal linear combinations of neural networks,' Neural Networks, vol. 10, pp.599-614, 1997 https://doi.org/10.1016/S0893-6080(96)00098-6
  5. G. Rogova, 'Combining the results of several neural network classifiers,' Neural Networks, vol. 7, no. 5, pp. 777-781, 1994 https://doi.org/10.1016/0893-6080(94)90099-X
  6. E. Alpavdin, 'Multiple networks for function learning,' Proceedings of the IEEE International Conference on Neural Networks, vol. 1, pp, 27-32, 1993 https://doi.org/10.1109/ICNN.1993.298539
  7. R. Maclin and J. Shavlik, 'Combining the predictions of multiple classifiers: Using competitive learning to initialize neural networks,' Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence, 1995
  8. L. Breiman, 'Bagging predictors,' Machine Learning, vol. 24, no. 2, pp. 123-140, 1996 https://doi.org/10.1023/A:1018054314350
  9. M. Plutowski and H. White, 'Selecting concise training sets from clean data,' IEEE Transactions on Neural Networks, vol. 4, pp. 305-318, 1993 https://doi.org/10.1109/72.207618
  10. B.-T. Zhang, 'Convergence and generalization properties of active learning with growing neural nets,' Journal of Korea Infonnaiion Science Society (B), vol. 24, no. 12, pp. 1382-1390, 1997
  11. B.-T. Zhang, 'Accelerated learning by active example selection,' International Journal of Neural Systems 5, no. 1, pp. 67-75, 1994 https://doi.org/10.1142/S0129065794000086
  12. R. Reed, 'Pruning algorithms - A survey,' IEEE Transactions on Neural Networks, vol. 4, pp. 740-747, 1993 https://doi.org/10.1109/72.248452
  13. T.-Y. Kwok and D.-Y. Yeung, 'Constructive algorithms for structure learning in feedforward neural networks for regression problems,' IEEE Transactions on Neural Networks, vol. 8, no. 3, pp. 630-644. 1997 https://doi.org/10.1109/72.572102
  14. E.D. Baum, 'A proposal for more powerful learning algorithms.' Neural Computation, vol. 1, no. 2, pp. 201-207, 1989
  15. M. Anthony, 'Probabilistic analysis of learning in artificial neural networks: the PAC model and its variants,' Neural Computing Survey, vol.1, pp.1-47, 1997
  16. W.P. Kegelrncver Jr. and K. Bowyer, 'Combination of multiple classifiers using local accuracy estimates,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 4, pp. 405-410, 1997 https://doi.org/10.1109/34.588027
  17. L. Hansen and P. Salamon, 'Neural network ensembles,' IEEE Transactions on Pattern Analysis and Machine Intelligence, no. 12, pp, 993-1001, 1990 https://doi.org/10.1109/34.58871
  18. X. Yao, and Y. Liu, 'A new evolutionary system for evolving artificial neural networks,' IEEE Transactions on Neural Netuiorks, vol. 8, no.3, pp. 694-713, 1997 https://doi.org/10.1109/72.572107