한국정보과학회:학술대회논문집 (Proceedings of the Korean Information Science Society Conference)
- 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
- /
- Pages.265-267
- /
- 2002
- /
- 1598-5164(pISSN)
적응적 정규화 자연기울기 학습과 자연프루닝을 통한 신경망의 일반화 성능 향상
Improving Generalization in Neural Networks using Natural Gradient Learning with Adaptive Regularization and Natural Pruning
초록
본 논문에서는 적응적 정규화 자연기울기 학습법과 자연 프루닝(pruning) 방법의 결합을 통하여 일반화 성능이 우수만 신경망을 구성하고자 한다. 먼저 적응적 정규화 자연기울기 학습을 통하여 신경망의 가중치를 최적화 시키고, 자연 프루닝에 의하여 신경망의 구조를 단순화 시킨다. 이러한 모델들 중 최적의 모델은 베이시안 정보 기준에 의해 선택함으로써 일반화 성능이 우수만 신경망을 구성하는 방법을 제안한다 벤치마크 (benchmark) 데이터로 제안하는 방법과 유클리디안(Euclidean) 거리에 기반한 결합 방법과 자연 프루닝만을 적용한 방법을 비교함으로써 우수성을 검증한다.
키워드