• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.7 no.5
• /
• pp.1044-1051
• /
• 2003

This paper surveys the EBP(Error Back Propagation) learning, the Cross Entropy function and the LBL(Layer By Layer) learning, which are used for learning the MLP(Multi Layer Perceptrons). We compare the merits and demerits of each learning method in the handwritten digit recognition. Although the speed of EBP learning is slower than other learning methods in the initial learning process, its generalization capability is better. Also, the speed of Cross Entropy function that makes up for the weak points of EBP learning is faster than that of EBP learning. But its generalization capability is worse because the error signal of the output layer trains the target vector linearly. The speed of LBL learning is the fastest speed among the other learning methods in the initial learning process. However, it can't train for more after a certain time, it has the lowest generalization capability. Therefore, this paper proposes the standard of selecting the learning method when we apply the MLP.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1994.06c
• /
• pp.166-171
• /
• 1994

기존의 음성인식기들은 일반적으로 간단하면서도 성능이 우수한 계층별 학습에 의해서 설계된다. 계층별 학습은 통계적 패턴인식에서의 ML 추정기법처럼 모델간의 독립성이 보장되고 무한한 양의 학습데이타가 주어진다는 가정에 기초하고 있다. 그러나, 대상어휘집합에 음운학적으로 유사한 어휘가 많이 포함되어 있는 인식문제에 있어서는 모델간의 독립성이 보장되지 못하고, 실제 주어지는 grktmqepdlk의 양도 제한되므로 기존의 합습알고리즘에는 한계가 있다. 따라서 본 논문에서는 그러한 가정상의 문제점으로 생기는 인식기의 성능저하를 개선할 수 있는 변별력 있는 학습알고리즘들을 검토하고 그의 일반적인 접근방법들에 대해서 논의한다.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.8
• /
• pp.39-47
• /
• 2011

Ergezinger's method, one of the layer-by-layer algorithms used for multilyer perceptrons, consists of an output node and can make premature saturations in the output's weight because of using linear least squared method in the output layer. These saturations are obstacles to learning time and covergence. Therefore, this paper expands Ergezinger's method to be able to use an output vector instead of an output node and introduces a learning rate to improve learning time and convergence. The learning rate is a variable rate that reflects the correlation coefficient between new weight and previous weight while updating hidden's weight. To compare the proposed method with Ergezinger's method, we tested iris recognition and nonlinear approximation. It was found that the proposed method showed better results than Ergezinger's method in learning convergence. In the CPU time considering correlation coefficient computation, the proposed method saved about 35% time than the previous method.

• Journal of KIISE:Software and Applications
• /
• v.28 no.9
• /
• pp.603-611
• /
• 2001

This paper proposes a novel fast layer-by-layer algorithm that has better generalization capability. In the proposed algorithm, the weights of the hidden layer are updated by the target vector of the hidden layer obtained by least squares method. The proposed algorithm improves the learning speed that can occur due to the small magnitude of the gradient vector in the hidden layer. This algorithm was tested in a handwritten digits recognition problem. The learning speed of the proposed algorithm was faster than those of error back propagation algorithm and modified error function algorithm, and similar to those of Ooyen's method and layer-by-layer algorithm. Moreover, the simulation results showed that the proposed algorithm had the best generalization capability among them regardless of the number of hidden nodes. The proposed algorithm has the advantages of the learning speed of layer-by-layer algorithm and the generalization capability of error back propagation algorithm and modified error function algorithm.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.1173-1176
• /
• 2008

프로토콜 분석기는 어플리케이션 성능 관리나 트래픽 분석을 위해 인터넷의 각 계층별 프로토콜을 분석해주는 소프트웨어 툴로서 기업에서는 많이 쓰이고 있다. 그러나 대부분의 학교에서는 아직도 네트워크 강의가 교과서 중심의 이론 위주 교육으로 실시되고 있다. 본 논문에서는 각 계층별 프로토콜의 동작원리를 강의할 때 마다 온라인으로 프로토콜 분석기를 사용하여 스스로 실습을 통해 학습 효과를 높일 수 있도록 BL기반의 학습 시스템을 설계 하였다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.8
• /
• pp.633-641
• /
• 2009

In this paper, we proposed a new pattern classifier which can be incrementally learned, be added new class in learning time, and handle with analog data. Proposed pattern classifier has hierarchical structure and the classification rate is improved by using different metric for each levels. Proposed model is based on the Gaussian ARTMAP which is an artificial neural network model for the pattern classification. We hierarchically constructed the Gaussian ARTMAP and proposed the Principal Component Emphasis(P.C.E) method to be learned different features in each levels. And we defined new metric based on the P.C.E. P.C.E is a method that discards dimensions whose variation are small, that represents common attributes in the class. And remains dimensions whose variation are large. In the learning process, if input pattern is misclassified, P.C.E are performed and the modified pattern is learned in sub network. Experimental results indicate that Hierarchical Gaussian ARTMAP yield better classification result than the other pattern recognition algorithms on variable data set including real applicable problem.

• Journal of Intelligence and Information Systems
• /
• v.4 no.2
• /
• pp.1-21
• /
• 1998

귀납적 학습방법들의 분류성능을 비교 평가하기 위하여 대표적 분류문제의 하나인 신용평가 문제를 사용하였다. 분류기로서 사용된 귀납적 학습방법론들은 통계학의 다변량 판별분석(MDA), 기계학습 분야의 C4.5, 신경망의 다계층 퍼셉트론(MLP) 및 Cascade Correlation Network(CCN)의 4 가지이며, 학습자료로는 국내 3개 신용평가기관이 발표한 신용등급 및 공포된 재무제표를 사용하였다. 신용등급 예측의 정확도에 의한 분류성능을 평가하였는데 연도별 평가와 시계열 평가의 두 가지를 실시하였다. Cascade Correlation Network이 가장 좋은 분류성능을 보였지만 4가지 분류기들 사이에 통계적으로 유의한 차이는 발견되지 않았다. 이는 사용된 학습자료가 갖는 한계로 인한 것으로 추정되지만, 성능평가 과정에 있어 학습자료의 전처리 과정이 분류성과의 제고에 매우 유효함이 입증되었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.641-642
• /
• 2020

최근 교육서비스 시장은 학습자의 수준을 고려한 수준별 교육으로 나아가고 있다. 이때 학습자 수준의 진단을 위하여 다양한 방법의 진단평가가 연구되고 있으며 평가 기준의 언어적 모호함을 해결하기 위해 퍼지 이론을 도입한 평가 방법 역시 하나의 방법으로 대두되고 있다. 본 논문에서는 컴퓨팅 사고력 교육 역시 수준별 교육으로 나아가기 위해 컴퓨팅 사고력 학습을 계층화 하고, 학습자가 학습 시작전 퍼지 추론을 바탕으로 한 진단 평가를 실시하여 학습자 수준에 맞는 교육 커리큘럼의 진입점을 찾아 맞춤형 컴퓨팅 교육을 제공할 수 있도록 하는 퍼지 평가 시스템을 연구·개발한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10a
• /
• pp.232-234
• /
• 2004

강화 학습(Reinforcement Learning)을 실제 문제에 적용하는 데 있어 가장 큰 문제는 차원성의 저주(Curse of dimensionality)이다. 문제가 커짐에 따라 목적을 이루기 위해서 더 않은 단계의 판단이 필요하고 이에 따라 문제의 해결이 지수적으로 어려워지게 된다. 이를 해결하기 위칠 문제를 여러 단계로 나누어 단계별로 학습하는 계층적 강화 학습(Hierarchical Reinforcement Learning)이 제시된 바 있다. 하지만 대부분의 계층적 강화 학습 방법들은 사전에 문제의 구조를 아는 것을 전제로 하며 큰 사이즈의 문제를 간단히 표현할 방법을 제시하지 않는다. 따라서 이들 방법들도 실제적인 문제에 바로 적용하기에는 적합하지 않다. 이러한 문제점들을 해결하기 위해 복잡계 네트워크(Complex Network)가 갖는 작은 세상 성질(Small world Property)에 착안하여 자기조직화 하는 생장 네트워크(Self organizing growing network)를 기반으로 한 환경 표현 모델이 제안된 바 있다. 이러한 모델에서는 문제 크기가 커지더라도 네트워크의 사이즈가 크게 커지지 않기 때문에 문제의 난이도가 크기에 따라 크게 증가하지 않을 것을 기대할 수 있다. 본 논문에서는 이러한 환경 모델을 사용한 강화 학습 알고리즘을 구현하고 실험을 통하여 각 모델이 강화 학습의 문제 사이즈에 따른 성능에 끼치는 영향에 대해 알아보았다.

• Journal of Digital Contents Society
• /
• v.18 no.4
• /
• pp.641-647
• /
• 2017

In this paper, we propose a method to automatically generate a configured song with melodies composed of front/middle/last parts by using hierarchical artificial neural networks in automatic composition. In the first layer, an artificial neural network is used to learn an existing song or a random melody and outputs a song after performing rhythm post-processing. In the second layer, the melody created by the artificial neural network in the first layer is learned by three artificial neural networks of front/middle/last parts in the second layer in order to make a configured song. In the artificial neural network of the second layer, we applied a method to generate repeatability using measure identity in order to make song with repeatability and after that the song is completed after rhythm, chord, tonality post-processing. It was confirmed from experiments that our proposed method produced configured songs well.