• 한국정보통신학회논문지
• /
• 제9권4호
• /
• pp.883-889
• /
• 2005

다층 구조 신경망에서 널리 사용되는 오류 역전파 알고리즘은 초기 가중치와 불충분한 은닉층의 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ART-1에서 경계 변수의 설정에 따라 인식률이 저하되는 문제점을 개선하기 위하여 ART-1과 퍼지 단층 지도 학습 알고리즘을 결합한 ATR-1 기반 퍼지 다층 지도 학습 알고리즘을 제안 한다. 자가 생성을 이용한 제안된 퍼지 지도 학습 알고리즘은 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART-1을 적용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 주민등록증 영상을 대상으로 실험한 결과, 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상도 개선되었다.

• 전자공학회논문지CI
• /
• 제38권6호
• /
• pp.26-37
• /
• 2001

일반적인 역전파 알고리즘의 여러 가지 문제점들을 개선하기 위하여 활성화 함수의 이득을 퍼지 로직 시스템을 이용하여 자동 조절하는 방식을 제안하였다. 퍼지 로직 시스템을 구성하기 위하여 먼저 활성화 함수의 이득의 변화가 학습율, 연결강도 바이어스 등의 변화와 등가인 관계를 조사하였다 퍼지 로직 시스템의 입력은 마지막층에 대한 오차의 감도와 은닉층에 대한 오차의 평균 감도를 사용하였고, 출력은 활성화 함수의 이득을 사용하였다. 제안한 방식과 일반적인 역전파 알고리즘을 패리티 문제, 함수 근사화 문제 및 패턴 인식 문제등에 대하여 시뮬레이션하여 비교 검토한 결과 수렴비, 평균 학습 반복수, 정말도 및 새로운 입력 에 대한 원하는 오차 범위의 출력을 얻는 등의 성능이 개선됨을 알았다.

• 대한전자공학회논문지SP
• /
• 제39권3호
• /
• pp.88-98
• /
• 2002

MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 유리한 이점을 지니고 있어 화자증명 시스템의 화자학습 및 인식 방법으로서 사용이 기대된다. 그러나 MLP의 학습은 학습에 이용되는 EBP(error backpropagation) 알고리즘의 저속 때문에 상당한 시간을 소요한다. 이 점은 화자증명 시스템에서 높은 화자인식률을 달성하기 위해서는 많은 배경화자가 필요하다는 점과 맞물려 시스템에 화자를 등록하기 위해 많은 시간이 걸린다는 문제를 낳는다. 화자증명 시스템은 화자 등록후 곧바로 증명 서비스를 제공해야 하기 때문에 이 문제를 해결해야 한다. 본 논문에서는 이 문제를 해결하기 위해 EBP의 학습속도를 개선하는 방법과, 기존의 화자증명 방법에서 화자군집 방법을 도입한 배경화자 축소방법을 사용하여 MLP 기반 화자증명 시스템에서 화자등록에 필요한 시간의 단축을 시도한다.

• 전자공학회논문지B
• /
• 제32B권3호
• /
• pp.503-511
• /
• 1995

A batch-mode algorithm is proposed to increase the speed of learning in the error backpropagation algorithm with variable learning rate and variable momentum parameters in classification problems. The objective function is normalized with respect to the number of patterns and output nodes. Also the gradient of the objective function is normalized in updating the connection weights to increase the effect of its backpropagated error. The learning rate and momentum parameters are determined from a function of the gradient norm and the number of weights. The learning rate depends on the square rott of the gradient norm while the momentum parameters depend on the gradient norm. In the two typical classification problems, simulation results demonstrate the effectiveness of the proposed algorithm.

• 한국컴퓨터정보학회논문지
• /
• 제15권4호
• /
• pp.57-63
• /
• 2010

Levenberg-Marquardt 알고리즘에서 감쇠 파라미터는 오류역전파 학습과 Gauss-Newton 학습의 스위치 역할을 하며 학습 속도에 영향을 준다. 이런 감쇠 파라미터를 고정시키는 것은 오차 함수의 진동을 유발하고 학습 속도를 감소시킨다. 따라서 본 논문은 오차 함수의 변화 과정을 참조하여 감쇠 파라미터를 가변적으로 적용하는 방법을 제안한다. 제안된 방법은 오차의 변화량이 크면 감쇠 파라미터를 크게, 오차의 변화량이 작으면 감쇠 파라미터를 작게 조정한다. 이것은 모멘텀과 유사한 역할을 하여 학습 속도를 향상시킨다. 제안된 방법의 검증을 위한 실험으로는 iris 분류 문제와 wine 분류 문제를 사용하였다. 제안된 방법은 iris 분류 문제에서는 67% 학습에서, wine 분류 문제에서는 78% 학습에서 학습 속도가 향상되었으며 기존 방법과 비교하여 오차의 진동도 적은 것을 확인할 수 있었다.

• Journal of Advanced Marine Engineering and Technology
• /
• 제20권4호
• /
• pp.11-19
• /
• 1996

Recently, fuzzy and neural network techniques have been successfully applied to control of complex and ill-defined system in a wide variety of areas, such as robot, water purification, automatic train operation system and automatic container crane operation system, etc. In this paper, we present a neuro-fuzzy controller which unifies both fuzzy logic and multi-layered feedforward neural networks. Fuzzy logic provides a means for converting linguistic control knowledge into control actions. On the other hand, feedforward neural networks provide salient features, such as learning and parallelism. In the proposed neuro-fuzzy controller, the parameters of membership functions in the antecedent part of fuzzy inference rules are identified by using the error backpropagation algorithm as a learning rule, while the coefficients of the linear combination of input variables in the consequent part are determined by using the least square estimation method. Finally, the effectiveness of the proposed controller is verified through computer simulation of an inverted pendulum system.

• 한국음향학회지
• /
• 제20권4호
• /
• pp.48-53
• /
• 2001

본 논문에서는 에러 역전파 알고리듬에 기반한 다층 퍼셉트론의 학습 속도를 개선하기 위해 선택적 주의 학습방식을 제안한다. 제안된 방식은 학습 과정에서 세 가지 선택적 주의 기준을 적용하여 학습 데이터베이스 내의 일부 데이터만을 입력 패턴으로 사용하거나 주어진 입력 패턴에 대해 신경회로망내의 특정 영역만 선택적으로 학습이 이루어지도록 한다. 이러한 선택적 주의 기준은 다층 퍼셉트론의 출력층에서 계산된 평균 자승 에러와 은닉층의 각 노드에서 획득된 클래스 의존적인 적합도(relevance)를 이용하여 설정된다. 학습 속도의 개선은 학습 반복 횟수 당 계산량을 줄임으로써 이루어진다. 본 논문에서는 고립 단어 인식시스템에서의 화자 적응 문제에 대해 제안한 선택적 주의 학습방법을 적용하여 그 유효성을 알아보았다. 실험 결과로부터 제안한 선택적 주의 기법이 학습 속도를 평균 60%이상 개선시킬 수 있음을 확인하였다

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
• /
• pp.616-618
• /
• 2002

MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 이점이 있어 다양한 문제영역에서 사용되고 있다 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 실시간 처리를 요구하는 문제나 대규모 데이터 및 MLP 구조로 인해 학습시간이 상당히 긴 문제에서 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 은라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부 가중치 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률을 고정함으로써 온라인 방식에서 패턴별 갱신의 특성을 완전히 활용하지 못하는 비효율성이 발생한다. 또한, 학습도중 패턴군이 학습된 패턴과 그렇지 못한 패턴으로 나뉘고 이 가운데 학습된 패턴은 학습을 위한 계산에 포함될 필요가 없음에도 불구하고, 기존의 온라인 EBP에서는 에폭에 할당된 모든 패턴을 일률적으로 계산에 포함시킨다. 이 문제에 대해 본 논문에서는 학습이 진행됨에 따라 패턴마다 적절한 학습률을 적용하고 필요한 패턴만을 학습에 반영하는 패턴별 가변학습률 및 학습생략(COIL) 방댑을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

• 전자공학회논문지B
• /
• 제31B권8호
• /
• pp.211-218
• /
• 1994

In this paper we develope a hybrid learning rule to improve the robustness of multi-layer Perceptions. In most neural networks the activation of a neuron is deternined by a nonlinear transformation of the weighted sum of inputs to the neurons. Investigating the behaviour of activations of hidden layer neurons a new learning algorithm is developed for improved robustness for multi-layer Perceptrons. Unlike other methods which reduce the network complexity by putting restrictions on synaptic weights our method based on error-backpropagation increases the complexity of the underlying proplem by imposing it saturation requirement on hidden layer neurons. We also found that the additional gradient-descent term for the requirement corresponds to the Hebbian rule and our algorithm incorporates the Hebbian learning rule into the error back-propagation rule. Computer simulation demonstrates fast learning convergence as well as improved robustness for classification and hetero-association of patterns.

• ETRI Journal
• /
• 제22권3호
• /
• pp.10-18
• /
• 2000

Although an n-th order cross-entropy (nCE) error function resolves the incorrect saturation problem of conventional error backpropagation (EBP) algorithm, performance of multilayer perceptrons (MLPs) trained using the nCE function depends heavily on the order of nCE. In this paper, we propose an adaptive learning rate to markedly reduce the sensitivity of MLP performance to the order of nCE. Additionally, we propose to limit error signal values at out-put nodes for stable learning with the adaptive learning rate. Through simulations of handwritten digit recognition and isolated-word recognition tasks, it was verified that the proposed method successfully reduced the performance dependency of MLPs on the nCE order while maintaining advantages of the nCE function.