• 한국정밀공학회:학술대회논문집
• /
• 한국정밀공학회 1993년도 추계학술대회 논문집
• /
• pp.488-492
• /
• 1993

This paper proposes a new approach to the optimization method of a blending process with neural network. The method is based on the error backpropagation learning algorithm for neural network. Since the neural network can model an arbitrary nonlinear mapping, it is used as a system solver. A fuzzy membership function is used in parallel with the neural network to minimize the difference between measurement value and input value of neural network. As a result, we can guarantee the reliability and stability of blending process by the help of neural network and fuzzy membership function.

• 대한전기학회논문지
• /
• 제43권6호
• /
• pp.991-1000
• /
• 1994

To control nonlinear systems adaptively, we improve learning speed of neural networks and present a novel control algorithm characterized by compensation of control inputs. In an error-backpropagation algorithm for tranining multilayer neural networks(MLNN's) the effect of the slope of activation functions on learning performance is investigated and the learning speed of neural networks is improved by auto-adjusting the slope of activation functions. The control system is composed of two MLNN's, one for control and the other for identification, with the weights initialized by off-line training. The control algoritm is modified by a control strategy which compensates the control error induced by the indentification error. Computer simulations show that the proposed control algorithm is efficient in controlling a nonlinear system with abruptly changing parameters.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
• /
• pp.625-628
• /
• 1997

In this paper the new neural network and sliding mode suspension controller is proposed. That neural network is error self-recurrent neural network. For fast on-line learning, this paper use recursive least squares method. A new neural networks converges considerably faster than the backpropagation algorithm and has advantages of being less affected by the poor initial weights and learning rate. The controller for suspension systems is designed according to sliding mode technique based on new proposed neural network.

• 한국정보통신학회논문지
• /
• 제9권4호
• /
• pp.883-889
• /
• 2005

다층 구조 신경망에서 널리 사용되는 오류 역전파 알고리즘은 초기 가중치와 불충분한 은닉층의 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ART-1에서 경계 변수의 설정에 따라 인식률이 저하되는 문제점을 개선하기 위하여 ART-1과 퍼지 단층 지도 학습 알고리즘을 결합한 ATR-1 기반 퍼지 다층 지도 학습 알고리즘을 제안 한다. 자가 생성을 이용한 제안된 퍼지 지도 학습 알고리즘은 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART-1을 적용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 주민등록증 영상을 대상으로 실험한 결과, 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상도 개선되었다.

• 전자공학회논문지B
• /
• 제32B권3호
• /
• pp.503-511
• /
• 1995

A batch-mode algorithm is proposed to increase the speed of learning in the error backpropagation algorithm with variable learning rate and variable momentum parameters in classification problems. The objective function is normalized with respect to the number of patterns and output nodes. Also the gradient of the objective function is normalized in updating the connection weights to increase the effect of its backpropagated error. The learning rate and momentum parameters are determined from a function of the gradient norm and the number of weights. The learning rate depends on the square rott of the gradient norm while the momentum parameters depend on the gradient norm. In the two typical classification problems, simulation results demonstrate the effectiveness of the proposed algorithm.

• 대한전자공학회논문지SP
• /
• 제39권3호
• /
• pp.88-98
• /
• 2002

MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 유리한 이점을 지니고 있어 화자증명 시스템의 화자학습 및 인식 방법으로서 사용이 기대된다. 그러나 MLP의 학습은 학습에 이용되는 EBP(error backpropagation) 알고리즘의 저속 때문에 상당한 시간을 소요한다. 이 점은 화자증명 시스템에서 높은 화자인식률을 달성하기 위해서는 많은 배경화자가 필요하다는 점과 맞물려 시스템에 화자를 등록하기 위해 많은 시간이 걸린다는 문제를 낳는다. 화자증명 시스템은 화자 등록후 곧바로 증명 서비스를 제공해야 하기 때문에 이 문제를 해결해야 한다. 본 논문에서는 이 문제를 해결하기 위해 EBP의 학습속도를 개선하는 방법과, 기존의 화자증명 방법에서 화자군집 방법을 도입한 배경화자 축소방법을 사용하여 MLP 기반 화자증명 시스템에서 화자등록에 필요한 시간의 단축을 시도한다.

• 한국컴퓨터정보학회논문지
• /
• 제15권4호
• /
• pp.57-63
• /
• 2010

Levenberg-Marquardt 알고리즘에서 감쇠 파라미터는 오류역전파 학습과 Gauss-Newton 학습의 스위치 역할을 하며 학습 속도에 영향을 준다. 이런 감쇠 파라미터를 고정시키는 것은 오차 함수의 진동을 유발하고 학습 속도를 감소시킨다. 따라서 본 논문은 오차 함수의 변화 과정을 참조하여 감쇠 파라미터를 가변적으로 적용하는 방법을 제안한다. 제안된 방법은 오차의 변화량이 크면 감쇠 파라미터를 크게, 오차의 변화량이 작으면 감쇠 파라미터를 작게 조정한다. 이것은 모멘텀과 유사한 역할을 하여 학습 속도를 향상시킨다. 제안된 방법의 검증을 위한 실험으로는 iris 분류 문제와 wine 분류 문제를 사용하였다. 제안된 방법은 iris 분류 문제에서는 67% 학습에서, wine 분류 문제에서는 78% 학습에서 학습 속도가 향상되었으며 기존 방법과 비교하여 오차의 진동도 적은 것을 확인할 수 있었다.

• 전자공학회논문지B
• /
• 제31B권8호
• /
• pp.211-218
• /
• 1994

In this paper we develope a hybrid learning rule to improve the robustness of multi-layer Perceptions. In most neural networks the activation of a neuron is deternined by a nonlinear transformation of the weighted sum of inputs to the neurons. Investigating the behaviour of activations of hidden layer neurons a new learning algorithm is developed for improved robustness for multi-layer Perceptrons. Unlike other methods which reduce the network complexity by putting restrictions on synaptic weights our method based on error-backpropagation increases the complexity of the underlying proplem by imposing it saturation requirement on hidden layer neurons. We also found that the additional gradient-descent term for the requirement corresponds to the Hebbian rule and our algorithm incorporates the Hebbian learning rule into the error back-propagation rule. Computer simulation demonstrates fast learning convergence as well as improved robustness for classification and hetero-association of patterns.

• 한국음향학회지
• /
• 제20권4호
• /
• pp.48-53
• /
• 2001

본 논문에서는 에러 역전파 알고리듬에 기반한 다층 퍼셉트론의 학습 속도를 개선하기 위해 선택적 주의 학습방식을 제안한다. 제안된 방식은 학습 과정에서 세 가지 선택적 주의 기준을 적용하여 학습 데이터베이스 내의 일부 데이터만을 입력 패턴으로 사용하거나 주어진 입력 패턴에 대해 신경회로망내의 특정 영역만 선택적으로 학습이 이루어지도록 한다. 이러한 선택적 주의 기준은 다층 퍼셉트론의 출력층에서 계산된 평균 자승 에러와 은닉층의 각 노드에서 획득된 클래스 의존적인 적합도(relevance)를 이용하여 설정된다. 학습 속도의 개선은 학습 반복 횟수 당 계산량을 줄임으로써 이루어진다. 본 논문에서는 고립 단어 인식시스템에서의 화자 적응 문제에 대해 제안한 선택적 주의 학습방법을 적용하여 그 유효성을 알아보았다. 실험 결과로부터 제안한 선택적 주의 기법이 학습 속도를 평균 60%이상 개선시킬 수 있음을 확인하였다

• ETRI Journal
• /
• 제22권3호
• /
• pp.10-18
• /
• 2000

Although an n-th order cross-entropy (nCE) error function resolves the incorrect saturation problem of conventional error backpropagation (EBP) algorithm, performance of multilayer perceptrons (MLPs) trained using the nCE function depends heavily on the order of nCE. In this paper, we propose an adaptive learning rate to markedly reduce the sensitivity of MLP performance to the order of nCE. Additionally, we propose to limit error signal values at out-put nodes for stable learning with the adaptive learning rate. Through simulations of handwritten digit recognition and isolated-word recognition tasks, it was verified that the proposed method successfully reduced the performance dependency of MLPs on the nCE order while maintaining advantages of the nCE function.