• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.39 no.4
• /
• pp.19-27
• /
• 2002

We proposed an auto-tuning method of learning rate for performance improvement of backpropagation algorithm. Proposed method is used a fuzzy logic system for automatic tuning of learning rate. Instead of choosing a fixed learning rate, the fuzzy logic system is used to dynamically adjust learning rate. The inputs of fuzzy logic system are ${\Delta}$ and $\bar{{\Delta}}$, and the output is the learning rate. In order to verify the effectiveness of the proposed method, we performed simulations on a N-parity problem, function approximation, and Arabic numerals classification. The results show that the proposed method has considerably improved the performance compared to the backpropagation, the backpropagation with momentum, and the Jacobs' delta-bar-delta.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.12a
• /
• pp.162-165
• /
• 2002

Q-learning은 강화학습의 한 방법으로서, 여러 분야에 널리 응용되고 있는 기법이다. 최근에는 Linear Quadratic Regulation(이하 LQR) 문제에 성공적으로 적용된 바 있는데, 특히, 시스템모델의 파라미터에 대한 구체적인 정보가 없는 상태에서 적절한 입력과 출력만을 가지고 학습을 통해 문제를 해결할 수 있어서 상황에 따라서 매우 실용적인 대안이 될 수 있다. Neural Q-learning은 이러한 Q-learning의 Q-value를 MLP(multilayer perceptron) 신경망의 출력으로 대치시킴으로써, 비선형 시스템의 최적제어 문제를 다룰 수 있게 한 방법이다. 그러나, Neural Q방식은 신경망의 구조를 먼저 결정한 후 역전파 알고리즘을 이용하여 학습하는 절차를 취하기 때문에, 시행착오를 통하여 신경망 구조를 결정해야 한다는 점, 역전파 알고리즘의 적용으로 인해 신경망의 연결강도 값들이 지역적 최적해로 수렴한다는 점등의 문제점을 상속받는 한계가 있다. 따라서, 본 논문에서는 Neural-0 학습의 도구로, 역전파 알고리즘으로 학습되는 MLP 신경망을 사용하는 대신 최근 들어 여러 분야에서 그 성능을 인정받고 있는 서포트 벡터 학습법을 사용하는 방법을 택하여, $\varepsilon$-SVR(Epsilon Support Vector Regression)을 이용한 Q-value 근사 기법을 제안하고 관련 수식을 유도하였다. 그리고, 모의 실험을 통하여, 제안된 서포트 벡터학습 기반 Neural-Q 방법의 적용 가능성을 알아보았다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2001.05a
• /
• pp.79-82
• /
• 2001

생산품을 제조하는 과정에서 처리 시간에 따른 제조 기계를 최적의 수로 결정함으로서 공정 과정에서 비효율적인 제조 기계의 활용 비율을 줄일 수 있으며, 이는 공정 과정의 비용을 최소화할 수 있는 방법 중에 하나이다. 본 논문에서는 핸드폰에 사용되는 여러 가지 모델의 배터리를 생산하는 공장의 작업 과정을 조사하고, 일정하기 않은 처리 시간과 작업에 필요한 제조 기계를 조사하였다. 이를 인공 신경망(ANN)의 역전파 알고리즘을 이용하여 생산현장에서 효율적인 처리 시간과 공정 과정에서 생산에 적합한 기계의 수를 최적화시키는 방법을 제안한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2001.10a
• /
• pp.226-229
• /
• 2001

Radio signal tracking has been developed especially in military as well as in other industries. It is necessary that an adaptive system trace the signal varying its PRI and frequency. In this paper we proposed a system to adapt various PRI and frequency using a neural network model named Error Back Propagation. Fist we prepared learning data by separating signal into time intervals and did some experiments with the teaming data. We found that the system had good effectiveness in tracing varying PRI and frequency signals.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.129-132
• /
• 2002

본 논문은 웨이브렛 변환 다중해상도 분해(multi-resolution Analysis : MRA)와 적응성 뉴로-퍼지 인터페이스 시스템(Adaptive Neuro-Fuzzy Inference System : ANFIS)을 기반으로 한 웨이브렛 신경망을 가지고 임의의 비선형 함수 학습 근사화를 개선하는 것이다. ANFIS 구조는 벨형 퍼지 함수로 구성이 되었고, 웨이브렛 신경망은 전파 알고리즘과 역전파 신경망 알고리즘으로 구성되었다. 여기 웨이브렛 구성은 단일 크기이고, ANFIS 기반 웨이브렛 신경망의 학습을 위해 역전파 알고리즘을 사용하였다. 1차원과 2차원 함수에서 웨이브렛 전달 파라미터 학습과 ANFIS의 벨형 소속 함수를 이용한 ANFIS 모델 기반 웨이브렛 신경망의 웨이브렛 기저 수 감소와 수렴 속도 성능이 기존의 알고리즘 보다 개선되었음을 확인하였다.

• The Transactions of the Korea Information Processing Society
• /
• v.6 no.5
• /
• pp.1393-1402
• /
• 1999

This paper proposes an efficient principal feature extraction of the image data using neural networks of a new learning algorithm. The proposed learning algorithm is a backpropagation(BP) algorithm based on the steepest descent and dynamic tunneling. The BP algorithm based on the steepest descent is applied for high-speed optimization, and the BP algorithm based on the dynamic tunneling is also applied for global optimization. Converging to the local minimum by the BP algorithm of steepest descent, the new initial weights for escaping the local minimum is estimated by the BP algorithm of dynamic tunneling. The proposed algorithm has been applied to the 3 image data of 12${\times}$12pixels and the Lenna image of 128${\times}$128 pixels respectively. The simulation results shows that the proposed algorithm has better performances of the convergence and the feature extraction, in comparison with those using the Sanger method and the Foldiak method for single-layer neural networks and the BP algorithm for multilayer neural network.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.9 no.4
• /
• pp.883-889
• /
• 2005

Error backpropagation algorithm of multilayer perceptron may result in local-minima because of the insufficient nodes in the hidden layer, inadequate momentum set-up, and initial weights. In this paper, we proposed the ART-1 based fuzzy supervised learning algorithm which is composed of ART-1 and fuzzy single layer supervised learning algorithm. The Proposed fuzzy supervised learning algorithm using self-generation method applied not only ART-1 to creation of nodes from the input layer to the hidden layer, but also the winer-take-all method, modifying stored patterns according to specific patterns. to adjustment of weights. We have applied the proposed learning method to the problem of recognizing a resident registration number in resident cards. Our experimental result showed that the possibility of local-minima was decreased and the teaming speed and the paralysis were improved more than the conventional error backpropagation algorithm.

• Journal of the Korean Society for Aeronautical & Space Sciences
• /
• v.34 no.7
• /
• pp.63-70
• /
• 2006

This paper describes research of using area of artificial mark on vision based head tracker system. A head tracker system consists of the translational and rotational motions which are detected by web camera. Results of the motion are taken from image processing and neural network. Because of the characteristics of cockpit, the specific color on the helmet is tracked for translational motion. And rotational motion is tracked via neural network. Ratio of two different colored area on the helmet is used as input of network. Neural network algorithms used, such as back-propagation and RBFN (Radial Basis Function Network). Both back-propagation using a characteristic of feedback and RBFN using a characteristic of statistics have a good performances for the tracking of nonlinear system such as a head motion. Finally, this paper analyzes and compares with tracking performance.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2001.05a
• /
• pp.684-687
• /
• 2001

In this paper, we propose a ADALINE controller using fuzzy-backpropagation algorithm to adjust weight. In the proposed ADALINE controller, using fuzzy algorithm for traning neural network, controller make use of ADALINE due to simple and computing efficiency. And then it applies to servo-motor as an controlled process. And then it take a simulation for the position control, so the verify the usefulness of the proposed ADALINE controller.

• Proceedings of the Korean Society for Noise and Vibration Engineering Conference
• /
• 2011.10a
• /
• pp.471-474
• /
• 2011

본 논문에서는 이러한 문제점을 해결하기 위해서 발전기 고정자의 가진 주파수의 거동패턴을 모델링하고 거동패턴의 위상변화를 학습패턴으로 만들어 오류 역전파 알고리즘으로 학습시킴으로써 고정자 권선 단말부에 대한 상태 감시한다. 고정자 모사장치를 구성하고 장치로부터 가진 데이터를 획득하여 실험한 결과 가진 주파수에서 일정한 형태의 거동패턴을 보였으며, 거동을 학습패턴으로 만들어 오류 역전파 알고리즘에 적용한 결과 뛰어난 성능을 보였다.