• Journal of Advanced Marine Engineering and Technology
• /
• 제21권1호
• /
• pp.66-70
• /
• 1997

In this paper a new learning algorithm for curvature smoothing and improved generalization for multi-layer neural networks is proposed. To enhance the generalization ability a constraint term of hidden neuron activations is added to the conventional output error, which gives the curvature smoothing characteristics to multi-layer neural networks. When the total cost consisted of the output error and hidden error is minimized by gradient-descent methods, the additional descent term gives not only the Hebbian learning but also the synaptic weight decay. Therefore it incorporates error back-propagation, Hebbian, and weight decay, and additional computational requirements to the standard error back-propagation is negligible. From the computer simulation of the time series prediction with Santafe competition data it is shown that the proposed learning algorithm gives much better generalization performance.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
• /
• pp.1379-1382
• /
• 1997

We introduce a fast implementation of the adaptive transversal filter which uses least-mean-square(LMS) algorithm. The fast Hadamard transform(FHT) is used for the implementation of the filter. By using the proposed filter we can get the significant time reduction in computatioin over the conventional time domain LMS filter at the cost of a little performance. By computer simulation, we show the comparison of the propsed Hadamard-domain filter and the time domain filter in the view of multiplication time, mean-square error and robustness for noise.

• 한국융합학회논문지
• /
• 제5권4호
• /
• pp.163-169
• /
• 2014

A stable neural network control scheme for unknown non-linear systems is developed in this paper. While the control variable is optimised to minimize the performance index, convergence of the index is guaranteed asymptotically stable by a Lyapnov control law. The optimization is achieved using a gradient descent searching algorithm and is consequently slow. A fast convergence algorithm using an adaptive learning rate is employed to speed up the convergence. Application of the stable control to a single input single output (SISO) non-linear system is simulated. The satisfactory control performance is obtained.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1996년도 한국자동제어학술회의논문집(국내학술편); 포항공과대학교, 포항; 24-26 Oct. 1996
• /
• pp.684-688
• /
• 1996

In this paper, to overcome drawbacks of variable structure control system a self-tuning fuzzy sliding mode control algorithm using gradient descent method is proposed. The proposed method has the characteristics which are viewed in conventional VSC, e.g. insensitivity to a class of disturbance, parameter variations and uncertainties in the sliding mode. To demonstrate its performance, the proposed control algorithm is applied to a one-degree of freedom robot arm. The results show that both alleviation of chattering and performance are achieved.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.460-463
• /
• 1999

In this paper, we proposed an block-based evolvable neural network(BENN). The BENN can optimize it＇s structure and weights simultaneously. It can be easily implemented by FPGA whose connection and internal functionality can be reconfigured. To solve the local minima problem that is caused gradient descent learning algorithm, genetic algorithms are applied for optimizing the proposed evolvable neural network model.

• 전기전자학회논문지
• /
• 제23권4호
• /
• pp.1302-1308
• /
• 2019

본 논문은 CNN (Convolutional Neural Network)와 2D Lidar 센서에서 획득한 위치 데이터를 이용하여 이미지를 분류하는 방법을 제시한다. Lidar 센서는 데이터 정확도, 형상 왜곡 및 광 변화에 대한 강인성 측면에서의 이점으로 인해 무인 장치에 널리 사용되어 왔다. CNN 알고리즘은 하나 이상의 컨볼루션 및 풀링 레이어로 구성되며 이미지 분류에 만족스러운 성능을 보여 왔다. 본 논문에서는 학습 방법에 따라 다른 유형의 CNN 아키텍처들인 Gradient Descent (GD) 및 Levenberg-arquardt (LM)를 구현하였다. LM 방법에는 학습 파라메터를 업데이트하는 요소 중 하나인 Hessian 행렬 근사 빈도에 따라 두 가지 유형이 있다. LM 알고리즘의 시뮬레이션 결과는 GD 알고리즘보다 이미지 데이터의 분류 성능이 우수하였다. 또한 Hessian 행렬 근사가 더 빈번한 LM 알고리즘은 다른 유형의 LM 알고리즘보다 작은 오류를 보여주었다.

• 한국정보통신학회논문지
• /
• 제10권1호
• /
• pp.88-95
• /
• 2006

PID 제어기는 구조가 간단하고 적용이 용이하다는 장점으로 인하여 널리 사용되고 있는 제어방식이다. 이러한 선형 PID 제어기는 시스템의 파라메터가 변화가 있거나 부하 특성이 비 선형적으로 변화할 때에 적절한 이득과 성능을 얻기 어려워 고성능 제어 특성을 기대하기 어렵다. 본 연구에서는 세포성 면역 반응과 경사감소학습에 기초하여 비선형 PID 제어기를 설계하고, 설계된 제어기의이득과 비선형 함수의 파라메터들을 실시간 적응적으로 학습할 수 있는 학습 알고리즘을 개발하고, 이를 제어시스템에 적용하였다. 제안된 비선형 PID 제어기는 비선형 직류 모터 시스템의 파라메터들이 변화하거나 주파수가 다른 추종 명령에 대하여, 적응적으로 이득을 변화 시키며 추종함을 보였다.

• 한국통신학회논문지
• /
• 제42권2호
• /
• pp.338-344
• /
• 2017

본 논문에서는 송신단, 수신단, 중계 전송단에서 모두 다중 안테나를 가지고 양방향 중계 증폭 전송 방식으로 동작하는 통신 환경을 고려한다. 양방향 중계 전송에서 발생하는 자기 간섭을 한 쪽의 수신단에서는 제거할 수 있고, 다른 한 수신단에서는 제거할 수 없는 상황에서 최대 전송률을 보내기 위해 릴레이 구조를 최적화하는 것을 목표로 한다. 먼저 최대 전송률을 구하기 위하여 GD(gradient descent) 기반의 지역 최적화 알고리즘을 개발하고, 보다 간단한 구조를 가지는 특이값 분해(SVD: singular value decomposition) 기반의 블록 삼각화 방법을 제안한다. 시뮬레이션 결과는 제안하는 양방향 기법들이 기존의 양방향 방법에 비해 자기간섭 제거 기능이 없는 기기가 상용될 때 향상된 성능을 얻는다는 것을 보여준다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권8호
• /
• pp.3519-3533
• /
• 2020

Tuberculosis is a chronic and delayed infection which is easily experienced by young people. According to the statistics of the World Health Organization (WHO), there are nearly ten million fell ill with tuberculosis and a total of 1.5 million people died from tuberculosis in 2018 (including 251000 people with HIV). Tuberculosis is the largest single infectious pathogen that leads to death. In order to help doctors with tuberculosis diagnosis, we compare the tuberculosis classification abilities of six popular convolutional neural network (CNN) models in the same data set to find the best model. Before training, we optimize three parts of CNN to achieve better results. We employ sigmoid function to replace the step function as the activation function. What's more, we use binary cross entropy function as the cost function to replace traditional quadratic cost function. Finally, we choose stochastic gradient descent (SGD) as gradient descent algorithm. From the results of our experiments, we find that Densenet121 is most suitable for tuberculosis diagnosis and achieve a highest accuracy of 0.835. The optimization and expansion depend on the increase of data set and the improvements of Densenet121.

• 대한전기학회논문지:시스템및제어부문D
• /
• 제49권8호
• /
• pp.423-431
• /
• 2000

This paper presents a systematic approach to the input-output data-based fuzzy modeling for the complex and uncertain nonlinear systems, in which the conventional mathematical models may fail to give the satisfying results. To do this, we propose a new method that can yield a successful fuzzy model using a mGA hybrid schemes with a fine-tuning method. We also propose a new coding method fo chromosome for applying the mGA to the structure and parameter identifications of fuzzy model simultaneously. During mGA search, multi-purpose fitness function with a penalty process is proposed and adapted to guarantee the accurate and valid fuzzy modes. This coding scheme can effectively represent the zero-order Takagi-Sugeno fuzzy model. The proposed mGA hybrid schemes can coarsely optimize the structure and the parameters of the fuzzy inference system, and then fine tune the identified fuzzy model by using the gradient descent method. In order to demonstrate the superiority and efficiency of the proposed scheme, we finally show its applications to two nonlinear systems.