• 제어로봇시스템학회논문지
• /
• 제3권6호
• /
• pp.594-601
• /
• 1997

A new algorithm is proposed for training the multilayer perceptrion(MLP) in pattern classification problems to accelerate the learning speed. It is shown that the sigmoid activation function of the output node can have deterimental effect on the performance of learning. To overcome this detrimental effect and to use the information fully in supervised learning, an objective function for binary modes is proposed. This objective function is composed with two new output activation functions which are selectively used depending on desired values of training patterns. The effect of the objective function is analyzed and a training algorithm is proposed based on this. Its performance is tested in several examples. Simulation results show that the performance of the proposed method is better than that of the conventional error back propagation (EBP) method.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1998년도 The Third Asian Fuzzy Systems Symposium
• /
• pp.399-403
• /
• 1998

In this paper, we proposed a new fuzzy supervised learning algorithm. We construct, and train, a new type fuzzy neural net to model the linear activation function. Properties of our fuzzy neural net include : (1) a proposed linear activation function ; and (2) a modified delta rule for learning algorithm. We applied this proposed learning algorithm to exclusive OR,3 bit parity using benchmark in neural network and pattern recognition problems, a kind of image recognition.

• 전자공학회논문지C
• /
• 제35C권1호
• /
• pp.42-54
• /
• 1998

For decreasing intersymbol interference (ISI) due to band-limited channels in digitalcommunication, the uses of equalization techniques are necessary. Among the useful adaptive equalization techniques, because of their ease of implementation and nonlinear capabilites, the neural networks have been used as an alternative for effectively dealing with the channel distortion. In this paepr, a complex-valued multilayer percepron is proposed as a nonlinear adaptive equalizer. After the important properties that a suitable complex-valued activation function must possess are discussed, a new complex-valued activation function is developed for the proposed schemes to deal with M-ary QAM signals of any constellation sizes. It has been further proven that by the nonlinear transformation of the proposed function, the correlation coefficient between the real and imaginary parts of input data decreases when they are jointly Gaussian random variables. Lastly, the effectiveness of the proposed scheme is demonstrated by simulations. The proposed scheme provides, compared with the linear equalizer using the least mean squares (LMS) algorith, an interesting improvement concerning Bit Error Rate (BER) when channel distortions are nonlinear.

• 한국컴퓨터정보학회논문지
• /
• 제11권3호
• /
• pp.107-115
• /
• 2006

본 논문에서는 캐스케이드 코릴레이션 학습 알고리즘을 위한 새로운 클래스의 활성화 함수를 소개한다. 이 함수는 코사인으로 모듈화된 가우스 함수로서 편의상 이 활성화 함수를 코스가우스(CosGauss) 함수라고 칭하기로 한다. 이 함수는 기존의 시그모이드 함수(sigmoidal function), 하이퍼볼릭탄젠트 함수(hyperbolic tangent function), 가우스 함수(gaussian function)에 비해서 등성이(ridge)를 더 많이 얻을 수 있다. 이러한 등성이들로 인하여 빠른 속도로 수렴하고 패턴인식 속도를 향상 시켜서 학습 능력을 향상시킬 수 있다. 캐스케이드 코릴레이션 네트워크에 이 활성화 함수를 사용하여 중요한 기준 문제(benchmark problem)의 하나인 이중나선 문제(two spirals problem)에 대하여 실험하여 다른 활성화 함수들과 결과 값을 비교하였다.

• 전자공학회논문지CI
• /
• 제49권2호
• /
• pp.115-122
• /
• 2012

본 논문에서는 CosGauss라고 하는 코사인함수로 모듈화 된 가우시안 활성화함수가 뉴로 네트워크에서 다항식과 계단함수의 근사에 사용될 수 있음을 증명한다. CosGauss 함수는 시그모이드, 하이퍼볼릭 탄젠트, 가우시안 활성화 함수보다 더 많은 범프(bump)를 구성 할 수 있다. 이 함수를 캐스케이드 코릴레이션 뉴로 네트워크 학습에 사용하여 벤치마크 문제인 Tic-Tac-Toe 게임과 아이리스(iris) 식물 문제와 실험하고 여기에서 얻어진 결과를 다른 활성화 함수를 사용한 결과와 비교 분석한다.

• 한국콘텐츠학회논문지
• /
• 제9권2호
• /
• pp.97-105
• /
• 2009

본 논문에서는 일반화된 캐스케이드 코릴레이션 학습 알고리즘과 일반화된 순환 캐스케이드 코릴레이션 학습 알고리즘의 결합을 통한 새로운 알고리즘을 소개한다. 이 새로운 알고리즘은 패턴분류문제(pattern classification problem)의 신속한 해결을 위하여 비순환 뉴런이 유리한지 순환 뉴런이 유리한지 또는 수직성장이 유리한지 수평성장이 유리한지 고민할 필요 없이 후보뉴런의 학습 중에 네트워크의 구성을 스스로 결정한다. 이 알고리즘의 성능평가를 위하여 학습 알고리즘에서 중요한 기준 문제(benchmark problem) 중의 하나인 콘택트렌즈 문제(Contact lens problem)와 밸런스 스케일 문제 (Balance scale problem)에 대하여 실험하였고 기존의 캐스케이드 코릴레이션 알고리즘 및 순환 캐스케이드 코릴레이션 알고리즘과 성능을 비교 하였다. 이 실험에서 활성화 함수는 일반적으로 많이 사용하는 시그모이드 함수(sigmoidal function) 와 하이퍼볼릭탄젠트 함수(hyperbolic tangent function)를 사용하였다. 이 새로운 알고리즘은 학습을 통하여 기존의 알고리즘보다 적은 수의 은닉뉴런을 생성하여 보다 빠른 학습 속도를 보여주었다.

• Korean Chemical Engineering Research
• /
• 제48권1호
• /
• pp.110-115
• /
• 2010

본 연구 목적은 두가지 종류의 국내 수입탄에 대한 열분해 반응율을 구하고 이를 비교하는 것이다. 이를 위해 TGA를 통하여 열분해 실험을 수행하였으며, 반응상수 분석은 New DAEM 방법을 이용하였다. 서로 다른 가열속도에서 각각 얻어진 TGA 질량변화 곡선으로부터, 활성화 에너지의 분포함수를 구한 후 최고빈도를 나타내는 활성화 에너지를 평균 활성화 에너지로 결정하였다. 그 결과 석탄의 종류에 따라 상기 반응에 대한 반응속도상수가 확실한 차이를 보였다. 이 같은 New DAEM 분석기법을 통해 얻은 반응상수를 적용시킨 CPD 모델을 가지고 예측한 결과가 TGA 실험치와 비교할 때보다 더 잘 일치함도 확인할 수 있었다.

• Smart Structures and Systems
• /
• 제33권2호
• /
• pp.133-143
• /
• 2024

Piezoelectric (PZT) actuators have been widely used in precision positioning fields for their excellent displacement resolution. However, due to the inherent characteristics of piezoelectric actuators, hysteresis has been proven to greatly reduce positioning performance. In this paper, five mathematical hysteretic models based on activation function are proposed to characterize the nonlinear hysteresis characteristics of piezoelectric actuators. Then the performance of the proposed models is verified by particle swarm optimization (PSO) algorithm and the experiment data. Thirdly, the fitting performance of the proposed models is compared with the classical Bouc-Wen model. Finally, the performance of the five proposed models in modelling hysteresis nonlinearity of piezoelectric drivers is compared, in terms of RMSE, MAPE, SAPE and operation efficiency, and relevant suggestions are given.

• 한국산학기술학회논문지
• /
• 제18권10호
• /
• pp.75-80
• /
• 2017

본 논문에서는 딥러닝에서 활용되는 정규화(regularization) 및 항등사상(identity mapping)이 활성함수(activation function) 성능에 미치는 영향에 대해 설명한다. 딥러닝에서 활성함수는 비선형 변환을 위해 사용된다. 초기에는 sigmoid 함수가 사용되었으며, 기울기가 사라지는 기존의 활성함수의 문제점을 극복하기 위해 ReLU(Rectified Linear Unit), LReLU(Leaky ReLU), PReLU(Parametric ReLU), ELU(Exponetial Linear Unit)이 개발되었다. 활성함수와의 연구와는 별도로 과적합(Overfitting)문제를 해결하기 위해, Dropout, 배치 정규화(Batch normalization) 등의 정규화 방법들이 개발되었다. 추가적으로 과적합을 피하기 위해, 일반적으로 기계학습 분야에서 사용되는 data augmentation 기법이 활용된다. 딥러닝 구조의 측면에서는 기존에 단순히 컨볼루션(Convolution) 층을 쌓아올리는 구조에서 항등사상을 추가하여 순방향, 역방향의 신호흐름을 개선한 residual network가 개발되었다. 위에서 언급된 활성함수들은 각기 서로 다른 특성을 가지고 있으나, 새로운 정규화 및 딥러닝 구조 연구에서는 가장 많이 사용되는 ReLU에 대해서만 검증되었다. 따라서 본 논문에서는 정규화 및 항등사상에 따른 활성함수의 성능에 대해 실험적으로 분석하였다. 분석을 통해, 정규화 및 항등사상 유무에 따른 활성함수 성능의 경향을 제시하였으며, 이는 활성함수 선택을 위한 교차검증 횟수를 줄일 수 있을 것이다.

• 한국콘크리트학회:학술대회논문집
• /
• 한국콘크리트학회 2001년도 봄 학술발표회 논문집
• /
• pp.947-952
• /
• 2001

The prediction model is proposed to estimate the variation of compressive strength of fly ash concrete with aging. After analyzing the experimental result with the model, the regression results are presented according to fly ash replacement content and water/cement ratio. Based on the regression results, the influence of fly ash replacement content and water/cement ratio on apparent activation energy was investigated. According to the analysis, the model provides a good estimate of compressive strength development of fly ash concrete with aging. As the fly ash replacement content increases, the limiting relative compressive strength and initial apparent activation energy become greater. The concrete with water/cement ratio smaller than 0.40 shows that the limiting relative compressive strength and apparent activation energy are nearly constant according to water/cement ratio. But, the concrete with water/cement ratio greater than 0.40 has the increasing limiting relative compressive strength and apparent activation energy with increasing water/cement ratio.