• 전자공학회논문지CI
• /
• 제49권2호
• /
• pp.115-122
• /
• 2012

본 논문에서는 CosGauss라고 하는 코사인함수로 모듈화 된 가우시안 활성화함수가 뉴로 네트워크에서 다항식과 계단함수의 근사에 사용될 수 있음을 증명한다. CosGauss 함수는 시그모이드, 하이퍼볼릭 탄젠트, 가우시안 활성화 함수보다 더 많은 범프(bump)를 구성 할 수 있다. 이 함수를 캐스케이드 코릴레이션 뉴로 네트워크 학습에 사용하여 벤치마크 문제인 Tic-Tac-Toe 게임과 아이리스(iris) 식물 문제와 실험하고 여기에서 얻어진 결과를 다른 활성화 함수를 사용한 결과와 비교 분석한다.

• 한국콘텐츠학회논문지
• /
• 제21권3호
• /
• pp.616-625
• /
• 2021

심층신경망은 임의의 함수를 근사화하는 방법으로 선형모델로 근사화한 후에 비선형 활성함수를 이용하여 추가적 근사화를 반복하는 근사화 방법이다. 이 과정에서 근사화의 성능 평가 방법은 손실함수를 이용한다. 기존 심층학습방법에서는 선형근사화 과정에서 손실함수를 고려한 근사화를 실행하고 있지만 활성함수를 사용하는 비선형 근사화 단계에서는 손실함수의 감소와 관계가 없는 비선형변환을 사용하고 있다. 본 연구에서는 기존의 활성함수에 활성함수의 크기를 변화시킬 수 있는 크기 파라메터와 활성함수의 위치를 변화시킬 수 있는 위치 파라미터를 도입한 파라메트릭 활성함수를 제안한다. 파라메트릭 활성함수를 도입함으로써 활성함수를 이용한 비선형 근사화의 성능을 개선시킬 수 있다. 각 은닉층에서 크기와 위치 파라미터들은 역전파 과정에서 파라미터들에 대한 손실함수의 1차 미분계수를 이용한 학습과정을 통해 손실함수 값을 최소화시키는 파라미터를 결정함으로써 심층신경망의 성능을 향상시킬 수 있다. MNIST 분류 문제와 XOR 문제를 통하여 파라메트릭 활성함수가 기존의 활성함수에 비해 우월한 성능을 가짐을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제21권6호
• /
• pp.117-122
• /
• 2021

자율주행은 자동차가 사람 없이 운전할 수 있도록 해 주며 최근 인공지능 기술의 발전에 힘입어 매우 활발히 연구되고 있다. 인공지능 기술 중에서도 특히 심층 강화 학습이 가장 효과적으로 사용되는데 이를 위해서는 적절한 활성화 함수를 이용한 신경망 구축이 필수적이다. 여태껏 많은 활성화 함수가 제시됐으나 적용 분야에 따라 서로 다른 성능을 보여주었다. 본 논문은 교차로에서 자율주행을 학습하기 위해 심층 강화 학습을 사용할 때 어떤 활성화 함수를 사용하는 것이 효과적인지 성능을 비교 평가한다. 이를 위해 평가에서 사용할 성능 메트릭을 정의하고 각 활성화 함수에 따른 메트릭의 값을 그래프로 비교하였다. 그 결과 Mish를 사용할 경우 보상이 다른 활성화 함수보다 평균적으로 높은 것을 알 수 있었고 보상이 가장 낮은 활성화 함수와의 차이는 9.8%였다.

• 한국농공학회논문집
• /
• 제63권1호
• /
• pp.11-25
• /
• 2021

The objective of this study was to analyze the impact of activation functions on flood forecasting model based on Artificial neural networks (ANNs). The traditional activation functions, the sigmoid and tanh functions, were compared with the functions which have been recently recommended for deep neural networks; the ReLU, leaky ReLU, and ELU functions. The flood forecasting model based on ANNs was designed to predict real-time runoff for 1 to 6-h lead time using the rainfall and runoff data of the past nine hours. The statistical measures such as R2, Nash-Sutcliffe Efficiency (NSE), Root Mean Squared Error (RMSE), the error of peak time (ETp), and the error of peak discharge (EQp) were used to evaluate the model accuracy. The tanh and ELU functions were most accurate with R2=0.97 and RMSE=30.1 (㎥/s) for 1-h lead time and R2=0.56 and RMSE=124.6~124.8 (㎥/s) for 6-h lead time. We also evaluated the learning speed by using the number of epochs that minimizes errors. The sigmoid function had the slowest learning speed due to the 'vanishing gradient problem' and the limited direction of weight update. The learning speed of the ELU function was 1.2 times faster than the tanh function. As a result, the ELU function most effectively improved the accuracy and speed of the ANNs model, so it was determined to be the best activation function for ANNs-based flood forecasting.

• 전자공학회논문지C
• /
• 제35C권1호
• /
• pp.42-54
• /
• 1998

For decreasing intersymbol interference (ISI) due to band-limited channels in digitalcommunication, the uses of equalization techniques are necessary. Among the useful adaptive equalization techniques, because of their ease of implementation and nonlinear capabilites, the neural networks have been used as an alternative for effectively dealing with the channel distortion. In this paepr, a complex-valued multilayer percepron is proposed as a nonlinear adaptive equalizer. After the important properties that a suitable complex-valued activation function must possess are discussed, a new complex-valued activation function is developed for the proposed schemes to deal with M-ary QAM signals of any constellation sizes. It has been further proven that by the nonlinear transformation of the proposed function, the correlation coefficient between the real and imaginary parts of input data decreases when they are jointly Gaussian random variables. Lastly, the effectiveness of the proposed scheme is demonstrated by simulations. The proposed scheme provides, compared with the linear equalizer using the least mean squares (LMS) algorith, an interesting improvement concerning Bit Error Rate (BER) when channel distortions are nonlinear.

• 한국산학기술학회논문지
• /
• 제18권10호
• /
• pp.75-80
• /
• 2017

본 논문에서는 딥러닝에서 활용되는 정규화(regularization) 및 항등사상(identity mapping)이 활성함수(activation function) 성능에 미치는 영향에 대해 설명한다. 딥러닝에서 활성함수는 비선형 변환을 위해 사용된다. 초기에는 sigmoid 함수가 사용되었으며, 기울기가 사라지는 기존의 활성함수의 문제점을 극복하기 위해 ReLU(Rectified Linear Unit), LReLU(Leaky ReLU), PReLU(Parametric ReLU), ELU(Exponetial Linear Unit)이 개발되었다. 활성함수와의 연구와는 별도로 과적합(Overfitting)문제를 해결하기 위해, Dropout, 배치 정규화(Batch normalization) 등의 정규화 방법들이 개발되었다. 추가적으로 과적합을 피하기 위해, 일반적으로 기계학습 분야에서 사용되는 data augmentation 기법이 활용된다. 딥러닝 구조의 측면에서는 기존에 단순히 컨볼루션(Convolution) 층을 쌓아올리는 구조에서 항등사상을 추가하여 순방향, 역방향의 신호흐름을 개선한 residual network가 개발되었다. 위에서 언급된 활성함수들은 각기 서로 다른 특성을 가지고 있으나, 새로운 정규화 및 딥러닝 구조 연구에서는 가장 많이 사용되는 ReLU에 대해서만 검증되었다. 따라서 본 논문에서는 정규화 및 항등사상에 따른 활성함수의 성능에 대해 실험적으로 분석하였다. 분석을 통해, 정규화 및 항등사상 유무에 따른 활성함수 성능의 경향을 제시하였으며, 이는 활성함수 선택을 위한 교차검증 횟수를 줄일 수 있을 것이다.

• The Korean Journal of Physiology and Pharmacology
• /
• 제8권5호
• /
• pp.253-257
• /
• 2004

Schwann cells play an important role in peripheral nerve regeneration. Upon neuronal injury, activated Schwann cells clean up the myelin debris by phagocytosis, and promote neuronal survival and axon outgrowth by secreting various neurotrophic factors. However, it is unclear how the nerve injury induces Schwann cell activation. Recently, it was reported that certain cytoplasmic molecules, which are secreted by cells undergoing necrotic cell death, induce immune cell activation via the toll-like receptors (TLRs). This suggests that the TLRs expressed on Schwann cells may recognize nerve damage by binding to the endogenous ligands secreted by the damaged nerve, thereby inducing Schwann cell activation. Accordingly, this study was undertaken to examine the expression and the function of the TLRs on primary Schwann cells and iSC, a rat Schwann cell line. The transcripts of TLR2, 3, 4, and 9 were detected on the primary Schwann cells as well as on iSC. The stimulation of iSC with poly (I : C), a synthetic ligand for the TLR3, induced the expression of $TNF-{\alpha}$ and RANTES. In addition, poly (I : C) stimulation induced the iNOS expression and nitric oxide secretion in iSC. These results suggest that the TLRs may be involved in the inflammatory activation of Schwann cells, which is observed during Wallerian degeneration after a peripheral nerve injury.

• 대한물리의학회지
• /
• 제8권4호
• /
• pp.513-523
• /
• 2013

PURPOSE: The purpose of this study was to investigate characteristics of the forced pulmonary function test effect and abdominal muscles activation by combined complex exercise with abdominal drawing-in maneuver training of chronic stroke patients. METHODS: 14 post stroke patients(10 males and 4 females) involved voluntary this study and we divided two groups into CEG(complex exercise group) and CEAG (complex exercise and abdominal drawing-in maneuver group).(n=7, per goup). Each groups implicated the 2 times, 30minute exercises for 6 weeks a day. The CEAG performed the complex exercise 15 minutes and 15 minutes of abdominal drawing-in maneuver. For data analysis, the mean and standard deviation were estimated; non-parametric independent t-test was carried out. RESULTS: According to the study, in the combined complex exercise with abdominal drawing-in maneuver group, FVC and activation of transversus abdominis/internal oblique were statistically significant difference compared to the complex exercise group. CONCLUSION: These results indicate that the combined complex with abdominal drawing-in maneuver was efficient in enhancing abdominal muscles activation and pulmonary function of chronic stroke patients.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 추계종합학술대회 논문집
• /
• pp.426-429
• /
• 1999

Many similar class components are stored in object-storage but the object-storage has needed the retrieval function of correct component for reuse. Accordingly this paper designed the class component retrieval viewer of the object-storage by using the improved spreading activation strategy. Object-storage has made up of information of inheritance relation, superclass, subclass, and we defined the queries about each class function. Also we specified connectionist relaxation of the each class and query, finally we gained retrieval result which showed highest activation value order of class component information including the query function.

• 한국인터넷방송통신학회논문지
• /
• 제22권5호
• /
• pp.63-68
• /
• 2022

자율주행 기술은 최근 심층 강화학습의 도입으로 큰 발전을 이루고 있다. 심층 강화 학습을 효과적으로 사용하기 위해서는 적절한 활성화 함수를 선택하는 것이 중요하다. 그 동안 많은 활성화 함수가 제시되었으나 적용할 환경에 따라 다른 성능을 보여주었다. 본 논문은 고속도로에서 자율주행을 학습하기 위해 강화 학습을 사용할 때 어떤 활성화 함수를 사용하는 것이 효과적인지 12개의 활성화 함수 성능을 비교 평가한다. 이를 위한 성능 평가 방법을 제시하였고 각 활성화 함수의 평균 보상 값을 비교하였다. 그 결과 GELU를 사용할 경우 가장 높은 평균 보상을 얻을 수 있었으며 SiLU는 가장 낮은 성능을 보여주었다. 두 활성화 함수의 평균 보상 차이는 20%였다.