• 전기전자학회논문지
• /
• 제24권3호
• /
• pp.766-776
• /
• 2020

최근 기계학습에 대한 관심이 높아지고 연구가 활성화됨에 따라 다양한 기계학습 모델에서 최적의 하이퍼 파라미터 조합을 찾는 것이 중요해지고 있다. 본 논문에서는 다양한 하이퍼 파라미터 중에서 옵티마이저에 중점을 두고, 다양한 데이터에서 주요 옵티마이저들의 성능을 측정하고 비교하였다. 특히, 가장 기본이 되는 SGD부터 Momentum, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdaMax, Nadam까지 총 9개의 옵티마이저의 성능을 MNIST, CIFAR-10, IRIS, TITANIC, Boston Housing Price 데이터를 이용하여 비교하였다. 실험 결과, 전체적으로 Adam과 Nadam을 사용하였을 때 기계학습 모델의 손실 함숫값이 가장 빠르게 감소하는 것을 확인할 수 있었으며, F1 score 또한 높아짐을 확인할 수 있었다. 한편, AdaMax는 학습 중에 불안정한 모습을 많이 보여주었으며, AdaDelta는 다른 옵티마이저들에 비하여 수렴 속도가 느리며 성능이 낮은 것을 확인할 수 있었다.

• 한국수자원학회논문집
• /
• 제31권1호
• /
• pp.45-57
• /
• 1998

본 논문의 목적은 다목적 저수지의 홍수유입량 예측을 위한 방법으로 병렬다중결선의 계층구조를 가진 신경망이론에 의하여 홍수시 불확실한 비선형시스템의 특성을 같는 저수지 유입량 예측모형을 개발하는 것이다. 신경망이론을 이용한 예측모형의 개발을 위하여 역전파 학습알고리즘을 사용하였으며 역전파 학습알고리즘 사용시 흔히 대두되는 지역최소값 문제와 수렴속도의 향상을 위해서 최적화기법인 경사하강법을 이용한 모멘트법과 경사하강법과 Gauss-Newton 방법을 이용한 Leverberg-Marquardt 법을 사용하였다. 모형개발에 사용된 자료는 연속적인 값으로 입력자료와 출력자료를 강우와 댐유입량을 학습시킨 후, 저수지의 홍수유입량 예측을 위한 다층신경망 모형을 구성하였다. 학습시 사용한 자료를 토대로 개발된 모형을 검정한 결과 매우 만족스런 결과를 얻을 수 있었고 실제 충주댐 유역을 대상으로 저수지 홍수유입량 예측결과 모형의 타당성을 입증할 수 있었다.

• 한국시뮬레이션학회논문지
• /
• 제29권4호
• /
• pp.73-84
• /
• 2020

인터넷이 대중화되기 시작하면서 해킹 및 시스템과 네트워크에 대한 공격이 있어 왔고, 날로 그 기법들이 진화되면서 기업 및 사회에 위험과 부담감을 주었다. 그러한 위험과 부담감을 덜기 위해서는 조기에 해킹 및 공격을 탐지하여 적절하게 대응해야 하는데, 그에 앞서 반드시 네트워크 침입탐지의 신뢰성을 높일 필요가 있다. 본 연구에서는 네트워크 침입탐지 정확도를 향상시키기 위해 가중치 초기화와 가중치 최적화를 KDD'99 데이터셋에 적용하는 연구를 하였다. 가중치 초기화는 Xavier와 He 방법처럼 가중치 학습 구조와 관련된 초기화 방법이 정확도에 영향을 준다는 것을 실험을 통해 알 수 있었다. 또한 가중치 최적화는 현재 가중치를 학습률에 반영할 수 있도록 한 RMSProp와 이전 변화를 반영한 Momentum의 장점을 결합한 Adam 알고리즘이 정확도면에서 단연 돋보임을 네트워크 침입탐지 데이터셋의 실험을 통해 확인하였다.

• 전자공학회논문지B
• /
• 제33B권11호
• /
• pp.159-166
• /
• 1996

In this paper, the method for improving the speed of convergence and learning rate of back propagation algorithms is proposed which update the learning rate parameter and momentum term for each weight by generated error, changely the output layer of neural network generates a high value in the case that output value is far from the desired values, and genrates a low value in the opposite case this method decreases the iteration number and is able to learning effectively. The effectiveness of proposed method is verified through the simulation of X-OR and 3-parity problem.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2000년도 추계종합학술대회논문집
• /
• pp.201-204
• /
• 2000

This paper describes a study on the time-varying control of parameters in learning of the neural network. Elman recurrent neural network (RNN) is used to implement the control of parameters. The parameters of learning and momentum rates In the error backpropagation algorithm ate updated at every iteration using fuzzy rules based on performance index. In addition, the gain and slope of the neuron's activation function are also considered time-varying parameters. These function parameters are updated using the gradient descent algorithm. Simulation results show that the auto-tuned learning algorithm results in faster convergence and lower system error than regular backpropagation in the system identification.

• 한국컴퓨터정보학회논문지
• /
• 제22권12호
• /
• pp.49-54
• /
• 2017

Pathfinding for pedestrians provided by various navigation programs is based on a shortest path search algorithm. There is no big difference in their guide results, which makes the path quality more important. Multiple criteria should be included in the search cost to calculate the path quality, which is called a multi-criteria pathfinding. In this paper we propose a user adaptive pathfinding algorithm in which the cost function for a multi-criteria pathfinding is defined as a weighted sum of multiple criteria and the weights are learned automatically by Perceptron learning. Weight learning is implemented in two ways: short-term weight learning that reflects weight changes in real time as the user moves and long-term weight learning that updates the weights by the average value of the entire path after completing the movement. We use the weight update method with momentum for long-term weight learning, so that learning speed is improved and the learned weight can be stabilized. The proposed method is implemented as an app and is applied to various movement situations. The results show that customized pathfinding based on user preference can be obtained.

• 대한교통학회지
• /
• 제13권1호
• /
• pp.95-110
• /
• 1995

n this research neural -based model was developed to forecast link travel times , And it is also compared wiht other time series forecasting models such as Box-Jenkins model, Kalman filter model. These models are validated to evaluate the accuracy of models with real time series data gathered by the license plate method. Neural network's convergency and generalization were investigated by modifying learning rate, momentum term and the number of hidden layer units. Through this experiment, the optimum configuration of the nerual network architecture was determined. Optimumlearining rate, momentum term and the number of hidden layer units hsow 0.3, 0.5, 13 respectively. It may be applied to DRGS(dynamic route guidance system) with a minor modification. The methods are suggested at the condlusion of this paper, And there is no doubt that this neural -based model can be applied to many other itme series forecating problem such as populationforecasting vehicel volume forecasting et .

• 전자공학회논문지CI
• /
• 제39권4호
• /
• pp.19-27
• /
• 2002

역전파 알고리즘의 성능 개선을 위해서 학습율을 자동 조정하는 방식을 제안하였다. 제안한 방식은 각각의 연결강도의 학습율을 퍼지 논리 시스템을 이용하여 자동 조정하는 방식으로 각각의 연결강도에 대해서 ${\Delta}$와 $\bar{{\Delta}}$를 구하여 퍼지 논리 시스템의 입력으로 사용하고, 학습율을 출력으로 사용하였다. 제안한 방식을 N-패리티 문제, 함수 근사, 숫자 패턴 분류에 대한 시뮬레이션 결과 일반적인 역전파 알고리즘, 모멘텀 방식, Jacobs의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.

• 정보처리학회논문지B
• /
• 제9B권5호
• /
• pp.643-652
• /
• 2002

본 연구에서는 신경망 기반 독립성분분석의 분리성능을 개선하기 위해 할선법과 모멘트의 조합형 고정점 알고리즘을 제안하였다. 할선법은 독립성분 상호간의 정보를 최소화하는 목적함수의 근을 근사적으로 구함으로써 계산과정을 단순화하여 좀 더 개선된 분리성능을 얻기 위함이고, 모멘트는 계산과정에서 발생하는 발진을 억제하여 보다 빠른 분리속도를 얻기 위함이다. 이렇게 하면 할선법이 가지는 근사성에 따른 우수성과 과거의 속성을 반영하여 발진을 억제하는 모멘트의 우수성을 동시에 살릴 수 있다. 제안된 알고리즘을 $256\times{256}$ 픽셀의 8개 지문과 $512\times{512}$ 픽셀의 10개 영상으로부터 임의의 혼합행렬에 따라 생성된 복합지문과 복합영상을 각각 대상으로 시뮬레이션 한 결과, 뉴우턴법에 기초한 기존의 알고리즘과 할선법만에 기초한 알고리즘보다 각각 우수한 분리률과 빠른 분리속도가 있음을 확인하였다. 또한 할선법의 이용은 뉴우턴법을 이용한 고정점 알고리즘보다 초기값에도 덜 의존하며, 문제의 규모가 커짐에 따른 비현실적인 분리시간도 해결할 수 있음을 확인하였다.

• Journal of information and communication convergence engineering
• /
• 제22권2호
• /
• pp.165-171
• /
• 2024

In this study, we present a novel approach for enhancing chest X-ray image classification (normal, Covid-19, edema, mass nodules, and pneumothorax) by combining contrastive learning and machine learning algorithms. A vast amount of unlabeled data was leveraged to learn representations so that data efficiency is improved as a means of addressing the limited availability of labeled data in X-ray images. Our approach involves training classification algorithms using the extracted features from a linear fine-tuned Momentum Contrast (MoCo) model. The MoCo architecture with a Resnet34, Resnet50, or Resnet101 backbone is trained to learn features from unlabeled data. Instead of only fine-tuning the linear classifier layer on the MoCopretrained model, we propose training nonlinear classifiers as substitutes for softmax in deep networks. The empirical results show that while the linear fine-tuned ImageNet-pretrained models achieved the highest accuracy of only 82.9% and the linear fine-tuned MoCo-pretrained models an increased highest accuracy of 84.8%, our proposed method offered a significant improvement and achieved the highest accuracy of 87.9%.