• 정보처리학회논문지B
• /
• 제8B권5호
• /
• pp.477-484
• /
• 2001

본 논문에서는 회귀용 support vector machine의 성능 개선을 위한 모멘텀과 kernel-adatron 기법이 조합형 학습알고리즘을 제안하였다. 제안된 학습알고리즘은 supper vector machine의 학습기법인 기술기상승법에 발생하는 최적해로의 수렴에 따란 발진을 억제하여 그수렴속도를 좀 더 개선시키는 모멘텀의 장점과 비선형 특징공간에서의 동작과 구현의 용이성을 갖는 kernel-adatorn 알고리즘의 장점을 그대로 살린 것이다. 제안된 알고리즘의 support vector machine을 1차원과 2차원 비선형 함수 회귀에 적용하여 시뮬레이션한 결과, 학습속도에 있어서 2차 프로그래밍과 기존의 kernel-adaton 알고리즘보다 더 우수하고, 회귀성능면에서도 우수한 성능이 있음을 확인하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2001년도 추계종합학술대회
• /
• pp.380-385
• /
• 2001

본 논문에서는 기존의 역전파 알고리즘(Back-propagation Algorithm)의 문제점인 지역 최소점(Local Minimum point) 빠질 위험을 제거함과 동시에 학습속도(learning-speed)를 빠르게 하기 위해서 모먼팀을 갖는 PID 역전파 알고리듬(PIDBPMT: PID Back-Propagation algorithm with Momentum Term)을 제안하여 모먼텀 항을 갖는 신경망 PID 제어기를 설계하였다. 그 제어기를 D.C 서보 모터를 구동원으로 하는 위치제어계에서 적용하여 시뮬레이션으로 그 성능을 검정하였다.

• Composites Research
• /
• 제14권5호
• /
• pp.26-37
• /
• 2001

본 연구에서는 복합재료 원통쉘의 구조해석을 통하여 구해진 원통쉘 경사면의 10등분 등간격 9지점의 변형율을 신경회로망의 입력패턴으로 활용하여 원통쉘에 가해진 중격하중 특성을 동시에 추론하였다. 적용된 신경회로망은 Momentum Backpropagation 알고리즘이며, 모멘텀 계수 및 학습율이 학습도에 따라 가변적으로 조정될 수 있도록 프로그램을 개발 적용하였다 Backpropagation 신경회로망의 은닉층은 1층에서 3층까지 별도 프로그램을 개발하여 충격하중 특성추론 학습을 시도하였다. 개발된 신경회로망 프로그램을 적용하여 원통쉘의 충격하중 특성추론 정확도는 1%이내로 학습에 성공하였다. 본 연구 결과 신경회로망을 이용한 복합재료 원통쉘의 충격하중 특성을 추론할 수 있는 역문제 해석이 가능해졌다.

• 디지털융복합연구
• /
• 제17권10호
• /
• pp.251-258
• /
• 2019

앞으로의 시대는 인공지능을 이용한 다양한 분야에 다양한 제품이2 생성될 것이다. 이러한 시대에 인공지능의 학습 방법의 동작 원리를 알고 이를 정확하게 활용하는 것은 상당히 중요한 문제이다. 이 논문은 지금까지 알려진 인공지능 학습 방법을 소개한다. 인공지능의 학습은 수학의 고정점 반복 방법(fixed point iteration method)을 기반으로 하고 있다. 이 방법을 기반으로 수렴 속도를 조절한 GD(Gradient Descent) 방법, 그리고 쌓여가는 양을 누적하는 Momentum 방법, 마지막으로 이러한 방법을 적절히 혼합한 Adam(Adaptive Moment Estimation) 방법 등이 있다. 이 논문에서는 각 방법의 장단점을 설명한다. 특히, Adam 방법은 조정 능력을 포함하고 있어 기계학습의 강도를 조정할 수 있다. 그리고 이러한 방법들이 디지털 신호에 어떠한 영향을 미치는 지에 대하여 분석한다. 이러한 디지털 신호의 학습과정에서의 변화는 앞으로 인공지능을 이용한 작업 및 연구를 수행함에 있어 정확한 활용과 정확한 판단의 기준이 될 것이다.

• 전력전자학회:학술대회논문집
• /
• 전력전자학회 2001년도 전력전자학술대회 논문집
• /
• pp.298-300
• /
• 2001

This paper presents a forecasting method for production volume of each model manufactured goods by using Back-Propagation technique of Neural Networks. As the learning constant and the momentum constant are respectively 0.65 and 0.94, the learning number is the least, and the forecating accuracy is the highest. When the learning process is more than 1,000 times, the accurate forecating was possible regardless of kind of product.

• Journal of information and communication convergence engineering
• /
• 제1권3호
• /
• pp.157-162
• /
• 2003

We propose a learning method for improving the performance of the backpropagation algorithm. The proposed method is using a fuzzy logic system for automatic tuning of the learning rate of each weight. Instead of choosing a fixed learning rate, the fuzzy logic system is used to dynamically adjust the learning rate. The inputs of fuzzy logic system are delta and delta bar, and the output of fuzzy logic system is the learning rate. In order to verify the effectiveness of the proposed method, we performed simulations on the XOR problem, character classification, and function approximation. The results show that the proposed method considerably improves the performance compared to the general backpropagation, the backpropagation with momentum, and the Jacobs'delta-bar-delta algorithm.

• 한국산학기술학회논문지
• /
• 제21권2호
• /
• pp.189-194
• /
• 2020

본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2002년도 ICCAS
• /
• pp.102.1-102
• /
• 2002

In this paper, we propose Self-organizing neurofuzzy networks(SONFN) and discuss their comprehensive design methodology. The proposed SONFN is generated from the mutually combined structure of both neurofuzzy networks (NFN) and polynomial neural networks(PNN) for model identification of complex and nonlinear systems. NFN contributes to the formation of the premise part of the SONFN. The consequence part of the SONFN is designed using PNN. The parameters of the membership functions, learning rates and momentum coefficients are adjusted with the use of genetic optimization. We discuss two kinds of SONFN architectures and propose a comprehensive learning algorithm. It is shown that this network...

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2001년도 학술대회 논문집 전문대학교육위원
• /
• pp.62-64
• /
• 2001

This paper presents a forecasting method for production volume of each model manufacture d goods by using Back-Propagation technique of Neural Networks. As the learning constant and the momentum constant are respectively 0.65 and 0.94, the teaming number is the least, and the forecating accuracy is the highest. When the learning process is more than 1,000 times, the accurate forecating was possible regardless of kind of product.

• 한국동물학회:학술대회논문집
• /
• 한국동물학회 1996년도 한국생물과학협회 국제학술대회
• /
• pp.271.1-271
• /
• 1996

No Abstract, See Full Text