• 한국산학기술학회논문지
• /
• 제15권12호
• /
• pp.7277-7282
• /
• 2014

본 연구에서는 gradient descent 알고리즘을 퍼지제어기의 동조를 위해 멤버십함수의 폭을 해석하는데 이용하였으며 이 해석은 퍼지 제어규칙의 전건부와 후건부 퍼지변수들을 변화시켜 보다 개선된 제어 효과를 얻기 위해 사용된다. 이 방법은 제어기의 파라미터들이 gradient descent 알고리즘의 반복 과정에서 제어변수를 선택하는 것이다. 본 논문에서는 궤환 목표치 제어를 위해 7개의 멤버십함수와 49개의 규칙 그리고 2개의 입력과 1개의 출력을 갖는 FLC을 사용하였다. 추론은 Min-Max 합성법을 이용하였고 멤버십함수는 13개의 양자화 레벨에 대한 삼각 형태를 채택하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제27권4호
• /
• pp.911-923
• /
• 2016

빅데이터 시대에 머신러닝의 중요성은 더욱 부각되고 있고 로지스틱 회귀는 머신러닝에서 분류를 위한 방법으로 의료, 경제학, 마케팅 및 사회과학 전반에 걸쳐 널리 사용되고 있다. 지금까지 R과 Hadoop의 통합환경인 RHIPE 플랫폼은 설치 및 MapReduce 구현의 어려움으로 인해 거의 연구가 이루지 지지 않았다. 본 논문에서는 대용량 데이터에 대해 로지스틱 회귀 추정을 위한 두가지 알고리즘 즉, Gradient Descent 알고리즘과 Newton-Raphson 알고리즘에 대해 MapReduce로 구현하고, 실제 데이터와 모의실험 데이터를 가지고 이들 알고리즘 간의 성능을 비교하고자 한다. 알고리즘 성능 실험에서 Gradient Descent 알고리즘은 학습률에 크게 의존하고 또한 데이터에 따라 수렴하지 않는 문제를 갖고 있다. Newton-Raphson 알고리즘은 학습률이 불필요 할 뿐만 아니라 모든 실험 데이터에 대해 좋은 성능을 보였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2000년도 제15차 학술회의논문집
• /
• pp.373-373
• /
• 2000

In this paper, we propose a fuzzy modeling algorithm which divides the input space more efficiently than convention methods by taking into consideration correlations between components of sample data. The proposed fuzzy modeling algorithm consists of two steps: coarse tuning, which determines consequent parameters approximately using FCRM clustering method, and fine tuning, which adjusts the premise and consequent parameters more precisely by gradient descent algorithm. To evaluate the performance of the proposed fuzzy mode, we use the numerical data of nonlinear function.

• 한국정보처리학회논문지
• /
• 제4권11호
• /
• pp.2769-2779
• /
• 1997

본 논문에서는 공액기울기법과 터널링 시스템을 조합사용하여 신경망의 학습성능을 향상시킬 수 있는 효율적인 방법을 제안하였다. 빠른 수렴속도의 학습을 위하여 공액 기울기법에 기초한 후향전파 알고리즘을 사용하였고, 국소최적해를 만났을 때 이를 벗어난 다른 연결가중치의 설정을 위해 동적터널링 시스템에 기초한 후향전파 알고리즘을 조합한 학습 알고리즘을 적용하였다. 제안된 방법을 패리티 검사 및 패턴분류 문제에 각각 적용하여 기존의 기울기 하강법에 기초한 후향전파 알고리즘 및 기울기 하강법과 동적터널링 시스템을 조합한 후향전파 알고리즘방법의 결과와 비교 고찰하여 제안된 방법이 다른 방법들 보다 학습성능에서 우수함을 나타내었다．

• 전기학회논문지P
• /
• 제58권2호
• /
• pp.164-171
• /
• 2009

This paper presents new learning algorithm of dynamic Bayesian networks (DBN) by means of constrained least square (LS) estimation algorithm and gradient descent method. First, we propose constrained LS based parameter estimation for a Markov chain (MC) model given observation data sets. Next, a gradient descent optimization is utilized for online estimation of a hidden Markov model (HMM), which is bi-linearly constructed by adding an observation variable to a MC model. We achieve numerical simulations to prove its reliability and superiority in which a series of non stationary random signal is applied for the DBN models respectively.

• ETRI Journal
• /
• 제45권1호
• /
• pp.119-130
• /
• 2023

We propose a quantized gradient search algorithm that can achieve global optimization by monotonically reducing the quantization step with respect to time when quantization is composed of integer or fixed-point fractional values applied to an optimization algorithm. According to the white noise hypothesis states, a quantization step is sufficiently small and the quantization is well defined, the round-off error caused by quantization can be regarded as a random variable with identically independent distribution. Thus, we rewrite the searching equation based on a gradient descent as a stochastic differential equation and obtain the monotonically decreasing rate of the quantization step, enabling the global optimization by stochastic analysis for deriving an objective function. Consequently, when the search equation is quantized by a monotonically decreasing quantization step, which suitably reduces the round-off error, we can derive the searching algorithm evolving from an optimization algorithm. Numerical simulations indicate that due to the property of quantization-based global optimization, the proposed algorithm shows better optimization performance on a search space to each iteration than the conventional algorithm with a higher success rate and fewer iterations.

• 한국컴퓨터산업학회논문지
• /
• 제4권10호
• /
• pp.731-740
• /
• 2003

움직임 추정은 연속한 비디오 프레임간의 시간적 상관성을 이용하여 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 동영상 부호화에 있어서 중요한 역할을 한다. 그리고 서로 다른 형태와 크기를 가지는 탐색 패턴과 움직임 벡터의 분포는 블록 정합 기법에서 탐색 속도와 화질을 좌우하는 중요한 요소이다. 본 논문에서는 작은 크로스 탐색 패턴과 블록 기반 경사 하강 탐색 패턴을 이용한 새로운 고속 블록 정합 알고리즘을 제안한다 이 방법은 작은 크로스 탐색 패턴을 이용하여 적은 탐색점으로 움직임이 적은 벡터를 우선 찾은 다음에 움직임이 큰 벡터에 대해서는 블록 기반 경사 하강 탐색 패턴을 이용하여 고속으로 움직임 벡터를 찾게 하였다. 실험결과, 제안된 알고리즘은 블록 기반 경사 하강 탐색 기법에 비하여 움직임 벡터 예측의 속도에 있어서 약 26-40% 이상의 높은 성능 향상을 보였다.

• 한국음향학회지
• /
• 제39권6호
• /
• pp.505-514
• /
• 2020

심층 신경망(Deep Neural Network, DNN) 모델을 대량의 학습 데이터로 학습시키기 위해서는 많은 시간이 소요되기 때문에 병렬 학습 방법이 필요하다. DNN의 학습에는 일반적으로 Stochastic Gradient Descent(SGD) 방법이 사용되는데, SGD는 근본적으로 순차적인 처리가 필요하므로 병렬화하기 위해서는 다양한 근사(approximation) 방법을 적용하게 된다. 본 논문에서는 기존의 DNN 병렬 학습 알고리즘들을 소개하고 연산량, 통신량, 근사 방법 등을 분석한다.

• 제어로봇시스템학회논문지
• /
• 제7권12호
• /
• pp.985-992
• /
• 2001

This paper proposes a self-organizing fuzzy modeling(SOFUM)which an create a new hyperplane shaped cluster and adjust parameters of the fuzzy model in repetition. The suggested algorithm SOFUM is composed of four steps: coarse tuning. fine tuning cluster creation and optimization of learning rates. In the coarse tuning fuzzy C-regression model(FCRM) clustering and weighted recursive least squared (WRLS) algorithm are used and in the fine tuning gradient descent algorithm is used to adjust parameters of the fuzzy model precisely. In the cluster creation, a new hyperplane shaped cluster is created by applying multiple regression to input/output data with relatively large fuzzy entropy based on parameter tunings of fuzzy model. And learning rates are optimized by utilizing meiosis-genetic algorithm in the optimization of learning rates To check the effectiveness of the suggested algorithm two examples are examined and the performance of the identified fuzzy model is demonstrated via computer simulation.

• Transactions on Control, Automation and Systems Engineering
• /
• 제4권4호
• /
• pp.330-340
• /
• 2002

In this Paper. a non-linear approach to a design of model reference adaptive control is presented. The approach is demonstrated by a case study of a simple single-pole and no zero, linear, discrete-time plant. The essence of the idea is to generate a full non-linear model of the plant dynamics and the parameter adaptation dynamics as a gradient descent algorithm with respect to a Riemannian metric. It is shown how a Riemannian metric can be chosen so that the modelled plant dynamics do in fact match the true plant dynamics. The performance of the proposed scheme is compared to a traditional model reference adaptive control scheme using the classical sensitivity derivatives (Euclidean gradients) for the descent algorithm.