• 한국컴퓨터정보학회논문지
• /
• 제3권2호
• /
• pp.139-146
• /
• 1998

비촛점흐려짐과 가산잡음에 의해 훼손된 영상을 정칙화 공액경사법을 이용하여 복원하는 방법을 제안하였다. 기존의 반복복원방법에 비하여 공액경사법은 초선형적인 수렴속도로 해에 수렴할 뿐 아니라 한정된 반복 횟수 내에 원래의 해에 수렴할 수 있다는 장점을지닌다. 본 논문은 반복복원시 잡음의 증폭을 억제하기 위하여 정칙화 공액 경사법에 구속조건을 적용함으로써 적응적으로 윤곽부분과 평면부분의 복원을 행하는 정칙화 공액경사법을 제안하였다. 제안한 방법은 기존의 방법에 비해, 윤곽부분에서는 1에 근사한 구속조건의값을 적용함으로서 윤곽의 복원을 행하고, 평면부분에서는 0에 근사하는 구속조건을 정칙화 공액경사법에 적용함으로써 잡음을 증폭을 억제할 수 있다는 장점을 지닌다.

• 한국정보처리학회논문지
• /
• 제4권11호
• /
• pp.2769-2779
• /
• 1997

본 논문에서는 공액기울기법과 터널링 시스템을 조합사용하여 신경망의 학습성능을 향상시킬 수 있는 효율적인 방법을 제안하였다. 빠른 수렴속도의 학습을 위하여 공액 기울기법에 기초한 후향전파 알고리즘을 사용하였고, 국소최적해를 만났을 때 이를 벗어난 다른 연결가중치의 설정을 위해 동적터널링 시스템에 기초한 후향전파 알고리즘을 조합한 학습 알고리즘을 적용하였다. 제안된 방법을 패리티 검사 및 패턴분류 문제에 각각 적용하여 기존의 기울기 하강법에 기초한 후향전파 알고리즘 및 기울기 하강법과 동적터널링 시스템을 조합한 후향전파 알고리즘방법의 결과와 비교 고찰하여 제안된 방법이 다른 방법들 보다 학습성능에서 우수함을 나타내었다．

• Journal of the Korean Society for Industrial and Applied Mathematics
• /
• 제8권2호
• /
• pp.15-21
• /
• 2004

A Conjugate Gradiant (CG) method is proposed for unconstained optimization which is invariant to a nonlinear scaling of a strictly convex quadratic function. The technique has the same properties as the classical CG-method when applied to a quadratic function. The algorithm derived here is based on a logarithmic model and is compared to the standard CG method of Fletcher and Reeves [3]. Numerical results are encouraging and indicate that nonlinear scaling is promising and deserves further investigation.

• 대한기계학회논문집A
• /
• 제36권7호
• /
• pp.805-811
• /
• 2012

신뢰성 기반 최적설계의 효과적인 수행을 위하여 개발된 단일루프 단일벡터 방법은 신뢰성 해석의 계산과정을 제거함으로써 최적설계 시 발생하는 과도한 계산비용을 줄일 수 있다. 하지만 성능함수의 오목한 정도가 심할 경우, 수렴을 하지 못하고 발산하는 경향을 보인다. 때문에 일반적인 단일루프 단일벡터 방법은 낮은 수렴성과 부정확성 문제를 내포하고 있다. 본 연구에서는 공액경사도법을 이용한 단일루프 단일벡터 방법을 제안한다. 공액경사도법은 이전 반복과정의 최대가능손상점에서 계산된 방향 벡터들을 이용하여 현재 설계점에서의 최대가능손상점을 산출하기 위한 새로운 방향벡터를 구하고 이 방향벡터를 이용하여 현재점에서의 최적화를 수행한다. 이를 다양한 수학예제에 적용하고 다른 방법들과 수치적 성능 비교를 통해 제안한 방법의 유용성을 검증한다. 공액경사도법을 이용한 단일루프 단일벡터 방법은 성능함수 특성에 크게 영향을 받지 않으며 수렴성을 크게 향상시킬 수 있다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1987년도 전기.전자공학 학술대회 논문집(II)
• /
• pp.1595-1597
• /
• 1987

Two gradient methods, steepest descent method and conjugate gradient descent method, are compar ed through application to vector linear predictors. It is found that the convergence rate of the conju-gate gradient descent method is much faster than that of the steepest descent method.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.697-699
• /
• 2004

Stochastic Neighbor Embedding(SNE) is a probabilistic method of mapping high-dimensional data space into a low-dimensional representation with preserving neighbor identities. Even though SNE shows several useful properties, the gradient-based naive SNE algorithm has a critical limitation that it is very slow to converge. To overcome this limitation, faster optimization methods should be considered by using trust region method we call this method fast TR SNE. Moreover, this paper presents a couple of useful optimization methods(i.e. conjugate gradient method and Newton's method) to embody fast SNE algorithm. We compared above three methods and conclude that TR-SNE is the best algorithm among them considering speed and stability. Finally, we show several visualizing experiments of TR-SNE to confirm its stability by experiments.

• Journal of information and communication convergence engineering
• /
• 제2권3호
• /
• pp.177-181
• /
• 2004

In this paper, we suggest an Iris recognition system with an excellent recognition rate and confidence as an alternative biometric recognition technique that solves the limit in an existing individual discrimination. For its implementation, we extracted coefficients feature values with the wavelet transformation mainly used in the signal processing, and we used neural network to see a recognition rate. However, Scale Conjugate Gradient of nonlinear optimum method mainly used in neural network is not suitable to solve the optimum problem for its slow velocity of convergence. So we intended to enhance the recognition rate by using Levenberg-Marquardt Back-propagation which supplements existing Scale Conjugate Gradient for an implementation of the iris recognition system. We improved convergence velocity, efficiency, and stability by changing properly the size according to both convergence rate of solution and variation rate of variable vector with the implementation of an applied algorithm.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1998년도 The Third Asian Fuzzy Systems Symposium
• /
• pp.107-112
• /
• 1998

In this paper, we propose a new paradigm (NEW_BP) to be capable of overcoming limitations of the traditional backpropagation(OLD_BP). NEW_BP is based on the method of conjugate gradients with the normalized direction vectors and computes step size through the linear search which may be characterized by order statistics and golden section. Simulation results showed that NEW_BP was definitely superior to both the stochastic OLD_BP and the deterministic OLD_BP in terms of accuracy and rate of convergence and might sumount the problem of local minima. Furthermore, they confirmed us that stagnant phenomenon of training in OLD_BP resulted from the limitations of its algorithm in itself and that unessential approaches would never cured it of this phenomenon.

• 한국지능시스템학회논문지
• /
• 제8권5호
• /
• pp.98-106
• /
• 1998

본 논문에서는 신경망의 학습성능을 개선하기 위해 확룰적 근사법과 공액기울기법에 기초를 둔 새로운 학습방법을 제안하였다. 제안된 방법에서는 확률적 근사법과 공액기울기법을 조합 사용한 전역 최적화 기법의 역전파 알고리즘을 적용함으로써 학습성능을 최대한 개선할 수 있도록 하였다. 확률적 근사법은 국소최소점을 벗어나 전역최적점에 치우친 근사점을 결정해 주는 기능을 하도록 하며, 이점을 초기값으로 하여 결정론적 기법의 공액기울기법을 적용함으로써 빠른 수렴속도로 전역최적점으로의 수렴확률을 놓였다. 제안된 방법을 패리티 검사와 패턴 분류에 각각 적용하여 그 타당성과 성능을 확인한 결과 제안된 방법은 초기값을 무작위로 설정하는 기울기하강법에 기초를 둔 기존의 역전파 알고리즘이나 확률적 근사법과 기울기하강법에 기초를 둔 역전파 알고리즘에 비해 최적해로의 수렴 확률과 그 수렴속도가 우수함을 확인할 수 있었다.

• 지구물리와물리탐사
• /
• 제10권2호
• /
• pp.147-153
• /
• 2007

CG (conjugate gradient) 법은 선형 연립방정식을 반복적으로 푸는 가장 효율적인 해법 중 하나이고, 또한 비선형 최소자승문제에도 적용할 수 있다. 자기지전류(MT) 역산 문제를 풀 때에는 최소자승문제의 목적함수 자체의 최소화에 직접 CG 법을 적용하거나, Gauss-Newton 법에 기초한 반복역산의 각 반복단계에서 모형의 변화량 계산에 CG 법을 이용할 수 있다. CG 법을 적용할 경우, 임의의 벡터에 대한 감도행렬의 영향 및 그 전치행렬의 전치행렬의 영향을 감도행렬을 직접 구하지 않고 계산할 수 있다는 장점이 있기 때문에 감도행렬의 계산 규모가 방대한 3차원 역산 문제에서 계산시간을 월등히 줄일 수 있다.