• 제목/요약/키워드: Steepest descent optimization

Search Result 52, Processing Time 0.025 seconds

Adam Optimizer를 이용한 음향매질 탄성파 완전파형역산 (Acoustic Full-waveform Inversion using Adam Optimizer)

  • 김수윤;정우근;신성렬
    • 지구물리와물리탐사
    • /
    • 제22권4호
    • /
    • pp.202-209
    • /
    • 2019
  • 본 연구에서는 Adam 최적화 기법을 이용한 음향매질에서의 탄성파 파형역산 방법을 제안하였다. 탄성파 파형역산에서 최적화에 사용되는 기본적인 최대 경사법은 계산이 빠르고 적용이 간편하다는 장점이 있다. 하지만 속도 모델의 갱신에 일정한 갱신 크기를 사용함에 따라 오차가 정확하게 수렴하지 않는다. 이에 대한 대안으로 제시된 다양한 최적화 기법들의 경우 정확성은 높지만 많은 계산 시간을 필요로 한다는 한계가 있다. Adam 최적화 기법은 최근 딥 러닝 분야에서 학습 모델의 최적화를 위해 사용되는 기법으로 다양한 형태의 모델에 대한 최적화 문제에서 가장 효율적인 성능을 보이고 있다. 따라서 Adam 최적화 기법을 이용한 파형역산 방법을 개발하여 탄성파 파형역산에서의 오차가 빠르고 정확하게 수렴하도록 하였다. 제안된 역산 기법의 성능을 검증하기 위해, 일정한 갱신 크기를 가지는 최대 경사법을 이용하여 수행된 역산 결과와 제안된 Adam 최적화 기반 파형역산을 수행하여 갱신된 P파 속도 모델을 비교하였다. 그 결과 제안된 기법을 통해 빠른 오차 수렴 속도와 높은 정확도의 결과를 확인할 수 있었다.

FIRST ORDER GRADIENT OPTIMIZATION IN LISP

  • Stanimirovic, Predrag;Rancic, Svetozar
    • Journal of applied mathematics & informatics
    • /
    • 제5권3호
    • /
    • pp.701-716
    • /
    • 1998
  • In this paper we develop algorithms in programming lan-guage SCHEME for implementation of the main first order gradient techniques for unconstrained optimization. Implementation of the de-scent techniques which use non-optimal descent steps as well as imple-mentation of the optimal descent techniques are described. Also we investigate implementation of the global problem called optimization along a line. Developed programs are effective and simpler with re-spect to the corresponding in the procedural programming languages. Several numerical examples are reported.

OPTIMIZATION FOR THE BUBBLE STABILIZED LEGENDRE GALERKIN METHODS BY STEEPEST DESCENT METHOD

  • Kim, Seung Soo;Lee, Yong Hun;Oh, Eun Jung
    • 호남수학학술지
    • /
    • 제36권4호
    • /
    • pp.755-766
    • /
    • 2014
  • In the discrete formulation of the bubble stabilized Legendre Galerkin methods, the system of equations includes the artificial viscosity term as the parameter. We investigate the estimation of this parameter to get the optimal solution which minimizes the maximum error. Some numerical results are reported.

기울기하강과 동적터널링에 기반을 둔 학습알고리즘의 신경망을 이용한 영상데이터의 주요특징추출 (Principal Feature Extraction on Image Data Using Neural Networks of Learning Algorithm Based on Steepest Descent and Dynamic tunneling)

  • 조용현
    • 한국정보처리학회논문지
    • /
    • 제6권5호
    • /
    • pp.1393-1402
    • /
    • 1999
  • 본 논문에서는 새로운 학습알고리즘의 3층 전향 신경망을 이용한 입력데이터의 주요 특징추출에 대해서 제안하였다. 제안된 학습알고리즘에서에서는 빠른 수렴속도의 최적화가 가능하도록 하기 위하여 기울기하강의 역전파 알고리즘을 이용하고, 국소최적해를 만났을 때 이를 벗어난 새로운 연결가중치의 설정을 위하여 동적터널링의 역전파 알고리즘을 이용함으로써 빠른 수렴속도로 전역최적해로에 수렴되도록 학습시킬 수 있다. 제안된 학습 알고리즘을 이용한 다층신경망을 $12{\times}12$ 픽셀의 영상 데이터들과 $128{\times}128$ 픽셀의 Lenna 영상데이터를 대상으로 시뮬레이션한 결과, 단층신경망을 이용하는 Sanger 방법이나 측면연결을 가지는 단충신경망을 이용하는 Foldiak 방법 및 기울기하강에 기초를 둔 기존의 역전파 알고리즘을 이용한 다층신경망에 의한 결과와 비교할 때 더욱 우수한 수렴성능과 추출성능이 있음을 확인할 수 있었다.

  • PDF

유체기계 임펠러의 최적 역설계 기법 (Optimization Inverse Design Technique for Fluid Machinery Impellers)

  • 김종섭;박원규
    • 한국전산유체공학회지
    • /
    • 제3권1호
    • /
    • pp.37-45
    • /
    • 1998
  • A new and efficient inverse design method based on the numerical optimization technique has been developed. The 2-D incompressible Navier-Stokes equations are solved for obtaining the objective functions and coupled with the optimization procedure to perform the inverse design. The steepest descent and the conjugate gradient method have been applied to find the searching direction. The golden section method was applied to compute the design variable intervals. It has been found that the airfoil and the pump impellers are well converged to their targeting shapes.

  • PDF

제약조건을 갖는 최소자승 추정기법과 최급강하 알고리즘을 이용한 동적 베이시안 네트워크의 파라미터 학습기법 (Parameter Learning of Dynamic Bayesian Networks using Constrained Least Square Estimation and Steepest Descent Algorithm)

  • 조현철;이권순;구경완
    • 전기학회논문지P
    • /
    • 제58권2호
    • /
    • pp.164-171
    • /
    • 2009
  • This paper presents new learning algorithm of dynamic Bayesian networks (DBN) by means of constrained least square (LS) estimation algorithm and gradient descent method. First, we propose constrained LS based parameter estimation for a Markov chain (MC) model given observation data sets. Next, a gradient descent optimization is utilized for online estimation of a hidden Markov model (HMM), which is bi-linearly constructed by adding an observation variable to a MC model. We achieve numerical simulations to prove its reliability and superiority in which a series of non stationary random signal is applied for the DBN models respectively.

시간지연 시스템을 위한 리아푸노브 이론 기반 상태 피드백 제어기 설계 (Design of Lyapunov Theory based State Feedback Controller for Time-Delay Systems)

  • 조현철;신찬배
    • 전기학회논문지
    • /
    • 제62권1호
    • /
    • pp.95-100
    • /
    • 2013
  • This paper presents a new state feedback control approach for communication networks based control systems in which control input and output observation time-delay natures are generally occurred in practice. We first establish a generic state feedback control framework based on well-known linear system theory. A maximum time-delay value which allows critical stability of whole control system are defined to make a positive definite Lyapunov function which is mathematically composed of controlled system states. We analytically derive its control parameters by using a steepest descent optimization method in order to guarantee a stability condition through Lyapunov theory. Computer simulation is numerically carried out for demonstrating reliability of the proposed NCS algorithm and a comparative study is accomplished to prove its superiority for which the traditional control approach for NCS is made use of under same simulation scenarios.

다층신경망을 이용한 디지털회로의 효율적인 결함진단 (An Efficient Fault-diagnosis of Digital Circuits Using Multilayer Neural Networks)

  • 조용현;박용수
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1999년도 하계종합학술대회 논문집
    • /
    • pp.1033-1036
    • /
    • 1999
  • This paper proposes an efficient fault diagnosis for digital circuits using multilayer neural networks. The efficient learning algorithm is also proposed for the multilayer neural network, which is combined the steepest descent for high-speed optimization and the dynamic tunneling for global optimization. The fault-diagnosis system using the multilayer neural network of the proposed algorithm has been applied to the parity generator circuit. The simulation results shows that the proposed system is higher convergence speed and rate, in comparision with system using the backpropagation algorithm based on the gradient descent.

  • PDF

LMS 적응 필터 설계를 위한 고속 수렴 알고리즘에 관한 연구 (A Study on the Fast Converging Algorithm for LMS Adaptive Filter Design)

  • 신연기;이종각
    • 대한전자공학회논문지
    • /
    • 제19권5호
    • /
    • pp.12-19
    • /
    • 1982
  • 현재까지의 적응 필터(adaptive filter)의 설계 방법을 대별하면 국부 파라미타 최적화(local parameter optimization)방법[1]과 안정성(stability)을 주한점으로 하는 방법[1-3] 의 두 가지로 된다. 그리고 이들 중에서 비교적 간단한 방법은 로칼 파라미터 최적화 방법으로서, 이것에서는 스티피스트-디샌트(steepest-descent)방법[15]을 이용하는 LMS 알고리즘을 대표적인 것으로 들 수 있다. 적응 필터의 설계에 있어서 가장 중요한 것은 수검 속도를 높이는 일이다. 본 논문은 적응 비순환 필터의 설계를 위한 고속 수검 알고리즘을 개발하는 문제에 관하여 연구한 것으로, 적응 이득(adaptation-gain)을 적절히 조정함으로써, 종래 사용되어 오던 LMS 알고리즘 및 그의 변형인 여러 알고리즘에 비하여 수검 속도를 높일 수 있으며 동시에 안정성이 높은 새로운 알고리즘을 제시하였다. 그리고 제안된 알고리즘을 이용한 적응 필터의 특성 배선 문제를 다각도로 검토하였다.

  • PDF

공력설계를 위한 수치최적설계기법의 연구 (A Study on Numerical Optimization Method for Aerodynamic Design)

  • 김설송;최재호;김광용
    • 한국유체기계학회 논문집
    • /
    • 제2권1호
    • /
    • pp.29-34
    • /
    • 1999
  • To develop the efficient numerical optimization method for the design of an airfoil, an evaluation of various methods coupled with two-dimensional Naviev-Stokes analysis is presented. Simplex method and Hook-Jeeves method we used as direct search methods, and steepest descent method, conjugate gradient method and DFP method are used as indirect search methods and are tested to determine the search direction. To determine the moving distance, the golden section method and cubic interpolation method are tested. The finite volume method is used to discretize two-dimensional Navier-Stokes equations, and SIMPLEC algorithm is used for a velocity-pressure correction method. For the optimal design of two-dimensional airfoil, maximum thickness, maximum ordinate of camber line and chordwise position of maximum ordinate are chosen as design variables, and the ratio of drag coefficient to lift coefficient is selected as an objective function. From the results, it is found that conjugate gradient method and cubic interpolation method are the most efficient for the determination of search direction and the moving distance, respectively.

  • PDF