• 제목/요약/키워드: gradient descent optimization

검색결과 82건 처리시간 0.025초

지능형 IIR 필터 기반 다중 채널 ANC 시스템 (Intelligent IIR Filter based Multiple-Channel ANC Systems)

  • 조현철;여대연;이영진;이권순
    • 제어로봇시스템학회논문지
    • /
    • 제16권12호
    • /
    • pp.1220-1225
    • /
    • 2010
  • This paper proposes a novel active noise control (ANC) approach that uses an IIR filter and neural network techniques to effectively reduce interior noise. We construct a multiple-channel IIR filter module which is a linearly augmented framework with a generic IIR model to generate a primary control signal. A three-layer perceptron neural network is employed for establishing a secondary-path model to represent air channels among noise fields. Since the IIR module and neural network are connected in series, the output of an IIR filter is transferred forward to the neural model to generate a final ANC signal. A gradient descent optimization based learning algorithm is analytically derived for the optimal selection of the ANC parameter vectors. Moreover, re-estimation of partial parameter vectors in the ANC system is proposed for online learning. Lastly, we present the results of a numerical study to test our ANC methodology with realistic interior noise measurement obtained from Korean railway trains.

지능구조물 제어를 위한 적응형 PPF 제어기의 개발 (Development of the Adaptive PPF Controller for the Vibration Syppression of Smart Structures)

  • 이승범;허석;곽문규
    • 한국소음진동공학회:학술대회논문집
    • /
    • 한국소음진동공학회 2001년도 춘계학술대회논문집
    • /
    • pp.302-307
    • /
    • 2001
  • This research is concerned with the development of a real-time adaptive PPF controller for the active vibration suppression of smart structure. In general, the tuning of the PPF controller is carried out off-line. In this research, the real-time learning algorithm is developed to find the optimal filter frequency of the PPF controller in real time and the efficacy of the algorithm is proved by implementing it in real time. To this end, the adaptive algorithm is developed by applying the gradient descent method to the predefined performance index, which is similar to the method used popularly in the optimization and neural network controller design. The experiment was carried out to verify the validity of the adaptive PPF controller developed in this research. The experimental results showed that adaptive PPF controller is effective for active vibration control of the structure which is excited by either impact or harmonic disturbance. The filter frequency of the PPF controller can be tuned in a very short period of time thus proving the efficiency of the adaptive PPF controller.

  • PDF

시스템 상태 및 입력 외란을 고려한 하이브리드 방식의 적응형 피드포워드 제어시스템 (Hybrid Adaptive Feedforward Control System Against State and Input Disturbances)

  • 김준수;조현철;김관형;하홍곤;이형기
    • 제어로봇시스템학회논문지
    • /
    • 제18권3호
    • /
    • pp.237-242
    • /
    • 2012
  • AFC (Adaptive Feedforward Control) is significantly employed for improving control performance of dynamic systems particularly involving periodic disturbance signals in engineering fields. This paper presents a novel hybrid AFC approach for discrete-time systems with multiple disturbances in terms of control input and state variables. The proposed AFC mechanism is hierarchically composed of a conventional feedforward control framework and PID auxiliary control configuration in parallel. The former is generic to decrease periodic disturbance excited to control actuators and the latter is additionally constructed to overcome control deterioration due to time-varying uncertainty under given systems. We carry out numerical simulation to test reliability of our proposed hybrid AFC system and compare its control performance to a well-known conventional AFC method with respect to time and frequency domains for proving of its superiority.

오류 역전파 학습에서 확률적 가중치 교란에 의한 전역적 최적해의 탐색 (Searching a global optimum by stochastic perturbation in error back-propagation algorithm)

  • 김삼근;민창우;김명원
    • 전자공학회논문지C
    • /
    • 제35C권3호
    • /
    • pp.79-89
    • /
    • 1998
  • The Error Back-Propagation(EBP) algorithm is widely applied to train a multi-layer perceptron, which is a neural network model frequently used to solve complex problems such as pattern recognition, adaptive control, and global optimization. However, the EBP is basically a gradient descent method, which may get stuck in a local minimum, leading to failure in finding the globally optimal solution. Moreover, a multi-layer perceptron suffers from locking a systematic determination of the network structure appropriate for a given problem. It is usually the case to determine the number of hidden nodes by trial and error. In this paper, we propose a new algorithm to efficiently train a multi-layer perceptron. OUr algorithm uses stochastic perturbation in the weight space to effectively escape from local minima in multi-layer perceptron learning. Stochastic perturbation probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the EGP learning gets stuck to it. Addition of new hidden nodes also can be viewed asa special case of stochastic perturbation. Using stochastic perturbation we can solve the local minima problem and the network structure design in a unified way. The results of our experiments with several benchmark test problems including theparity problem, the two-spirals problem, andthe credit-screening data show that our algorithm is very efficient.

  • PDF

Pragmatic Assessment of Optimizers in Deep Learning

  • Ajeet K. Jain;PVRD Prasad Rao ;K. Venkatesh Sharma
    • International Journal of Computer Science & Network Security
    • /
    • 제23권10호
    • /
    • pp.115-128
    • /
    • 2023
  • Deep learning has been incorporating various optimization techniques motivated by new pragmatic optimizing algorithm advancements and their usage has a central role in Machine learning. In recent past, new avatars of various optimizers are being put into practice and their suitability and applicability has been reported on various domains. The resurgence of novelty starts from Stochastic Gradient Descent to convex and non-convex and derivative-free approaches. In the contemporary of these horizons of optimizers, choosing a best-fit or appropriate optimizer is an important consideration in deep learning theme as these working-horse engines determines the final performance predicted by the model. Moreover with increasing number of deep layers tantamount higher complexity with hyper-parameter tuning and consequently need to delve for a befitting optimizer. We empirically examine most popular and widely used optimizers on various data sets and networks-like MNIST and GAN plus others. The pragmatic comparison focuses on their similarities, differences and possibilities of their suitability for a given application. Additionally, the recent optimizer variants are highlighted with their subtlety. The article emphasizes on their critical role and pinpoints buttress options while choosing among them.

Anisotropic Total Variation Denoising Technique for Low-Dose Cone-Beam Computed Tomography Imaging

  • Lee, Ho;Yoon, Jeongmin;Lee, Eungman
    • 한국의학물리학회지:의학물리
    • /
    • 제29권4호
    • /
    • pp.150-156
    • /
    • 2018
  • This study aims to develop an improved Feldkamp-Davis-Kress (FDK) reconstruction algorithm using anisotropic total variation (ATV) minimization to enhance the image quality of low-dose cone-beam computed tomography (CBCT). The algorithm first applies a filter that integrates the Shepp-Logan filter into a cosine window function on all projections for impulse noise removal. A total variation objective function with anisotropic penalty is then minimized to enhance the difference between the real structure and noise using the steepest gradient descent optimization with adaptive step sizes. The preserving parameter to adjust the separation between the noise-free and noisy areas is determined by calculating the cumulative distribution function of the gradient magnitude of the filtered image obtained by the application of the filtering operation on each projection. With these minimized ATV projections, voxel-driven backprojection is finally performed to generate the reconstructed images. The performance of the proposed algorithm was evaluated with the catphan503 phantom dataset acquired with the use of a low-dose protocol. Qualitative and quantitative analyses showed that the proposed ATV minimization provides enhanced CBCT reconstruction images compared with those generated by the conventional FDK algorithm, with a higher contrast-to-noise ratio (CNR), lower root-mean-square-error, and higher correlation. The proposed algorithm not only leads to a potential imaging dose reduction in repeated CBCT scans via lower mA levels, but also elicits high CNR values by removing noisy corrupted areas and by avoiding the heavy penalization of striking features.

기업부도 예측 앙상블 모형의 최적화 (The Optimization of Ensembles for Bankruptcy Prediction)

  • 김명종;윤우섭
    • 경영정보학연구
    • /
    • 제24권1호
    • /
    • pp.39-57
    • /
    • 2022
  • 본 연구에서는 범주 불균형 문제가 내재된 기업부도 예측 AdaBoost 앙상블 모형의 성과를 개선하기 위하여 GMOPTBoost 알고리즘을 제안한다. AdaBoost 알고리즘은 오분류 표본에 대하여 강건한 학습기회를 제공한다는 장점이 있지만, 산술평균 정확도에 기반하기 때문에 범주 불균형 문제를 효과적으로 해결하지 못한다는 한계점이 존재한다. GMOPTBoost는 가우시안 경사하강법(Gaussian gradient descent)을 적용하여 기하평균 정확도를 최적화하고 범주 불균형 문제를 효과적으로 해결할 수 있다는 장점이 있다. 본 연구에서는 첫째, 범주 불균형 문제가 예측 모형의 성과에 미치는 효과와 GMOPTBoost의 성과 개선 효과를 검증하기 위하여 5개의 범주 불균형 데이터를 구성하였으며, 둘째, 범주 균형 데이터에 대한 GMOPTBoost의 성과 개선 효과를 검증하기 위하여 데이터 샘플링 기법을 통하여 구성된 균형 데이터를 구성하였다. 30회의 교차타당성 분석의 주요 결과는 다음과 같다. 첫째, 범주 불균형 문제는 예측 성과에 부정적인 영향을 미친다. 둘째, GMOPTBoost는 불균형 데이터에 적용된 AdaBoost의 성과를 유의적으로 개선시키는 긍정적인 효과를 제공한다. 셋째, 데이터 샘플링 기법은 성과 개선에 긍정적인 영향을 미친다. 마지막으로 데이터 샘플링 기법을 적용한 범주 균형 데이터에서도 GMOPTBoost는 유의적인 성과 개선에 기여한다.

딥러닝의 모형과 응용사례 (Deep Learning Architectures and Applications)

  • 안성만
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.127-142
    • /
    • 2016
  • 딥러닝은 인공신경망(neural network)이라는 인공지능분야의 모형이 발전된 형태로서, 계층구조로 이루어진 인공신경망의 내부계층(hidden layer)이 여러 단계로 이루어진 구조이다. 딥러닝에서의 주요 모형은 합성곱신경망(convolutional neural network), 순환신경망(recurrent neural network), 그리고 심층신뢰신경망(deep belief network)의 세가지라고 할 수 있다. 그 중에서 현재 흥미로운 연구가 많이 발표되어서 관심이 집중되고 있는 모형은 지도학습(supervised learning)모형인 처음 두 개의 모형이다. 따라서 본 논문에서는 지도학습모형의 가중치를 최적화하는 기본적인 방법인 오류역전파 알고리즘을 살펴본 뒤에 합성곱신경망과 순환신경망의 구조와 응용사례 등을 살펴보고자 한다. 본문에서 다루지 않은 모형인 심층신뢰신경망은 아직까지는 합성곱신경망 이나 순환신경망보다는 상대적으로 주목을 덜 받고 있다. 그러나 심층신뢰신경망은 CNN이나 RNN과는 달리 비지도학습(unsupervised learning)모형이며, 사람이나 동물은 관찰을 통해서 스스로 학습한다는 점에서 궁극적으로는 비지도학습모형이 더 많이 연구되어야 할 주제가 될 것이다.

다양한 위협 하에서 복수 무인기의 경로점 계획을 위한 계층적 입자 군집 최적화 (Hierarchical Particle Swarm Optimization for Multi UAV Waypoints Planning Under Various Threats)

  • 정원모;김명건;이산하;이상필;박춘신;손흥선
    • 한국항공우주학회지
    • /
    • 제50권6호
    • /
    • pp.385-391
    • /
    • 2022
  • 본 논문에서는 경사 하강법 기반의 경로 생성(GBPP)과 입자 군집 최적화(PSO)를 결합하여 3차원 공간에서 금지구역, 지형정보, 고정익 특성 등을 고려한 경로 생성 알고리즘을 제안한다. 기존의 GBPP 방법의 경우 빠르게 경로 생성이 가능하지만 초기 경로에 따라 지역적 최적 값에 빠져 안전하지 않은 경로가 생성될 수 있다. 유전 알고리즘(GA)과 PSO 등 생물학에서 영감을 받은 군집 지능 알고리즘들의 경우 다양한 경로들을 샘플링하여 지역적 최적 값 문제를 해결할 수 있다. 다만 무인기와 경로점 개수가 증가하여 최적 변수가 증가할 경우 군집 개수를 늘려야 하고 계산 시간이 크게 증가한다. 두 알고리즘 단점을 보완하고자 본 연구에서는 GBPP 입력 값인 초기경로를 수평, 수직 방향에 대한 변위 두 가지 변수로 정의하고 이를 PSO 변수로 정의하여 계층적 경로 최적화 알고리즘 HPSO를 제안한다. 제안한 알고리즘은 통용되는 비행 제어 컴퓨터(FCC)의 software-in-the-loop simulation(SILS)을 사용하여 고정익 무인기에 대한 사용 가능성을 검증하였다.

광대역 전자파를 이용한 역산란 해석 연구 (Analysis of Microwave Inverse Scattering Using the Broadband Electromagnetic Waves)

  • 이정훈;정용식;소준호;김준연;장원
    • 한국전자파학회논문지
    • /
    • 제17권2호
    • /
    • pp.158-164
    • /
    • 2006
  • 본 논문에서는 시간 영역 유한차분법(FDTD: Finite-Difference Time-Domain Method)과 설계 민감도법(design sensitivity analysis)을 이용하여 미지의 유전체 산란체(dielectric scatterer) 복원을 위한 역산란 문제(inverse scattering)의 새로운 해석 기법을 제안하였다. 본 연구에서는 빠른 수렴을 위하여 목적 함수의 도함수를 이용한 설계 민감도법을 도입하였고, 시간 영역 유한차분법으로부터 직접 설계 민감도 수식을 도출하였다. 해석의 효율성을 위하여 보조 변수법(adjoint variable method)을 도입하여 보조 변수 방정식을 도출하고 최적화 알고리듬으로 최대 경사도법을 이용하여 반복적인 추정을 통하여 미지의 유전체를 복원하였다. 본 연구의 타당성의 보이기 위하여 2차원 $TM^z$에서의 유전체 복원 사례를 제시한다.