• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.04a
• /
• pp.33-36
• /
• 2007

최근에 인공지능 분야에서는, 국내외적으로 강화학습(reinforcement learning)에 관한 관심이 크게 증폭되고 있다. 강화학습의 최근 경향을 살펴보면, 크게 가치함수를 직접 활용하는 방법(value function-based methods), 제어 전략에 대한 탐색을 활용하는 방법(policy search methods), 그리고 액터-크리틱 방법(actor-critic methods)의 세가지 방향으로 발전하고 있음을 알 수 있다. 본 논문에서는 이중 세 번째 부류인 액터-크리틱 방법 중 NAC(natural actor-critic) 기법의 한 종류인 RLS-NAC(recursive least-squares based natural actor-critic) 알고리즘을 다양한 트레이스 감쇠계수를 사용하여 연속제어입력(real-valued control inputs)으로 제어되는 Kimura의 기는 로봇에 대해 적용해보고, 그 성능을 기존의 SGA(stochastic gradient ascent) 알고리즘을 이용하여 학습한 경우와 비교해보도록 한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.16 no.3
• /
• pp.432-439
• /
• 2012

In this paper, instead of the conventional PD controller for balancing control of two wheeled inverted pendulum robots, an improved PD controller using the neural network is proposed and implemented for performance verification. First, a two wheeled inverted pendulum robot system is constructed for experiment. Next proper gains of the conventional PD controller according to users' weights are obtained for balancing the robot by use of the trial and error method. The PD gains based on the trial and error method are generalized through the neural network. Experiment results show that the PD controller based on the neural network has better performance than the conventional PD controller.

• Journal of Biosystems Engineering
• /
• v.15 no.3
• /
• pp.186-198
• /
• 1990

인간 소뇌의 구조와 기능을 간략하게 수학적으로 모델링하여 입력에 따른 시스템의 적정 출력을 학습에 의한 적응 제어 방식으로 추출해 내는 소뇌모델 대수제어기(CMAC : Cerebellar Model Arithmetic Controller)가 제안되었다. 본 논문에서는 연구개발된 기존 신경회로망과의 비교 분석에 의거하여, 소뇌모델 대수제어기 대신 네트의 특성에 따라 소뇌모델 선형조합 신경망(CMLAN : Cerebellum Model Linear Associator Network)이라 하였다. 소뇌모델 선형조합 신경망은 시스템의 제어 함수치를 결정하는 데 있어, 기존의 제어방식이 시스템의 모델링을 기초로 하여 알고리즘에 의한 수치해석적 또는 분석적 기법으로 모델 해를 산출하는 것과 달리, 학습을 통하여 저장되는 분산기억 소자들의 함수치를 선형적으로 조합함으로써 시스템의 입출력을 결정한다. 분산기억 소자로의 함수치 산정 및 저장은 소뇌모델 선형조합 신경망이 갖는 고유의 구조적 상태공간 매핑(State Space Mapping)과 델타규칙(Delta Rule)에 의거한 시스템의 입출력 상태함수의 학습으로써 수행된다. 본 논문을 통하여 소뇌모델 선형조합신경망의 구조적 특성, 학습 성질과 상태공간 설정 및 시스템의 수렴성을 규명하였다. 또한 기존의 최대 편차수정 학습 알고리즘이 갖는 비능률성 및 적용 제한성을 극복한 효율적 학습 알고리즘들을 제시하였다. 언급한 신경망의 특성 및 제안된 학습 알고리즘들의 능률성을 다양한 학습이득(Learning Gain)하에서 비선형 함수를 컴퓨터로 모의 시험하여 예시하였다.

• Journal of Institute of Control, Robotics and Systems
• /
• v.3 no.2
• /
• pp.139-148
• /
• 1997

본 논문에서는 비선형 마찰이 존재하는 조준경 안정화 시스템에 대해서 마찰력 보상과 성능개선을 위한 신경망제어기의 설계방법을 제시한다. 제안한 신경망제어기는 비례, 적분, 진상(PI/LEAD) 제어기와 신경회로망과의 병렬로 구성되며, 제어 목적은 비선형 마찰과 외란이 존재하여도 안정거울의 각속도 추적성능과 안정화 성능의 향상에 있다. 신경회로망의 입력으로 안정거울의 각속도 추적오차와 추적오차의 적분, 제어입력이 필터를 통과한 신호가 사용되며, 신경호로망은 간접학습구조에 의해 학습된다. 조준경 시스템의 비선형 마찰력인 쿨롱마찰력의 크기가 외부환경에 따라 변하는 경우와 시스템으로 외란이 인가되는 경우에 대하여도 제안한 병렬제어기는 기존의 PI/LEAD 제어기보다 추적과 안정화 성능면에서 우수함을 컴퓨터 모의 실험으로 확인한다.

• Transactions of the Korean Society of Mechanical Engineers
• /
• v.17 no.1
• /
• pp.101-111
• /
• 1993

Many processes such as machining, injection-moulding and metal-forming are usually operated by hydraulic servo-systems. The dynamic characteristics of these systems are complex and highly non-linear and are often subjected to the uncertain external disturbances associated with the processes. Consequently, the conventional approach to the controller design for these systems may not guarantee accurate tracking control performance. An effective neuro-fuzzy controller is proposed to realize an accurate hydraulic servo-system regardless of the uncertainties and the external disturbances. For this purpose, first, we develop a simplified fuzzy logic controller which have multidimensional and unsymmetric membership functions. Secondly, we develop a neural network which consists of the parameters of the fuzzy logic controller. It is show that the neural network has both learning capability and linguistic representation capability. The proposed controller was implemented on a hydraulic servo-system. Feedback error learning architecture is adopted which uses the feedback error directly without passing through the dynamics or inverse transfer function of the hydraulic servo-system to train the neuro-fuzzy controller. A series of simulations was performed for the position-tracking control of the system subjected to external disturbances. The results of simulations show that regardless of inherent non-linearities and disturbances, an accuracy tracking-control performance is obtained using the proposed neuro-fuzzy controller.

• Journal of the Korean Institute of Illuminating and Electrical Installation Engineers
• /
• v.12 no.3
• /
• pp.7-13
• /
• 1998

In this paper, the control technique that ID controller are autotuned according to system dynamics, driving out sample in the changeable limits of system dynamics and learning neural network, is presented. In order to lean neural network, the backpropagation learning algorithm is used and the controller parameters obtained by rule-base are used as teacher's values. When load changes, the auto-tuning of PID controller proper to system dynamics is conformed by simulation.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.8 no.2
• /
• pp.106-116
• /
• 1998

A position control algorithm of a flexible manipulator is studied. The proposed algorithm is based on an ACFAC(Automatic Constructed Fuzzy Adaptive Controller) system based on the neural network learning algorithms. The proposed system learns membership functions for input variables using unsupervised competitive learning algorithm and output information using supervised outstar learning algorithm. ACFAC does not need a dynamic modeling of the flexible manipulator. An ACFAC is designed that the end point of the flexible manipulator tracks the desired trajectory. The control input to the process is determined by error, velocity and variation of error. Simulation and experiment results show a robustness of ACFAC compared with the PID control and neural network algorithms.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.2 no.1
• /
• pp.17-32
• /
• 1992

The multi-layer neural network that has broadly been utilized in designing the controller of robot manipulator possesses the desirable characteristics of learning capacity, by which the uncertain variation of the dynamic parameters of robot can be handled adaptively, and parallel distributed processing that makes it possible to control on real-time. However the error back propagation algorithm that has been utilized popularly in the learning of the multi-layer neural network has the problem of its slow convergence speed. In this paper, an approach to improve the convergence speed is proposed using the fuzzy logic that can effectively handle the uncertain and fuzzy informations by linguistic level. The effectiveness of the proposed algorithm is demonstrated by computer simulation of PUMA 560 robot manupulator.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.428-429
• /
• 2022

최근에 자율 주행 자동차에 관련한 관심이 증가하면서 다양한 연구들이 도출되고 있다. 특히, 자율 주행 자동차를 시뮬레이터에서 검증하는 방법은 실 환경과 비교할 때 상대적으로 안전한 성능 검증 방법으로 많이 활용되고 있다. 시뮬레이터의 핵심 기술은 실 환경과 가상 시뮬레이션 환경의 차이를 줄이는 데 있다. 본 논문에서는 Generative Adversarial Imitation Learning(GAIL)[1] 기반으로 자율 주행 자동차 시뮬레이터 내에서 다수의 가상 동적 객체들의 움직임을 제어하는 방법을 제안한다. GAIL은 생성기와 판별기로 구성된다. 생성기는 강화학습 정책 생성기와 전문가 정책 생성기를 포함한다. 판별기는 보상 학습기를 포함한다. GAIL 기반으로 가상 자동차 및 가상 보행자를 제어함으로써 동영상에서의 이동경로를 학습해서 표현할 수 있다.

• Proceedings of the KIEE Conference
• /
• 2003.07d
• /
• pp.2387-2389
• /
• 2003

Acrobat은 대표석인 비선형, underactuated 시스템이며, acrobot의 제어목적에는 swing-up 제어와 balancing 제어가 있다. 이 두 가지 제어목적을 달성하기 위해 기존에 많은 연구가 진행되었다. 그러나 이 방법들은 두 개의 독립적인 제어기를 acrobot의 상태에 따라 전환하여 사용하는 방법으로서 전환 시점의 선정기준에 대한 어려움과 두 가지 제어목적의 달성을 위한 전체 학습 시간지연의 문제점이 있다. 이를 개선하기 위하여 우리는 acrobot의 두 가지 제어목적을 동시에 해결할 수 있도록 기존에 연구하였던 연속적인 상태공간의 근사화가 가능한 영역기반 Q-학습(Region-based Q-Learning)[11]을 기반으로 한 하나의 제어기로 구현하는 방법을 연구하였다. 제안한 방법을 제작한 acrobot에 적용한 실험을 통하여 그 유용성을 검증하였다.