• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.35-36
• /
• 2023

본 논문에서는 OpenAI Gym 환경에서 제공하는 Acrobot-v1에 대해 DQN(Deep Q-Networks) 강화학습으로 학습시키고, 이 때 적용되는 활성화함수의 성능을 비교분석하였다. DQN 강화학습에 적용한 활성화함수는 ReLU, ReakyReLU, ELU, SELU 그리고 softplus 함수이다. 실험 결과 평균적으로 Leaky_ReLU 활성화함수를 적용했을 때의 보상 값이 높았고, 최대 보상 값은 SELU 활성화 함수를 적용할 때로 나타났다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2003년도 하계학술대회 논문집 D
• /
• pp.2387-2389
• /
• 2003

Acrobat은 대표석인 비선형, underactuated 시스템이며, acrobot의 제어목적에는 swing-up 제어와 balancing 제어가 있다. 이 두 가지 제어목적을 달성하기 위해 기존에 많은 연구가 진행되었다. 그러나 이 방법들은 두 개의 독립적인 제어기를 acrobot의 상태에 따라 전환하여 사용하는 방법으로서 전환 시점의 선정기준에 대한 어려움과 두 가지 제어목적의 달성을 위한 전체 학습 시간지연의 문제점이 있다. 이를 개선하기 위하여 우리는 acrobot의 두 가지 제어목적을 동시에 해결할 수 있도록 기존에 연구하였던 연속적인 상태공간의 근사화가 가능한 영역기반 Q-학습(Region-based Q-Learning)[11]을 기반으로 한 하나의 제어기로 구현하는 방법을 연구하였다. 제안한 방법을 제작한 acrobot에 적용한 실험을 통하여 그 유용성을 검증하였다.

• 제어로봇시스템학회논문지
• /
• 제22권5호
• /
• pp.346-352
• /
• 2016

This paper proposes an adaptive robust control method for an acrobot system in the presence of input disturbance. The acrobot system is a typical example of the underactuated system with complex nonlinearity and strong dynamic coupling. Also, disturbance can cause limit cycle phenomenon which appears in the acrobot system around the desired unstable equilibrium point. To minimize the effect of the disturbance, we apply a fuzzy disturbance estimation method for the swing-up and balancing control of the acrobot system. In this paper, both disturbance observer and controller for the acrobot system are designed and verified through mathematical proof and simulations.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.104.5-104
• /
• 2001

In this paper, we address the swing up control and the singular problem of an acrobot. We derive a serial system equation from the acceleration constraint that there is no actuator on the first joint. Based on the serial system representation, we propose a swing up and stabilization control algorithm to move the acrobot from its downward equilibrium to its inverted equilibrium position. Simulation result is also provided to show the effectiveness of the proposed control strategy.

• 대한전기학회논문지:시스템및제어부문D
• /
• 제53권7호
• /
• pp.517-524
• /
• 2004

For real world applications of reinforcement learning techniques, function approximation or generalization will be required to avoid curse of dimensionality. For this, an improved function approximation-based reinforcement teaming method is proposed to speed up convergence by using CA-CMAC(Credit-Assigned Cerebellar Model Articulation Controller). To show that our proposed CACRL(CA-CMAC-based Reinforcement Learning) performs better than the CRL(CMAC- based Reinforcement Learning), computer simulation and experiment results are illustrated, where a swing-up control Problem of an acrobot is considered.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2003년도 학술회의 논문집 정보 및 제어부문 B
• /
• pp.621-624
• /
• 2003

For real world applications of reinforcement learning techniques, function approximation or generalization will be required to avoid curse of dimensionality. For this, an improved function approximation-based reinforcement learning method is proposed to speed up convergence by using CA-CMAC(Credit-Assigned Cerebellar Model Articulation Controller). To show that our proposed CACRL(CA-CMAC-based Reinforcement Learning) performs better than the CRL(CMAC-based Reinforcement Learning), computer simulation results are illustrated, where a swing-up control problem of an acrobot is considered.

• 한국지능시스템학회논문지
• /
• 제23권3호
• /
• pp.208-213
• /
• 2013

부족구동시스템은 제어되어야 하는 자유도보다 더 적은 수의 구동부를 가진 시스템으로 특정질 수 있으며, 이런 시스템을 제어하기 위한 알고리즘을 찾는 문제에 대한 관심이 지속적으로 증대되고 있다. 가변구조시스템 이론을 기반으로 하는 슬라이딩 모드 제어기는 비선형 시스템을 제어하는데 있어 강건한 도구를 제공하고 있다. 본 논문에서는 부족구동시스템을 효과적으로 제어하기 위한 적분슬라이딩 함수를 이용한 슬라이딩 모드 제어기를 제안하고, Lyapunov 안정도 이론을 이용하여 점근적 안정성을 입증하였다. 제안된 제어기의 효용성을 검증하기 위해 대표적인 부족구동시스템인 아크로봇 (Acrobot)을 대상으로 시뮬레이션을 수행하였다. 아크로봇의 동적 모델은 Mathworks사의 Simscape을 이용하여 구현하였으며, 제어기 구성은 Simulink를 이용하여 구성하였다. 시뮬레이션 결과는 제안된 제어기의 유용성과 효과성을 입증하였다.

• Journal of Electrical Engineering and Technology
• /
• 제11권3호
• /
• pp.741-745
• /
• 2016

We derive a sufficient condition for feedback quasilinearizability of control mechanical systems and apply it to show the feedback quasilinearizability of the Acrobot system.

• International Journal of Control, Automation, and Systems
• /
• 제5권5호
• /
• pp.547-558
• /
• 2007

This paper proposes a simpler solution to the stabilization problem of a special class of nonlinear underactuated mechanical systems which includes widely studied benchmark systems like Inertia Wheel Pendulum, TORA and Acrobot. Complex internal dynamics and lack of exact feedback linearizibility of these systems makes design of control law a challenging task. Stabilization of these systems has been achieved using Energy Shaping and damping injection and Backstepping technique. Former results in hybrid or switching architectures that make stability analysis complicated whereas use of backstepping some times requires closed form explicit solutions of highly nonlinear equations resulting from partial feedback linearization. It also exhibits the phenomenon of explosions of terms resulting in a highly complicated control law. Exploiting recently introduced Dynamic Surface Control technique and using control Lyapunov function method, a novel nonlinear controller design is presented as a solution to these problems. The stability of the closed loop system is analyzed by exploiting its two-time scale nature and applying concepts from Singular Perturbation Theory. The design procedure is shown to be simpler and more intuitive than existing designs. Design has been applied to important benchmark systems belonging to the class demonstrating controller design simplicity. Advantages over conventional Energy Shaping and Backstepping controllers are analyzed theoretically and performance is verified using numerical simulations.