• 한국인터넷방송통신학회논문지
• /
• 제21권6호
• /
• pp.163-171
• /
• 2021

본 논문은 분산형 전력 시스템에서 심층강화학습 기반의 전력 생산 환경 및 수요와 공급을 예측하며 자원 할당 알고리즘을 적용해 전력거래 시스템 연구의 최적화된 결과를 보여준다. 전력 거래시스템에 있어서 기존의 중앙집중식 전력 시스템에서 분산형 전력 시스템으로의 패러다임 변화에 맞추어 전력거래에 있어서 공동의 이익을 추구하며 장기적인 거래의 효율을 증가시키는 전력 거래시스템의 구축을 목표로 한다. 심층강화학습의 현실적인 에너지 모델과 환경을 만들고 학습을 시키기 위해 날씨와 매달의 패턴을 분석하여 데이터를 생성하며 시뮬레이션을 진행하는 데 있어서 가우시안 잡음을 추가해 에너지 시장 모델을 구축하였다. 모의실험 결과 제안된 전력 거래시스템은 서로 협조적이며 공동의 이익을 추구하며 장기적으로 이익을 증가시킨 것을 확인하였다.

• 한국공간구조학회논문집
• /
• 제21권2호
• /
• pp.41-48
• /
• 2021

A smart tuned mass damper (TMD) is widely studied for seismic response reduction of various structures. Control algorithm is the most important factor for control performance of a smart TMD. This study used a Deep Deterministic Policy Gradient (DDPG) among reinforcement learning techniques to develop a control algorithm for a smart TMD. A magnetorheological (MR) damper was used to make the smart TMD. A single mass model with the smart TMD was employed to make a reinforcement learning environment. Time history analysis simulations of the example structure subject to artificial seismic load were performed in the reinforcement learning process. Critic of policy network and actor of value network for DDPG agent were constructed. The action of DDPG agent was selected as the command voltage sent to the MR damper. Reward for the DDPG action was calculated by using displacement and velocity responses of the main mass. Groundhook control algorithm was used as a comparative control algorithm. After 10,000 episode training of the DDPG agent model with proper hyper-parameters, the semi-active control algorithm for control of seismic responses of the example structure with the smart TMD was developed. The simulation results presented that the developed DDPG model can provide effective control algorithms for smart TMD for reduction of seismic responses.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권3호
• /
• pp.13-23
• /
• 2021

본 논문에서는 단일 강체 모델(single rigid body)의 무게 중심(center of mass) 좌표계와 발의 위치를 활용하여 캐릭터의 동작을 생성하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 전신 동작(full body)에 대한 정보를 사용할 때 보다 입력 상태 벡터(input state)의 차원을 줄임으로써 강화 학습의 속도를 개선할 수 있다. 또한 기존의 방법보다 학습 속도를 약 2 시간(약 68% 감소) 감소시켰음에도 기존의 방법 대비 최대 7.5배(약 1500 N)의 외력을 더 견딜 수 있는 더욱 견고한(robust) 모션을 생성할 수 있다. 본 논문에서는 이를 위해 무게 중심의 다음 좌표계를 구하기 위해 중심 역학(centroidal dynamics)을 활용하였고, 이에 필요한 매개 변수(parameter)들과 다음 발의 위치와 접촉력 계산에 필요한 매개 변수들을 구하는 정책(policy)의 학습을 심층 강화 학습(deep reinforcement learning)을 사용하여 구현하였다.

• 한국컴퓨터정보학회논문지
• /
• 제28권10호
• /
• pp.55-65
• /
• 2023

본 논문에서는 딥러닝 및 강화학습 연구에 대해 KeyBERT(Keyword extraction with Bidirectional Encoder Representations of Transformers) 알고리즘 기반의 토픽 추출 및 토픽 출현 빈도 분석으로 급변하는 딥러닝 관련 연구 동향 분석을 파악하고자 한다. 딥러닝 알고리즘과 강화학습에 대한 논문초록을 크롤링하여 전반기와 후반기로 나누고, 전처리를 진행한 후 KeyBERT를 사용해 토픽을 추출한다. 그 후 토픽 출현 빈도로 동향 변화에 대해 분석한다. 분석된 알고리즘 모두 전반기와 후반기에 대한 뚜렷한 동향 변화가 나타났으며, 전반기에 비해 후반기에 들어 어느 주제에 대한 연구가 활발한지 확인할 수 있었다. 이는 KeyBERT를 활용한 토픽 추출 후 출현 빈도 분석으로 연구 동향변화 분석이 가능함을 보였으며, 타 분야의 연구 동향 분석에도 활용 가능할 것으로 예상한다. 또한 딥러닝의 동향을 제공함으로써 향후 딥러닝의 발전 방향에 대한 통찰력을 제공하며, 최근 주목 받는 연구 주제를 알 수 있게 하여 연구 주제 및 방법 선정에 직접적인 도움을 준다.

• 한국전자통신학회논문지
• /
• 제16권6호
• /
• pp.1153-1160
• /
• 2021

본 논문은 소프트웨어 정의 네트워크에서 심층강화학습을 활용하여 최적의 경로를 결정하는 라우팅 알고리즘을 제안한다. 학습을 위한 심층강화학습 모델은 DQN 을 기반으로 하고, 입력은 현재 네트워크 상태, 발신지, 목적지 노드이고, 출력은 발신지에서 목적지까지의 경로 리스트를 반환한다. 라우팅 작업을 이산 제어 문제로 정의하며, 라우팅을 위한 서비스 품질 파라미터는 지연, 대역폭, 손실률을 고려하였다. 라우팅 에이전트는 사용자의 서비스 품질 프로파일에 따라 적절한 서비스 등급으로 분류하고, SDN에서 수집된 현재 네트워크 상태로부터 각 링크 별로 제공할 수 있는 서비스 등급을 변환한다. 이러한 변환된 정보를 토대로 발신지에서부터 목적지까지 요구되는 서비스 등급을 만족시키는 경로를 선택하도록 학습을 한다. 시뮬레이션 결과는 제안한 알고리즘이 일정한 에피소드를 진행하게 되면 올바른 경로를 선택하게 되고, 학습이 성공적으로 수행됨을 나타냈다.

• 전자통신동향분석
• /
• 제34권4호
• /
• pp.1-14
• /
• 2019

Recent trends in deep reinforcement learning (DRL) have revealed the considerable improvements to DRL algorithms in terms of performance, learning stability, and computational efficiency. DRL also enables the scenarios that it covers (e.g., partial observability; cooperation, competition, coexistence, and communications among multiple agents; multi-task; decentralized intelligence) to be vastly expanded. These features have cultivated multi-agent reinforcement learning research. DRL is also expanding its applications from robotics to natural language processing and computer vision into a wide array of fields such as finance, healthcare, chemistry, and even art. In this report, we briefly summarize various DRL techniques and research directions.

• 한국공간구조학회논문집
• /
• 제22권2호
• /
• pp.39-46
• /
• 2022

Recently, machine learning is widely used to solve optimization problems in various engineering fields. In this study, machine learning is applied to development of a control algorithm for a smart control device for reduction of seismic responses. For this purpose, Deep Q-network (DQN) out of reinforcement learning algorithms was employed to develop control algorithm. A single degree of freedom (SDOF) structure with a smart tuned mass damper (TMD) was used as an example structure. A smart TMD system was composed of MR (magnetorheological) damper instead of passive damper. Reward design of reinforcement learning mainly affects the control performance of the smart TMD. Various hyper-parameters were investigated to optimize the control performance of DQN-based control algorithm. Usually, decrease of the time step for numerical simulation is desirable to increase the accuracy of simulation results. However, the numerical simulation results presented that decrease of the time step for reward calculation might decrease the control performance of DQN-based control algorithm. Therefore, a proper time step for reward calculation should be selected in a DQN training process.

• 한국정보통신학회논문지
• /
• 제24권11호
• /
• pp.1500-1506
• /
• 2020

본 논문에서는 오버레이 단말 간 직접 (Device-to-Device : D2D) 통신 네트워크를 위한 강화학습 기반 스케쥴링 문제를 연구한다. 강화학습 모델 중 하나인 Q-learning을 이용한 D2D 통신 기술들이 연구되었지만, Q-learning은 상태와 행동의 개수가 증가함에 따라서 높은 복잡도를 유발한다. 이러한 문제를 해결하기 위하여 Deep Q Network (DQN) 기반 D2D 통신 기술들이 연구되었다. 본 논문에서는 무선 통신 시스템 특성을 고려한 DQN 모델을 디자인하고, 피드백 및 시그널링 오버헤드를 줄일 수 있는 DQN 기반 분산적 스케쥴링 방식을 제안한다. 제안 방식은 중앙집중식으로 변수들을 학습시키고, 최종 학습된 파라미터를 모든 단말들에게 전달한다. 모든 단말들은 최종 학습된 파라미터를 이용하여 각자의 행동을 개별적으로 결정한다. 제안 방식의 성능을 컴퓨터 시뮬레이션을 통하여 분석하고, 최적방식, 기회주의적 선택 방식, 전체 전송 방식과 비교한다.

• 한국인공지능학회지
• /
• 제5권1호
• /
• pp.1-9
• /
• 2017

Recently, the Q-Learning algorithm, which is one kind of reinforcement learning, is mainly used to implement artificial intelligence system in combination with deep learning. Many research is going on to improve the performance of Q-Learning. Therefore, purpose of theory try to improve the performance of Q-Learning algorithm. This Theory apply Cross Entropy Error to the loss function of Q-Learning algorithm. Since the mean squared error used in Q-Learning is difficult to measure the exact error rate, the Cross Entropy Error, known to be highly accurate, is applied to the loss function. Experimental results show that the success rate of the Mean Squared Error used in the existing reinforcement learning was about 12% and the Cross Entropy Error used in the deep learning was about 36%. The success rate was shown.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권5호
• /
• pp.55-61
• /
• 2021

물리 시뮬레이션 기반의 캐릭터 동작 제어 문제를 강화학습을 이용하여 해결해나가는 연구들이 계속해서 진행되고 있다. 강화학습을 사용하여 문제를 풀기 위해서는 네트워크 구조, 하이퍼파라미터 튜닝, 상태(state), 행동(action), 보상(reward)이 문제에 맞게 적절히 설정이 되어야 한다. 많은 연구들에서 다양한 조합으로 상태, 행동, 보상을 정의하였고, 성공적으로 문제에 적용하였다. 상태, 행동, 보상을 정의함에 다양한 조합이 있다보니 학습 성능을 향상시키는 최적의 조합을 찾기 위해서 각각의 요소들이 미치는 영향을 분석하는 연구도 진행되고 있다. 우리는 지금까지 이뤄지지 않았던 상태 표현 방식에 따른 강화학습성능에 미치는 영향을 분석하였다. 첫째로, root attached frame, root aligned frame, projected aligned frame 3가지로 좌표계를 정의하였고, 이에 대해 표현된 상태를 이용하여 강화학습에 미치는 영향을 분석하였다. 둘째로, 상태를 정의 할 때, 관절의 위치, 각도로 다양하게 조합하는 경우에 학습성능에 어떠한 영향을 미치는지 분석하였다.