• 한국멀티미디어학회논문지
• /
• 제9권5호
• /
• pp.649-657
• /
• 2006

강화학습이란 환경에 대한 정보가 주어지지 않았을 때 현재의 상태에서 가능한 행동들을 취한 후 얻어지는 보상값이 가장 큰 행동을 최적의 행동 전략으로 학습하는 것이다. 강화학습에서 가장 많이 사용하는 Q-학습은 환경의 특정 상태에서 가능한 행동 중에 하나를 선택해서 취한 행동으로 얻어지는 보상값으로 구성되는데 실세계 상태를 이산값으로 표현하기에는 많은 어려움이 있다. 상태를 많이 정의하면 그만큼 학습에 필요한 시간이 많아지게 되고 반대로 상태 공간을 줄이면 다양한 환경상태를 한 개의 환경상태로 인지를 하고 그 환경에 맞는 한 가지의 행동만 취하도록 학습하기 때문에 행동이 단순해진다. 본 논문에서는 학습 시간을 단축하기 위해 상태 공간을 줄이는 데서 발생하는 행동의 단순화의 단점을 보완하기 위한 방법으로 영향력 분포도를 이용한 Q-학습 방법을 제안한다. 즉, 영향력 분포도와 인접한 학습 결과를 이용해서 학습하지 못한 중간 상태에 적합한 행동을 취하게 하여 동일한 상태 개수에 대해서 학습 시간을 단축하는 것이다. 동일한 학습 시간 동안에 일반적인 강화학습 방법으로 학습한 에이전트와 영향력 분포도와 강화학습을 이용해서 학습한 에이전트의 성능을 비교해 보았을 때 영향력 분포도와 강화학습을 이용해서 학습한 에이전트가 단지 일반적인 강화학습에 필요한 상태공간의 4.6%만 정의를 하고도 성능 면에서는 거의 비슷한 효과를 볼 수가 있음을 확인하였다. 이는 영향력 분포도와 강화학습을 이용한 학습이 일반적인 강화학습에 비해서 학습 속도가 2.77배정도 빨리 이루어지고 실제 학습해야 할 상태 공간의 개수가 적어져서 발생되는 문제를 영향력 분포도를 이용해서 보완을 하기 때문이다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2002년도 ICCAS
• /
• pp.35.3-35
• /
• 2002

Reinforcement Learning (RL) is one of machine learning methods and an RL agent autonomously learns the action selection policy by interactions with its environment. At the beginning of RL research, it was limited to problems in environments assumed to be Markovian Decision Process (MDP). However in practical problems, the agent suffers from the incomplete perception, i.e., the agent observes the state of the environments, but these observations include incomplete information of the state. This problem is formally modeled by Partially Observable MDP (POMDP). One of the possible approaches to POMDPS is to use historical nformation to estimate states. The problem of these approaches is how t..

• 정보처리학회논문지A
• /
• 제10A권4호
• /
• pp.321-330
• /
• 2003

본 연구에서는 학습자들의 학습 과정을 모니터링하여 분석된 학습 특성에 따라 다르게 학습내용을 동적으로 구성하여 제공하는 에이젼트 기반의 적응적 교수 시스템을 구현하고 있다. 또한 학습자들의 능력을 평가하고 각 수준에 맞는 학습내용을 제공하기 위해 퍼지 개념을 이용하고 있다. 이를 위해, 코스웨어 설계시 학습목표의 중요도, 학습내용의 난이도, 학습목표와 학습내용과의 관련도에 따라 퍼지 수준 집합을 구성하고 이를 기반으로 학습자의 수준에 맞는 내용을 제공한다. 본 논문에서는 에이젼트를 이용하여 학습자들의 학습 상태를 지속적으로 모니터링하고, 평가 단계에서 학습자가 오답을 냈을 경우 적절한 힌트를 추론하여 제공하며, 분석된 학습 특성과 평가 결과에 따라 학습 내용을 동적으로 구성하여 줌으로서 적응적 교수 시스템을 효과적으로 구현하고 있다. 또한 퍼지 집합에 의한 수준별 학습 내용의 제공과 평가 결과는 학습과정에 나타나는 여러 가지 다양하고 불확실한 요소들을 고려하여 처리함으로써 보다 융통성 있는 교수 학습 방법을 제공할 수 있도록 한다.

• 실천공학교육논문지
• /
• 제14권1호
• /
• pp.219-224
• /
• 2022

강화학습의 기본적인 알고리즘으로 많이 사용되고 있는 Q-Learning은 현재 상태에서 취할 수 있는 행동의 보상 중 가장 큰 값을 선택하는 Greedy action을 통해 보상을 최대화하는 방향으로 에이전트를 학습시키는 기법이다. 본 논문에서는 Frozen Lake 8*8 그리드 환경에서 Q-Learning을 사용하여 에이전트의 학습 속도를 높일 수 있는 정책에 관하여 연구하였다. 또한, Q-learning 의 기존 알고리즘과 에이전트의 행동에 '방향성'이라는 속성을 부여한 알고리즘의 학습 결과 비교를 진행하였다. 결과적으로, 본 논문에서 제안한 Q-Learning 정책이 통상적인 알고리즘보다 정확도와 학습 속도 모두 크게 높일 수 있는 것을 분석되었다.

• 컴퓨터교육학회논문지
• /
• 제12권4호
• /
• pp.1-11
• /
• 2009

프로그래밍 교육을 위한 다양한 연구가 진행되고 있다. 본 연구는 문제해결력 향상을 위해 교수 학습 모형을 기반으로 동료 에이전트를 개발하였다. 문제해결력에 대한 하위 요소를 학습내용 이해, 문제해결 전략, 자기조절 영역으로 구분하였고, 문제해결력 하위 요소에 대한 프로그래밍 교수 학습 방법을 제시하였으며, 교수학습 모형을 수행할 수 있도록 동료 에이전트를 개발하였다. 개발된 동료 에이전트 시스템의 교육적 효과를 살펴보기 위하여 프로그래밍 수업에 적용한 결과, 전통적 수업 방식이나 동료 프로그래밍 수업 방식에 비해 문제해결력 하위 요소에서 긍정적인 효과를 보였다. 이는 동료 에이전트가 학습자의 문제해결력을 향상시키는데 교육적 효과가 있음을 의미한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2009년도 정보 및 제어 심포지움 논문집
• /
• pp.118-120
• /
• 2009

In this paper, we present the Q-learning method for adaptive traffic signal control on the basis of multi-agent technology. The structure is composed of sixphase agents and one intersection agent. Wireless communication network provides the possibility of the cooperation of agents. As one kind of reinforcement learning, Q-learning is adopted as the algorithm of the control mechanism, which can acquire optical control strategies from delayed reward; furthermore, we adopt dynamic learning method instead of static method, which is more practical. Simulation result indicates that it is more effective than traditional signal system.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.9-11
• /
• 2022

Applying Reinforcement Learning in everyday applications and varied environments has proved the potential of the of the field and revealed pitfalls along the way. In robotics, a learning agent takes over gradually the control of a robot by abstracting the navigation model of the robot with its inputs and outputs, thus reducing the human intervention. The challenge for the agent is how to implement a feedback function that facilitates the learning process of an MDP problem in an environment while reducing the time of convergence for the method. In this paper we will implement a reward shaping system avoiding sparse rewards which gives fewer data for the learning agent in a ROS environment. Reward shaping prioritizes behaviours that brings the robot closer to the goal by giving intermediate rewards and helps the algorithm converge quickly. We will use a pseudocode implementation as an illustration of the method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권3호
• /
• pp.792-812
• /
• 2022

Multi-agent systems often need to achieve the goal of learning more effectively for a task through coordination. Although the introduction of deep learning has addressed the state space problems, multi-agent learning remains infeasible because of the joint action spaces. Large-scale joint action spaces can be sparse according to implicit or explicit coordination structure, which can ensure reasonable coordination action through the coordination structure. In general, the multi-agent system is dynamic, which makes the relations among agents and the coordination structure are dynamic. Therefore, the explicit coordination structure can better represent the coordinative relationship among agents and achieve better coordination between agents. Inspired by the maximization of social group utility, we dynamically construct a factor graph as an explicit coordination structure to express the coordinative relationship according to the utility among agents and estimate the joint action values based on the local utility transfer among factor graphs. We present the application of such techniques in the scenario of multiple intelligent vehicle systems, where state space and action space are a problem and have too many interactions among agents. The results on the multiple intelligent vehicle systems demonstrate the efficiency and effectiveness of our proposed methods.

• 한국콘텐츠학회논문지
• /
• 제22권2호
• /
• pp.358-369
• /
• 2022

이 연구의 목적은 스마트폰을 통해 외국어(영어)를 학습하는데 있어 사용자 경험을 제고할 수 있는 학습 에이전트의 의인화 설계 요인을 검증하는 것이다. 이 연구에서는 콘텐츠를 전달하는 학습용 에이전트를 설계할 때 학습 촉진, 신뢰, 매력 인식에 영향을 미치는 의인화 요인 중 에이전트의 체화 유무, 인간적 본성(HN)의 부여 정도, 역할 설정(지도자 vs. 동반자) 효과를 실험 연구로 검증하였다. 실험결과 HN은 단독으로는 학습 촉진 효과가 나타나지 않았으며, 이미지와 역할은 학습 촉진 효과뿐 아니라 다른 사용자 경험 요인도 향상시켰다. HN요인은 이미지와 역할 요인과 결합되어 설계될 때, 학습 촉진 및 신뢰성, 매력성과 같은 전반적인 사용자 경험 효과에서 효과가 나타났다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.74-77
• /
• 2003

In this paper, we propose a new personal agent for generating the combinational services from using history of appliances in the home network environment. In such environment, it is required that flexible services can be provided by combining services of appliances and unskillful users can use these services without knowledge. So, it is needed to satisfy following: (1) combinational services can be suggested automatically and (2) the increase of services can be followed. Then, we propose a new personal agent that suggests combinational services by learning the lifestyle. Its learning mechanism is based on Self-Organizing Map (SOM), and can follow the increase of services. We implemented the the agent, and use history of a user for two weeks was made to learn. As the result, we confirmed that the agent can extract services related with time or location and can suggest combinational services.