• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.824-829
• /
• 2006

한정된 자원을 사용할 수 있는 게임 AI 분야에서는 시스템 자원을 적절하게 활용하여 현실감을 극대화 시키려는 노력이 중요한 이슈이며, 3D 게임에서 캐릭터들의 자연스러운 경로 탐색은 현실성을 높이는 중요한 척도 중 하나이다. 기존 연구에서는 주로 정적인 지형, 객체들을 적절하게 회피하는 경로에 대한 연구가 많이 진행되었다. 그러나 최근 널리 이용되고 있는 다중사용자가 접속하는 온라인 RPG 게임에서는 기존 방법을 그대로 적용하기에 많은 연산량이 필요한 문제점이 있다. 본 논문에서는 네비게이션 메시(Navigation Mesh) 기반으로 최적화된 A*, 그리고 밀개(Repulsors)의 방법을 통하여 동적인 환경에서 자연스러운 경로탐색을 수행하며 3D 게임에 적용 가능한 연산량을 충족하는 경로탐색 시스템을 제안하였다.

• 제어로봇시스템학회논문지
• /
• 제9권11호
• /
• pp.906-916
• /
• 2003

A multi-robot control algorithm using Petri-Net is proposed for 5vs5 robot soccer. The dynamic environment of robot soccer is modeled by defining the place and transition of each robot and converting it into Petri-Net diagram. Once all the places and transitions of robots are represented by the Petri-Net model, their actions can be chosen according to the roles of robots and position of the ball in soccer game, e.g., offensive, defensive and goalie robot. The proposed modeling method is implemented for soccer robot system. The efficiency and applicability of the proposed multiple-robot control algorithm using Petri-Net are demonstrated through 5vs5 Middle League SimuroSot soccer game.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2009년도 제40회 하계학술대회
• /
• pp.569_570
• /
• 2009

This paper presents a methodology to find the profit maximized Nash Equilibriums of each generator(or GenCo), which considers the Ramp-rate of each generator under a competitive market environment. The ramp-rate of a generator is one of the physical or technical constraints of a generator and means the ability to increase or decrease the output instantaneously. In this paper, we found several Nash Equilibriums of the generation allocation problem through Dynamic Programming in a competitive market. Individual generators participate in a game to maximize its profit through competitions and play a game with bidding strategies of its generation quantities in a spot market.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2000년도 제15차 학술회의논문집
• /
• pp.253-253
• /
• 2000

Each robot plays a role of its own behavior in dynamic robot-soccer environment. One of the most necessary conditions to win a game is control of robot movement. In this paper we suggest a win strategy using Cellular Neural Network to set optimal path and cooperative behavior, which divides a soccer ground into grid-cell based ground and has robots move a next grid-cell along the optimal path to approach the moving target.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.69-78
• /
• 2015

다중 에이전트 시스템에 대한 연구는 최근 다양한 분야에서 활성화 되고 있으며, 복잡한 시스템의 제어 및 최적화에 관한 연구가 진행되어 왔다. 본 논문에서는 게임 환경에서의 NPC(Non-Player Character) 시뮬레이션을 위한 다중 에이전트 시스템을 개발한다. 시스템 개발의 목적은 동적 이산사건 영역의 상황을 추론하여 신속하고 정확한 판단을 제공하고 에이전트 시스템의 최적화 과정을 보다 손쉽게 도와주는데 있다. 이를 위한 에이전트 시스템의 기본 모델은 페트리넷을 활용하여 구조를 단순화 하고 퍼지 추론엔진을 사용하여 다양한 상황을 결정할 수 있도록 하였다. 본 연구 시스템의 실험은 NPC간의 가상 전장 상황을 묘사하며, 퍼지 규칙이 적용된 에이전트와 유한 상태 기계로 구현된 NPC를 시뮬레이션 하여 에이전트의 승률과 생존율을 산출하였다. 실험 결과 퍼지 규칙 기반 에이전트의 승률과 생존율이 유한 상태 기계로 구현된 NPC보다 더 높은 것으로 나타났다.

• 한국시뮬레이션학회:학술대회논문집
• /
• 한국시뮬레이션학회 2001년도 The Seoul International Simulation Conference
• /
• pp.321-324
• /
• 2001

The robot soccer simulation game is a dynamic multi-agent environment. In this paper we suggest a new reinforcement learning approach to each agent's dynamic positioning in such dynamic environment. Reinforcement Beaming is the machine learning in which an agent learns from indirect, delayed reward an optimal policy to choose sequences of actions that produce the greatest cumulative reward. Therefore the reinforcement loaming is different from supervised teaming in the sense that there is no presentation of input-output pairs as training examples. Furthermore, model-free reinforcement loaming algorithms like Q-learning do not require defining or loaming any models of the surrounding environment. Nevertheless it can learn the optimal policy if the agent can visit every state-action pair infinitely. However, the biggest problem of monolithic reinforcement learning is that its straightforward applications do not successfully scale up to more complex environments due to the intractable large space of states. In order to address this problem, we suggest Adaptive Mediation-based Modular Q-Learning(AMMQL) as an improvement of the existing Modular Q-Learning(MQL). While simple modular Q-learning combines the results from each learning module in a fixed way, AMMQL combines them in a more flexible way by assigning different weight to each module according to its contribution to rewards. Therefore in addition to resolving the problem of large state space effectively, AMMQL can show higher adaptability to environmental changes than pure MQL. This paper introduces the concept of AMMQL and presents details of its application into dynamic positioning of robot soccer agents.

• 한국국방경영분석학회지
• /
• 제32권2호
• /
• pp.56-77
• /
• 2006

본 연구는 근접전투 손실 모델링 분야에서 좀 더 개선된 워게임 모델링 방법론을 제시한다. 지금까지 군사 운영분석가들은 랜체스터형 미분 방정식과 같은 방정식 기반 모델링 방법론을 사용해서 전투손실 평가를 하고 있다. 방정식 기반 모델링 방법론은 워게임 모의결과를 분석 및 평가하기는 용이하나 동적인 전장환경을 모의하기에는 다수의 제한사항을 포함하고 있다. 이러한 방정식 기반 모델링 방법론의 결점을 극복하기 위해서 본 연구에서는 에이전트 기반 모델링 방법론을 제시한다. 에이전트 기반 모델링 방법론은 전투손실계수 대신에 전투손실 행위에 기반하여 근접전투를 모델링한다. 2가지 모델링 방법론에 의해서 유사한 근접전투 상황 하에서 모델링 된 자료를 모의하여 비교분석 및 평가한다.

• 한국멀티미디어학회논문지
• /
• 제12권12호
• /
• pp.1819-1826
• /
• 2009

To enhance the automatic performance of existing predicting and planning algorithms that require a predefined probability of the states' transition, this paper proposes a multiple sequence generation system. When interacting with unknown environments, a virtual agent needs to decide which action or action order can result in a good state and determine the transition probability based on the current state and the action taken. We describe a sequential behavior generation method motivated from the change in the agent's state in order to help the virtual agent learn how to adapt to unknown environments. In a sequence learning process, the sensed states are grouped by a set of proposed motivation filters in order to reduce the learning computation of the large state space. In order to accomplish a goal with a high payoff, the learning agent makes a decision based on the observation of states' transitions. The proposed multiple sequence behaviors generation system increases the complexity and heightens the automatic planning of the virtual agent for interacting with the dynamic unknown environment. This model was tested in a virtual library to elucidate the process of the system.

• 정보처리학회논문지B
• /
• 제9B권2호
• /
• pp.139-146
• /
• 2002

로봇 축구 시뮬레이션 게임은 하나의 동적 다중 에이전트 환경이다. 본 논문에서는 그러한 환경 하에서 각 에이전트의 동적 위치 결정을 위한 새로운 강화학습 방법을 제안한다. 강화학습은 한 에이전트가 환경으로부터 받는 간접적 지연 보상을 기초로 누적 보상값을 최대화할 수 있는 최적의 행동 전략을 학습하는 기계학습 방법이다. 따라서 강화학습은 입력-출력 쌍들이 훈련 예로 직접 제공되지 않는 다는 점에서 교사학습과 크게 다르다. 더욱이 Q-학습과 같은 비-모델 기반의 강화학습 알고리즘들은 주변 환경에 대한 어떤 모델도 학습하거나 미리 정의하는 것을 요구하지 않는다. 그럼에도 불구하고 이 알고리즘들은 에이전트가 모든 상태-행동 쌍들을 충분히 반복 경험할 수 있다면 최적의 행동전략에 수렴할 수 있다. 하지만 단순한 강화학습 방법들의 가장 큰 문제점은 너무 큰 상태 공간 때문에 보다 복잡한 환경들에 그대로 적용하기 어렵다는 것이다. 이런 문제점을 해결하기 위해 본 연구에서는 기존의 모듈화 Q-학습방법(MQL)을 개선한 적응적 중재에 기초한 모듈화 Q-학습 방법(AMMQL)을 제안한다. 종래의 단순한 모듈화 Q-학습 방법에서는 각 학습 모듈들의 결과를 결합하는 방식이 매우 단순하고 고정적이었으나 AMMQL학습 방법에서는 보상에 끼친 각 모듈의 기여도에 따라 모듈들에 서로 다른 가중치를 부여함으로써 보다 유연한 방식으로 각 모듈의 학습결과를 결합한다. 따라서 AMMQL 학습 방법은 큰 상태공간의 문제를 해결할 수 있을 뿐 아니라 동적인 환경변화에 보다 높은 적응성을 제공할 수 있다. 본 논문에서는 로봇 축구 에이전트의 동적 위치 결정을 위한 학습 방법으로 AMMQL 학습 방법을 사용하였고 이를 기초로 Cogitoniks 축구 에이전트 시스템을 구현하였다.

• 제어로봇시스템학회논문지
• /
• 제15권5호
• /
• pp.530-537
• /
• 2009

A graphic simulator can be a useful tool for planning gaits or dynamic behaviors to a walking pet robot. Microsoft describes robotics developer studio (MSRDS) as an end-to-end robotics development platform including simulation engine based on dynamics. In this paper, we propose a pet robot simulator (PRS), based on MSRDS, which supports interactively controlled two walking robots connected over network. To be pet robot simulator, modeling a commercial pet robot is performed and gait planning is also implemented. By using concurrency and coordination runtime (CCR) and decentralized software services (DSS) of MSRDS software platform, we connect two robots which are displayed together but controlled separately over network. The two walking pet robots can be simulated interactively by joysticks. It seems to be an internet game for pet robots.