Adaptation of Neural Network based Intelligent Characters to Change of Game Environments

Recently intelligent characters in computer games have been an important element more and more because they continually stimulate gamers' interests. As a typical method for implementing such intelligent characters, neural networks have been used for training action patterns of opponent's characters and game rules. However, some of the game rules can be abruptly changed and action properties of garners in on-line game environments are quite different according to gamers. In this paper, we address how a neural network adapts to those environmental changes. Our adaptation solution includes two components: an individual adaptation mechanism and a group adaptation mechanism. With the individual adaptation algorithm, an intelligent character steadily checks its game score, assesses the environmental change with taking into consideration of the lastly earned scores, and initiates a new learning process when a change is detected. In multi-user games, including massively multiple on-line games, intelligent characters confront diverse opponents that have various action patterns and strategies depending on the gamers controlling the opponents. The group adaptation algorithm controls the birth of intelligent characters to conserve an equilibrium state of a game world by using a genetic algorithm. To show the performance of the proposed schemes, we implement a simple fighting action game and experiment on it with changing game rules and opponent characters' action patterns. The experimental results show that the proposed algorithms are able to make intelligent characters adapt themselves to the change.

신경망 지능 캐릭터의 게임 환경 변화에 대한 적응 방법

최근 컴퓨터 게임에서 지능 캐릭터는 게이머들의 흥미를 계속 유발시킬 수 있기 때문에 더욱 더 중요한 요소로 부각되고 있다. 지능 캐릭터를 구현하는 대표적인 방법으로 신경망을 사용하여 상대 캐릭터의 행동패턴과 게임 규칙을 학습하는 방법이 연구되었다. 그러나 게임의 규칙은 갑자기 변경될 수 있으며 온라인 게임과 같은 상황에서는 게이머에 따라서 행동 특성이 크게 다를 수 있다. 본 논문에서는 지능 캐릭터가 이러한 환경의 변화에 적응하는 방법으로서 개체 수준 적응 알고리즘과 개체군 수준 적응 알고리즘을 제안한다. 개체 수준 적응 알고리즘에서 각 지능 캐릭터는 자신의 게임 점수의 변화를 계속해서 관찰하면서, 최종적으로 획득한 점수들을 고려하여 환경의 변화를 판단하고, 만약 변화가 감지된 경우에는 다시 새로운 학습을 시작한다. 대용량 온라인 게임과 같이 다수의 사용자가 있는 게임에서는 지능 캐릭터들이 다양한 행동 패턴과 전략을 가지고 있는 여러 상대 캐릭터들과 대전한다. 개체군 수준 적응 알고리즘은 유전자 알고리즘을 이용하여 지능 캐릭터들의 출현을 조절하여 게임 월드내의 균형이 유지되도록 한다. 제안한 알고리즘의 성능을 평가하기 위하여 간단한 대전 액션 게임을 구현하고 그 환경 상에서 게임 규칙과 상대 캐릭터들의 행동 패턴을 변화시키면서 실험하였다. 실험 결과 지능 캐릭터는 제안한 기법을 이용하여 환경 변화에 적응할 수 있음을 보였다.