• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.166-169
• /
• 2003

Reinforcement learning if a kind of machine learning. It aims to adapt an agent to a given environment with a clue to a reward and a penalty. Q-learning [8] that is a representative reinforcement learning system treats a reward and a penalty at the same time. There is a problem how to decide an appropriate reward and penalty values. We know the Penalty Avoiding Rational Policy Making algorithm (PARP) [4] and the Penalty Avoiding Profit Sharing (PAPS) [2] as reinforcement learning systems to treat a reward and a penalty independently. though PAPS is a descendant algorithm of PARP, both PARP and PAPS tend to learn a local optimal policy. To overcome it, ion this paper, we propose the Multi Best method (MB) that is PAPS with the multi-start method[5]. MB selects the best policy in several policies that are learned by PAPS agents. By applying PS, PAPS and MB to a soccer game environment based on the SoccerBots[9], we show that MB is the best solution for the soccer game environment.

• 한국게임학회 논문지
• /
• 제15권4호
• /
• pp.69-78
• /
• 2015

온라인 게임 산업이 급격히 성장함에 따라 경제적 이득을 목적으로 한 악성 행위가 증가되고 있다. 본 논문에서는 온라인 게임 내 악성 행위 중 높은 비중을 차지하는 게임 봇 탐지를 위한 모티베이션 기반 ERG 이론을 적용한 탐지 방법을 제안한다. 기존에 연구된 행위 기반 탐지 기법들이 특정 행위들을 특성치로 선정하여 분석하였다면, 본 논문에서는 모티베이션 이론을 적용하여 행위 분석을 수행하였다. 실제 MMORPG의 데이터를 분석하여 본 결과, 온라인 게임 내에서도 정상 사용자는 실제 세계와 마찬가지로 모티베이션과 관련된 ERG 이론이 잘 적용되는 것을 확인하였다. 반면에, 게임 봇은 정상 사용자와 다르게 특정 목적을 위한 행동 패턴이 나타나기 때문에 모티베이션 이론을 적용하여 탐지할 경우 정상 사용자와는 다른 행동 패턴을 보이는 것을 발견하였다. 이를 통해 ERG 이론을 적용한 봇 탐지 방법을 국내 7위의 규모의 게임에 적용하여 봇 제재 리스트와 교차 분석한 결과, 99.74% 의 정확도로 정상 사용자와 봇을 분류할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
• /
• pp.329-332
• /
• 2003

현재의 일반적인 다중에이전트 시스템 환경은 실시간이며 복잡한 환경을 제공한다. 또한 제한적인 통신 환경을 제공한다. 본 논문의 테스트 환경인 Unreal Tournament 의 환경은 일반적인 다중 에이전트 시스템 환경을 제공한다. UT 게임의 GameBots 시스템에서 실시간 다중 에이전트 협상 시스템의 구현을 위한 ACL (Agent Communication Language) 을 정의하였으며 그에 따른 다중 에이전트 협상 프로토콜을 정의하였다. 통신 환경은 단일 채널 환경이며 제한적인 통신을 제공한다. 에이전트들은 게임 시작과 동시에 인지 정보를 기반으로 맴을 작성하게 된다. UT 게임은 환경이 실시간으로 급변하기 때문에 최단의 협상 과정을 가져야 한다. 협상 시스템의 구성은 협상 과정에서 모든 것을 정하기엔 시간이 부족하기 때문에 빠른 협상 과정을 유도하기 위하여 협상과정의 일부분을 사전에 정의함으로써 협상과정을 단순화 시켰으며, 나머지는 실시간 협상과정을 통하여 동적으로 역할 분담을 하였다 협상 방법으로는 각 에이전트의 의견이 반영될 수 있는 투표 (voting) 방법을 사용하였다.

• 정보보호학회논문지
• /
• 제22권3호
• /
• pp.585-600
• /
• 2012

온라인 게임 산업이 성장함에 따라 온라인 게임 보안 이슈는 증가하고 있다. 특히 게임내의 사이버재화를 현금으로 바꾸는 행위인 현금거래(RMT; Real Money Trade)는 탈세나 돈세탁등과 같은 실물경제의 범죄활동과 연관되면서 국내를 비롯한 여러 나라에서 민감한 문제로 떠오르고 있다. 이러한 현금거래는 작업장이라고 불리는 전문적인 불량사용자 조직에 의해 이루어진다. 온라인 게임 사업자들은 이러한 작업장을 탐지하기 위하여 게임 bot 탐지 알고리즘을 이용해 각각의 bot 사용자를 탐지하고 그들의 계정과 IP 주소를 차단하고 있다. 하지만 게임 bot 탐지 알고리즘은 작업장의 일부분만 탐지가 가능하여 큰 효과를 거두기 어렵고, IP 주소 차단 역시 IP 변조나 가상 사설망 기술을 이용하여 쉽게 우회 가능하다는 문제점을 가진다. 본 논문에서는 온라인게임 서비스를 이용하는 사용자들의 연결패턴 정보에 데이터마이닝 기법을 적용하여, 작업장 그룹 내 불량사용자 군집을 탐지할 수 있는 모델을 제안한다. 제안한 모델을 활용하여 IP 변조나 VPN 기술을 통한 우회접속 역시 탐지할 수 있다. 국내 최대 온라인 게임의 실제 데이터를 샘플로 하여 수행결과를 도출하였고, 본 논문에서 제시한 기법을 이용한 결과를 실제 차단 리스트와 비교하여 본 결과, 효율적으로 작업장을 탐지해 낼 수 있음을 확인할 수 있었다.