DOI QR코드

DOI QR Code

ChatGPT 기반의 자율형 레벨 디자인을 위한 게임 시스템

Game System for Autonomous Level Design Based on ChatGPT

  • 정도훈 (성결대학교 미디어소프트웨어학과) ;
  • 이준경 (성결대학교 미디어소프트웨어학과) ;
  • 박성준 (성결대학교 미디어소프트웨어학과)
  • 투고 : 2024.07.08
  • 심사 : 2024.08.09
  • 발행 : 2024.08.31

초록

본 논문에서는 게임의 자율적 레벨 디자인을 위한 밸런싱 작업을 위해 Chat-GPT를 활용하여 게임 밸런스에 영향을 주는 수치들을 변경하는 시스템을 개발하였다. Chat-GPT를 이용한 여러 연구와 사례에서 보여진 Chat-GPT의 활용성을 토대로, 세부적이고 객관적인 게임 내 수치값을 Chat-GPT가 직접 조절하도록 자동화 하였다. 본 논문에서는 Chat-GPT가 답변할 때의 형식을 일관성 있게 조절하여, 답변 내용에서 직접적으로 게임 밸런싱에 필요한 수치값을 가져올 수 있게 하였다. 이 내용을 실시간으로 게임 내 수치값에 적용시켜 변경하도록 제작하였다. 실험 방법으로는 4명의 플레이어가 5개의 라운드를 통해 자율적으로 게임 레벨 디자인을 하여 밸런싱 조절이 되는 것을 확인하였다. 이러한 연구는 추후 Chat-GPT를 활용하여 게임을 제작할 수 있다는 가능성을 기대한다.

In this paper, a model was devised to change the numerical values that affect the game balance by using Chat-GPT for game balancing. Based on the usability of Chat-GPT shown in several studies and cases using Chat-GPT, Chat-GPT is automated to directly adjust detailed and objective in-game numerical values. In this paper, the format of Chat-GPT responses was consistently adjusted so that the numerical values required for game balancing could be obtained directly from the answers. As an experimental method, it was confirmed that four players autonomously designed the game level through five rounds to adjust the balance. These studies suggest the possibility that games can be produced using Chat-GPT in the future.

키워드

Ⅰ. 서론

게임의 레벨의 단위별 밸런싱 작업은 게임 개발에 있어, 하나의 게임이 완성되어 출시 되기 전후로 가장 많이 조정, 수정되는 개발 내용이라고 볼 수 있다. 특히 자신만의 특성을 가진 여러 클래스, 캐릭터가 존재하는 게임에서 서로간의 밸런싱 작업은 게임의 재미성과 매우 밀접한 연관성을 가지고 있다. 잘 조정된 게임 밸런싱 작업은 재미있는 게임을 만들고자 하는 수많은 게임 개발사들의 지속적인 개발의 중심 포인트이자 핵심 내용이다. 밸런스가 잘 구성됨으로서 게임의 성공적인 요인으로 작용될 수 있으며, 게임의 성공이 지속적으로 유지되기 위해서는 안전하게 지속적인 밸런싱 작업이 꾸준하게 유지 보완되어야 하는 작업의 중요성이 커지고 있다[1]. 반대로 게임의 밸런싱 작업이 구성이 잘 안되어있거나 균형이 무너진다면, 이는 유저층이 이탈하는 실책으로 이어질 가능성이 크다고 할 수 있다.

이러한 게임 밸런싱 작업을 더욱 효과적이고 객관적으로 하기 위해 다양한 방법들이 연구 개발되고 있다. 즉각적인 게임 내 정보 습득과 그에 따른 반응이 중요한 FPS(First Person Shooting) 게임의 경우, 플레이어의 시각적 인지 정보 및 플레이 행동 패턴에 대한 데이터 수집을 통한 분석 연구가 필요한데, 이는 게임 밸런싱 적업에 있어서 밸런싱 상태를 평가하고 개선할 수 있는 객관적인 연구 방법으로 시도되고 있다[2].

본 논문에서는 사용자들에게 자동적으로 지능화된 게임 밸런싱을 제공하기 위한 연구 방법을 제안한다.자동화된 게임 밸런싱을 위해 시각적 인지 정보 및 실시간 플레이어의 플레이 데이터를 수집하여 이를 기반으로 AI를 활용하여 게임 밸런싱 작업을 하도록 하였다. 이로서 실제 게임에 적용하여 실제 플레이어들이 정확하게 명중률에 영향을 주도록 하는 연구 방법으 제안한다.

Ⅱ. 관련논문

1. 게임 밸런싱

최근 게임 개발 시 중요하게 보는 포인트 중 하나이자 오랫동안 성공적인 게임을 유지하기 위한 장점은 객관적이고 안정적인 레벨 디자인을 위한 게임 밸런싱 작업이다. 그러나 대다수의 이용자들이 만족할 수 있는 게임 밸런싱을 제공 하는 것은 쉽지 않다. 게임 밸런싱은 "A는 B이다." 와 같이 수학적 명제로 엄밀하게 정의되지 않기 때문이다. 예를 들어, 게임 자체의 밸런스를 조정하기 위해, 이용자들의 게임 이용 경험을 바탕으로 밸런스를 조정하는 것은 필연적으로 이용자들의 주관 혹은 개발자들의 주관이 들어갈 수 밖에 없는 방법이다[3]. 또한, 많은 테스터들이 실제 게임 플레이어를 통한 시행 착오를 거쳐 적합한 밸런싱 구성을 만들어 내야 한다. 때문에, 최근 게임 개발의 밸런싱 작업은 이용자들의 플레이 빅데이터를 바탕으로 세밀하게 진행된다. 이용자가 특정 캐릭터를 특정 맵에서 플레이 하였을 때의 승률, 스킬 명중률, 시간대 별 전투 시 승률 등의 빅데이터를 정리하여, 비정상적으로 높거나 낮은 지표가 보이는 부분을 수정하는 방식이다. 이러한 빅데이터화 된 게임 내 지표들은 AI 딥 러닝에 사용하여 더 좋은 결론을 도출할 수 있다. 실제로 오픈소스 게임에서의 이용자들의 행동 패턴을 빅데이터화 하여, AI 딥 러닝을 통해 다시 게임 디자인을 수정하는 방식을 제안한 사례가 존재했다[4].

2. Chat-GPT를 이용한 스토리텔링

일론 머스크, 샘 올트먼 등 프로그램으로 인지도를 올렸던 기업가들의 투자로 세워진 인공지능 연구소 OpenAI가 2022년 11월 30일에 대화형 인공지능인 ChatGPT를 출시했다. 한 대화형 인공지능 챗봇이다. 2021년 9월까지 존재하는 대량의 데이터를 학습한 이 챗봇은 출시 5일 만에 가입자 100만 명을 달성하였고 2개월 만에 가입자 1억 명을 기록하며 무수히 많은 이용자층을 확보하게 되었다[5]. ChatGPT는 빅데이터를 활용해 이용자의 질문을 토대로 이용자가 원하는 해답을 제공한다. 단순히 정보제공과 질의응답을 제공할 뿐만 아니라 텍스트를 요약, 생성, 번역할 수 있고, 자체적이고 독자적인 콘텐츠 생성, 의견 제시를 할 수 있다. 또한 프로그램의 코드 작성 등 혁신적 기능을 갖춰 폭넓게 활용될 수 있다[6]. 현재 이러한 Chat-GPT의 기능은 업데이트를 지속하며 그 성능이 향상되고 있는데, 일례로 GPT-4 모델의 경우 모의 변호사 시험을 진행하여, 상위 10%에 달하는 성적을 획득하기도 하였다[7]. 이러한 성능 향상은 Chat-GPT가 기존 인공지능들이 수행하던 단순 작업과 자동화 뿐 아니라 창작의 영역까지 활용될 가능성을 보여주고 있다.

표 1. Chat-GPT를 통해 세계관을 구축하는 모습

Table 1. Building a world view through Chat-GPT

OTNBBE_2024_v24n4_113_2_t0001.png 이미지

3. 인공지능과 게임 밸런싱

게임 분야에서는 몬스터, 연습용 상대 플레이어 등을 구현하기 위해 일찍이 원시적인 자동 동작 알고리즘을 도입하였었다. 1980년에 남코(현 반다이 남코 엔터테인먼트)에서 출시된 팩맨 게임은 4마리의 고스트들은 서로 다른 패턴으로 플레이어를 지능적으로 따라오는 인공지능을 구현하였다[8]. 이처럼 인공지능의 자체적인 판단력과 작동 알고리즘은 게임을 더욱 변칙적으로 만드는 요소가 되고, 게임의 성공 여부에도 중요한 요소가 되었다. 이용자의 동작 패턴 데이터를 바탕으로 몬스터의 공격패턴을 실시간으로 조절하여 밸런스에 관여하는 게임을 제작한 사례가 있다[9].

본 연구에는 텍스트 기반의 거대 AI 엔진인 Chat-GPT 모델을 바탕으로, 플레이어의 현재 실력을 객관적인 데이터를 통해 수치화하여, 이를 Chat-GPT에 입력한 후, 게임 밸런싱을 위한 세부 수치값을 직접 출력 시켜 게임에 적용하도록 설계한 과정 및 결과물에 대해 설명한다.

Ⅲ. 자율형 레벨 디자인

1. 게임 장르 선정

본 논문에서는 자동화된 실시간 게임 밸런싱 시스템을 개발하기에 앞서, 이용자의 실력을 수치화하기 용이하고, 수치화된 데이터를 밸런싱에 바로 적용할 수 있는 대표적인 게임 장르 두 가지를 분석하였다.

가. 롤 플레이 게임(Role Playing Game)

롤 플레잉 게임은 테이블 위에서 즐기던 롤 플레잉 보드게임이던 TRPG(Table-Role Playing Game)가 컴퓨터에서 즐길 수 있도록 개발된 것이 시초이다[10]. TRPG에서는 역할별 능력치, 길을 걷는 칸 수, 공격 대미지 등 다양한 수치를 주사위를 굴려 정한다. 이러한 수치적 특징은 플레이어가 퀘스트를 해결하면서 성장하는 게임 경험에 초점이 맞춰져 있다. 점진적으로 게임이 진행되면서 퀘스트 개수, 퀘스트에서 주어진 몬스터 수, 퀘스트에서 지정한 아이템을 드롭할 확률 등의 다양한 값이 수치화되어 동작한다[11].

나. 1인칭 슛팅 게임(First-Person Shooter)

1인칭 슛팅 게임은 1인칭으로 플레이하는 슈팅게임 장르를 말하며. 최근엔 FPS 장르 안에서도 게임 룰과 시스템에 따라 세분화되어 배틀로얄, 하이퍼 FPS, 밀리터리 FPS 등으로 분류되기도 한다. 1993년 “둠”의 출시로 온라인을 통한 FPS 플레이가 가능해졌으며, 많은 온라인 대전 데이터가 쌓이며 시각 및 청각 자극에 신속하게 반응하는 반응 속도가 온라인 FPS에서의 승패에 큰 영향을 끼친다는 사실이 알려졌다[12]. 이러한 자극에 대한 반응성은 곧 명중률, 분당 반응 횟수(Actions Per Minute, APM) 등의 객관적인 수치로 나타낼 수 있다. 또한, 일부 게임에서는 해당 지표를 이용자 정보란 등을 통해 공개해, 상대로 하여금 전력을 추측할 수 있다.

두 가지의 대표적인 게임 장르를 분석 한 결과 본 연구에서 진행하는 Chatf-GPT를 활용한 실시간 데이터 입출력을 고려하여 RPG와 같은 다양한 변칙성을 고려하기 보다는 데이터를 단순화하여 자동하 시키기에 FPS 장르가 적합하다는 것를 알 수 있었다.

2. 시스템 구성 및 제작

가. 시스템 설계

그림 1은 자율형 게임 밸런싱 작업 프로세스에 따른 전체 시스템 다이어그램을 보이고 있다.

OTNBBE_2024_v24n4_113_3_f0001.png 이미지

그림 1. ChatGPT를 이용한 게임 밸런싱 모식도

Fig. 1. A schematic diagram of game balancing using ChatGPT

게임 구동 방식은 목표물을 맞추어 점수를 확인하고, 다음 스테이지로 넘어가도록 하였다. 다음 스테이지로 넘어가는 과정에서 Chat-GPT를 이용한 밸런싱이 이루어지고, Chat-GPT는 목표물의 크기, 목표물이 움직이는 속도를 조정한다. Chat-GPT에게 조정할 수치에 관한 질문을 할 경우, “수치값 : int” 의 형식으로 답을 내놓는다. 이를 이용해 GPT-OpenAPI로 Chat-GPT의 답변을 게임 내에 실시간 적용하였다. 그림 2 와 같이 일정한 답변이 나오도록 질문을 유도한 후, 수치값을 답변하도록 하여 원하는 수치값을 얻어 낸다.

OTNBBE_2024_v24n4_113_4_f0001.png 이미지

그림 2. ChatGPT의 답변을 Unity 내부로 받아오는 모습

Fig. 2. Getting answers from ChatGPT inside Unity

나. Chat-GPT 기준 설정

동적으로 게임 밸런스를 설정하기 위해서, 게임 시스템이 동작 중에 판단할 수 있는 기준이 필요하다. 이러한 기준은 이용자가 체감하는 난이도를 수치화할 때 사용된다[13]. Chat-GPT에게 이러한 기준을 지정해주고, 그에 맞는 답변을 얻기 위해 질문할 밸런싱 요소에 기준을 설정하는 작업을 진행한다. 우선 게임 개발에 참고하였던 레퍼런스 게임 및 서비스 중인 FPS 게임들의 통계 창을 살펴보았다. 우선 하이퍼 FPS인“오버워치”에는 명중률, 치명타 명중률, 처치 횟수 등을 보여준다. 게임 개발 시 참고 레퍼런스 게임이던 “Aim Lab”은 총 점수, 타겟 처치율, 타겟 명중률, 분당 처치율, 총 점수를 보여준다. 또 다른 참고 레퍼런스 게임인 “Aim Hero”에서도 전체 명중률과 점수만을 보여준다.

참고 게임에 전체적으로 이용자의 명중률을 통계 지표의 핵심으로 두고 있기에, 이용자의 명중률을 입력받을 핵심 데이터로 설정한다. 이후 명중률을 바탕으로 목표물의 크기, 목표물 움직임의 속도 등 객관적으로 난이도를 조절할 수 있는 요소들을 조절하도록 Chat-GPT에 입력할 질문 폼을 작성하였다.

다. Chat-GPT 답변의 일관성 파악

Chat-GPT 답변의 일관성을 확인해보기 위해, 이용자의 명중률이 25%, 50%, 75%일 경우, ChatGPT에서 답변한 밸런싱을 위한 수치값을 각각 40회씩 기록하였다. 기록한 결과를 평균으로 계산해 보았을 때 표 2 와 같은 결과가 나오게 된다. 명중률이 25% 인 경우에 목표물의 크기는 88.125 픽셀이었고, 목표물의 속도는 4.6375 픽셀/초였다. 명중률이 50%인 경우, 목표물의 크기는 101.0758 픽셀 이었고, 목표물의 속도는 5.322368 픽셀/초 였다. 명중률이 75% 인 경우에는 목표물의 크기는 89.63225 픽셀 이었고, 목표물의 속도는 7.40425 픽셀/초 로 평균내었다. 전반적으로 Chat-GPT는 명중률을 낮추거나 높이기 위해 크기보다는 속도를 우선시 하는 경향을 보였음을 확인할 수 있다.

표 2. 명중률에 따른 ChatGPT의 답변 평균

Table 2. ChatGPT's average answer according to the percentage of hits

OTNBBE_2024_v24n4_113_4_t0001.png 이미지

OTNBBE_2024_v24n4_113_4_f0002.png 이미지

그림 3. 게임 플레이 장면 (2스테이지)

Fig. 3. Game Play Scene (2 Stage)

이후 Chat-GPT의 답변으로부터 목표물의 가로세로 길이, 목표물의 이동 속도 값을 직접 받아와 실제 게임에 적용하도록 게임을 구성하였다. 게임의 전체적인 시스템은 다음과 같다.

(1) 처음 1라운드는 Chat-GPT가 설정한 기본적인 목표물의 가로세로 길이, 이동속도 값을 가지고 모든 이용자가 동등한 조건에서 시작하게 된다.

(2) 2라운드로 넘어가면, 현재 이용자의 1라운드 기록을 바탕으로 Chat-GPT가 수치를 조절하여 게임의 난이도를 조절한다.

OTNBBE_2024_v24n4_113_4_f0003.png 이미지

그림 4. 게임 플레이 장면 (3스테이지)

Fig. 4. Game Play Scene (3 Stage)

(3) 이와 같은 방식으로 총 5라운드까지 진행되며, 매 라운드가 끝날 때마다 라운드 별 기록을 수치화하여 그래프로 보여준다.

(4) 5가지 라운드는 각각의 테마가 존재하여, 매 라운드마다 주변의 환경과 과녁판의 색이 변화한다.

그림 5은 각 라운드가 끝난 후, 명중한 표적 수와 명중하지 못한 표적 수, 점수, 명중률 추이 그래프를 보여준다. 점수는 명중 시 100점, 오발 시 –10점으로 계산되며, 명중률 추이 그래프의 경우, 게임 내에서 명중률을 10초 단위로 측정하여, 그래프로 시각화 한 것이다.

OTNBBE_2024_v24n4_113_5_f0001.png 이미지

그림 5. 게임에서 최종 그래프를 보여주는 모습

Fig. 5. Getting answers from ChatGPT inside Unity

Ⅳ. 실험 및 결과

본 연구의 실험을 위해 총 4명의 사용자를 대상으로 하여 명중률 값에 대해 실험하였다. 이용자들에게 완성된 게임을 직접 실행하게 하여, 각 라운드 별로 명중률과 크기, 속도의 변화를 기록하였다. 표 3은 실험 결과를 그래프로 나타낸 것이고, 그림 6 과 그림 7은 이를 그래프로 시각화한 것이다.

표 3. Chat-GPT를 통한 밸런싱 테스트 결과

Table 3. Balancing test results with Chat-GPT

OTNBBE_2024_v24n4_113_5_t0001.png 이미지

OTNBBE_2024_v24n4_113_6_f0001.png 이미지

그림 6. Chat-GPT를 통한 밸런싱 테스트 결과 그래프

Fig. 6. Balancing test results Graph with Chat-GPT

OTNBBE_2024_v24n4_113_6_f0002.png 이미지

그림 7. 이용자별 목표물 크기/속도에 따른 명중률 그래프

Fig. 7. Graph of the accuracy rate according to target size/speed by user

사용자 1은 1라운드 81%. 2라운드 88%, 3라운드 89%의 명중률을 기록하였고, 이에 Chat-GPT가 목표울의 크기를 줄이고 속도를 높여 4라운드에선 16%의 명중률을 기록하였다. 명중률이 50% 이하가 나오자 Chat-GPT는 다시금 목표물의 크기를 늘리고 속도를 줄여 5라운드에서는 83%의 명중률로 마무리하였다. 사용자 2는 1라운드 26%, 2라운드 10%의 명중률로 50% 이하의 명중률을 보여주었고, 이에 Chat-GPT는 목표물의 크기를 늘리고 속도를 줄여 3라운드, 4라운드에서는 각각 89%, 63%의 명중률을 보여주었다. 명중률이 50% 이상으로 올라가자 Chat-GPT는 목표물의 크기를 줄이고 속도를 늘려 5라운드에는 9%의 명중률로 마무리하였다. 사용자 3은 1라운드, 2라운드, 3라운드를 각각 98%, 95%, 77%의 명중률을 기록하며 50% 이상의 명중률을 보여주었고, 이에 Chat-GPT는 목표물의 크기를 줄이고 속도를 급격히 높여 4라운드, 5라운드에서는 8%의 명중률이 나오게 하였다. 사용자 4는 1라운드, 2라운드, 3라운드를 각각 76%, 53%, 22%의 명중률을 기록하며 50% 이상의 명중률을 보여주었고, 이에 Chat-GPT는 목표물의 크기를 줄이고 속도를 높여 4라운드에서는 22%의 명중률을 보였다. 이에 다시 목표물의 크기를 소폭 키우고 속도를 줄인 결과 71%의 명중률을 기록했다.

최종적으로 이용자들의 명중률 평균값은 각각 71%, 39%, 60%, 59% 를 기록하며 총 명중률 평균은 57%로 집계되었다. 이는 Chat-GPT가 게임 밸런싱을 조절하며 명중률을 50%에 가깝게 맞추고자 한 의도가 실제 게임 밸런스에도 반영되었음을 의미한다. 그림 8 , 그림 9 와 같이 이용자들의 라운드 별 목표물의 크기, 속도, 명중률을 보면, 사용자마다 오차가 있긴 하나 보통 명중률이 낮아지면 목표물의 크기를 키워주었으며, 속도를 줄여주는 양상을 보여주고 있다. 반대로 명중률이 높아지면 크기를 줄이고 속도를 높이는 양상을 보이고 있는데, 대체로 크기의 감소 폭 보다는 속도의 증가 폭이 큰 양상을 보여주고 있다.

Ⅴ. 결론

본 논문에서는 Chat-GPT를 이용해 FPS 게임의 레벨 디자인 작업을 자율형으로 밸런싱 작업을 할 수 있는 게임 시스템을 제안하였다.

본 연구에서 제안한 게임 시스템은 ChatGPT를 활용하여 목표물의 크기와 속도를 조절 하면서 자율적으로 레벨을 조절하는 시스템을 제안하도록 하였다.

해당 프로그램은 이용자 테스트 과정의 표본이 적고, 프로그램 실행 시 GPT-OpenAPI의 응답속도 문제로 인해 실질적인 출시 게임들에 비해 다소 진행이 느리다는 단점이 존재한다. 그럼에도 해당 연구에서 Chat-GPT의 생성 방식을 이용해, 게임의 기초적인 정보를 입력하여 실제 게임밸런스 조정이 가능함을 보였다. 이는 Chat-GPT가 게임을 비롯한 문화콘텐츠에 세밀한 부분에서 이용 가능성이 있음을 시사하고 있다. 향후 해당 연구 결과를 이용하여 게임 구조가 복잡하고 상호작용이 다양한 RPG 장르 등의 밸런스를 Chat-GPT를 이용하여 조정하는 등의 활용이 가능할 것으로 기대한다.

참고문헌

  1. Jung-Sun Kim, "A Study on Game Balancing Method through the case of Clash Royale", Proceedings of the Korean Society of Computer Information Conference, Vol. 26, No. 2, pp. 112 - 115, 2018. DOI : https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE07513820. 
  2. Gyu-Hyeok Choi, Ting Wu, & Mi-Jin Kim, "Player-Cognitive Information Visualization using Eye Gaze and Action Data in FPS Games" , Journal of the Korea Entertainment Industry Association, Vol. 12, No. 3, pp. 343-351, 2018. DOI : https://doi.org/10.21184/jkeia.2018.4.12.3.343. 
  3. Joonhyun Jeon, "Game Elements Balancing using Deep Learning in Artificial Neural Network", Journal of the HCI Society of Korea, The HCI Society of Korea, Vol. 13, No. 3, pp. 65 - 73, 2018. DOI : https://doi.org/10.17210/jhsk.2018.08.13.3.65. 
  4. Palosaari Eladhari, Mirjam & Sullivan, Anne & Smith, Gillian & Mccoy, Josh, "AI-Based Game Design: Enabling New Playable Experiences", Technical Report : USCS-SOE, University of California Santa Cruz, pp. 11-27, 2011. DOI : https://urn.kb.se/resolve?urn=urn:nbn:se:sh:diva-33181. 
  5. Chang-ho Park, "The Change of Cultural Power in Information Society and an Exploratory Understanding of ChatGPT's Cyber Domination", Society and Theory, Vol. 2023, No. 2, pp. 209-257, 2023. DOI : https://doi.org/10.17209/st.2023.07.45.209. 
  6. Kim, S., Hwang, M., Kim, S., & Kim, N, "Farming Diary Support Method using ChatGPT", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 23, No. 6, pp. 191-197, 2023. DOI : https://doi.org/10.7236/JIIBC.2023.23.6.191. 
  7. Achiam, OpenAI Josh et al, "GPT-4 Technical Report.", arXiv preprint arXiv:2303.08774, 2023. DOI : https://doi.org/10.48550/arXiv.2303.08774. 
  8. Jung, Eui-Tay, "New Development of Arcade Game 'Pac-Man' from 1980, 'Geo-Pac-Man' ", Journal of Integrated Design Research, Vol. 7, No. 2, pp. 71-83. 2008. DOI : https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE01711658. 
  9. Byoul Oh, "Game Balance by AI(Artificial Intelligence)", Communications of the Korean Institute of Information Scientists and Engineers, Vol. 27, No. 10, pp. 25-28, 2009. DOI : https://www.dbpia.co.kr/Journal/articleDetail?nodeId=NODE01262520. 
  10. M. Barton, "Dungeons and Desktops: The History of Computer Role-Playing Games", A K Petres. Ltd, pp.13-28, 2008. DOI : https://doi.org/10.1201/b10638-3. 
  11. Cho, Eun-Ha, "Contents Association. A Study on the Rise and Success of Korean-style Collection RPG Genre", The Journal of the Korea, Vol. 18, No. 11, pp. 327-337, 2018. DOI : https://doi.org/10.5392/JKCA.2018.18.11.327. 
  12. Colzato Lorenza S., Van Leeuwen Pieter J., Van Den Wildenberg Wery, Hommel Bernhard, "DOOM'd to switch: superior cognitive flexibility in players of first person shooter games", Frontiers in Psychology, Vol. 1, 2010. DOI : https://doi.org/10.3389/fpsyg.2010.00008. 
  13. Lee, Sang-Kyung, & Jung, Kee-Chul, "Player Adaptive GMM-based Dynamic Game Level Design", Journal of Korea Game Society, Vol. 6, No. 1, pp. 3-10, 2006. DOI : https://koreascience.kr/article/JAKO200635822500408.page.