Journal of the Korea Institute of Information Security & Cryptology (정보보호학회논문지)

Korea Institute of Information Security and Cryptology (한국정보보호학회)
권호 표지
DOI QR코드

DOI QR Code

A study on hard-core users and bots detection using classification of game character's growth type in online games

캐릭터 성장 유형 분류를 통한 온라인 게임 하드코어 유저와 게임 봇 탐지 연구

  • Lee, Jin (Graduate School of Information Security, Korea University) ;
  • Kang, Sung Wook (Graduate School of Information Security, Korea University) ;
  • Kim, Huy Kang (Graduate School of Information Security, Korea University)
  • 이진 (고려대학교 정보보호대학원) ;
  • 강성욱 (고려대학교 정보보호대학원) ;
  • 김휘강 (고려대학교 정보보호대학원)
  • Received : 2015.06.17
  • Accepted : 2015.08.05
  • Published : 2015.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

Security issues such as an illegal acquisition of personal information and identity theft happen due to using game bots in online games. Game bots collect items and money unfairly, so in-game contents are rapidly depleted, and honest users feel deprived. It causes a downturn in the game market. In this paper, we defined the growth types by analyzing the growth processes of users with actual game data. We proposed the framework that classify hard-core users and game bots in the growth patterns. We applied the framework in the actual data. As a result, we classified five growth types and detected game bots from hard-core users with 93% precision. Earlier studies show that hard-core users are also detected as a bot. We clearly separated game bots and hard-core users before full growth.

온라인 게임에서 게임 봇의 사용은 개인정보 탈취, 계정도용의 보안 문제를 발생시킨다. 또한, 게임 봇은 게임 내재화를 불공정하게 수집하여 게임 콘텐츠의 빠른 소비와 정당한 게임 사용자에게 상대적 박탈감을 주어 게임시장 침체를 일으킨다. 본 연구에서는 실제 온라인 게임 내 캐릭터의 성장 과정 분석을 통해 성장 유형을 정의하고, 성장 유형에서 게임봇을 탐지 및 하드코어 유저와 봇을 분류하는 프레임워크를 제안한다. 실제 게임 데이터에 제안한 프레임워크를 적용하여 5가지로 성장 유형을 분류하였고, 93%의 정확도로 봇 탐지 및 하드코어 유저와 봇을 구분하였다. 또한 기존 연구에서 봇으로 탐지되었던 하드코어 유저를 구분해내고, 게임 봇을 성장 전에 사전 탐지함으로써 향상된 성능을 보였다.

Keywords

I. 서론

온라인 게임 시장의 성장과 더불어 온라인 게임에서의 한정적인 재화가 현실의 재화로서 가치를 갖게 됨에 따라 게임 봇을 이용하여 아이템을 전문적으로 수집하는 GFG(Gold Farming Group)와 게임 내 재화를 현금으로 바꾸는 RMT(Real Money Trading)[1,2]가 등장하게 되었다. RMT 그룹은 게임 내 재화를 수집하기 위해 개인정보 탈취, 계정도용의 부정한 방법을 통해 다량의 게임 봇을 운영한다.

게임 봇은 사람의 조작 없이 자동으로 오랜 시간 동안 게임을 할 수 있게 해주는 인공지능 프로그램으로, 게임 봇을 이용해서 반복적이고 지루한 작업을 노력 없이 수행하기 때문에 정당한 플레이어보다 불공정한 이득을 쉽게 취할 수 있다. 또한, 게임 봇의 무차별적인 사냥과 채집 등의 게임 활동은 온라인 게임 내 콘텐츠를 빠르게 소모하는 문제를 일으킨다. 이처럼 게임 봇은 불공정한 재화 수집으로 게임 내 통화량을 증가시켜 게임 내 경제에 악영향을 끼치며, 정당한 사용자에게 박탈감을 주어 흥미를 상실하게 하고 더 나아가 게임을 떠나게 만드는 문제를 일으킨다[3]. 이는 온라인 게임 이용자의 감소뿐 아니라 더 나아가 온라인 게임 시장의 침체라는 문제를 야기할 수 있다.

게임 봇은 사람의 게임플레이를 유사하게 수행하고, 게임 내의 규칙을 정확하게 따르는 형태로 설계되었기 때문에 게임 봇을 탐지하는 것은 어렵다[4]. 하지만 게임 봇은 게임 내 사용자와 완벽히 동일하게 플레이하는 것은 불가능하므로 사용자의 행위분석을 기반으로 탐지하는 방법이 연구되었다. 지금까지의 게임 봇과 관련된 연구들은 봇의 성장 요소를 고려하거나 플레이 유형을 구분하지 않고, 반복적인 행위나 패턴에 따른 일치 여부로 봇 여부를 구분하였다. 이러한 분류 방법은 게임 봇이 게임 내에서 이미 완전한 성장을 이뤄 반복적인 행위와 많은 재화 수집행위를 통해 유저들에게 상당한 피해를 준 후에 탐지된다는 점과 게임 봇과 하드코어 유저를 구분하지 못하는 문제가 있다.

하드코어 유저는 게임을 몰입해서 즐기는 플레이어로 게임에 투자한 시간이 길고, 오랜 시간을 들여 게임을 즐기며, 게임 속 콘텐츠를 연구하고 게임에 깊게 빠져든 유저로 게임 내 콘텐츠를 구매하는 대도 관대한 충성고객이다. 따라서 하드코어 유저를 봇으로 탐지하여 제재할 경우 이는 곧 게임 이탈로 이어져 게임회사의 치명적 손실로 연결될 수 있다.

본 연구는 게임 내 캐릭터의 성장 과정을 분석하여 성장 유형을 5가지로 분류하였고, 하드코어 유저와 게임 봇의 성장 유형 차이를 통해 처음으로 하드 코어 유저와 게임 봇을 분류하였다. 또한, 게임 봇이 완전한 캐릭터로 성장하기 전에 탐지하는 프레임워크를 제안한다.

본 연구는 2장에서 기존에 게임 봇 탐지 방법에 대한 연구와 해당 탐지 방법들의 장단점을 분석하였다. 3장에서는 실험에 사용한 실제 온라인 게임의 액션 로그 데이터에 관해 설명 하였다. 또한, 캐릭터의 성장 과정에서 나타나는 플레이 유형을 5가지로 정의하였고, 게임 봇이 성장하여 악의적인 행위를 하기 전에 게임 봇을 사전 탐지하는 방법을 제안하였다. 실제 온라인 게임 로그 데이터 셋에 제시한 방법론을 적용하여 하드코어 유저와 게임 봇을 분류를 수행하였다. 4장에서는 기계학습 알고리즘을 통해 분류한 결과의 정확도와 탐지율을 비교분석 하였다. 5장에서는 결론에 관해서 기술하였다.

II. 관련연구

게임 봇 탐지 연구는 크게 클라이언트 측면, 서버 측면으로 Table 1과 같이 나누어서 판단하였다.

Table 1. Classification of online game bot detection methods

클라이언트 측면에서는 게임보안솔루션과 CAPTCHA를 이용한 방법이 있다. 대표적인 게임보안솔루션은 GameGuard, Tenguard, Warden 등이 있다. 게임보안솔루션은 클라이언트의 PC 내에 설치되어 많은 탐지정보를 취득해 올 수 있지만, Antivirus와 같은 프로그램과의 충돌, 특정 하드웨어와의 충돌 등으로 사용성을 떨어뜨리고[3], 사용자의 개인정보를 침해할 수 있다는 문제가 있다. CAPTCHA 방법은 인간이 쉽게 해결할 수 있지만, 컴퓨터는 쉽게 풀지 못하는 것을 이용하는 방식이다[4, 5]. 게임 내에서 CAPTCHA 이미지를 발생시켜 봇을 탐지하는 방법이 있지만, 이는 게임 내 플레이어의 게임 몰입을 방해한다는 단점이 있다.

서버 측면 탐지방법은 정확도가 높으면서 게임 봇 제작자에게 탐지방법의 노출이 적은 것으로, 사용자의 몰입도를 유지하며 탐지하는 방법이다. 현재 대부분의 게임 봇 탐지 연구는 서버 측면 연구가 주를 이루고 있다. 그중에서 봇과 일반 사용자의 행위 분석을 토대로 탐지하는 방법으로는 이동 패턴의 차이를 분석한 방법[6, 7, 8, 9], 유휴 시간의 행위 패턴 차이를 분석한 방법[10], 파티 채팅과 같은 소셜 행위를 기준으로 분석한 방법[3, 11], 수집한 봇의 아이템 거래 네트워크를 분석한 방법[12, 13, 14]과 대가 없는 게임머니의 거래를 분석한 방법[15], 게임 내 유저의 플레이 스타일을 분류하여 탐지한 방법[16]이 있다. 또한, 사용자 행위에 분석을 토대로 액션 행위 빈도수 분석[17, 18, 19], 액션 시퀀스 차이 분석을 통한 방법[20, 21]과 소셜 네트워크 분석을 통해 게임 봇 사용의 전파에 관한 연구[22, 23, 24] 등 많은 연구가 이루어졌다.

기존의 봇 탐지와 관련된 연구들은 주로 반복되는 행위 패턴의 차이점을 분석하여 일반유저와 게임 봇을 구분하였다. 이러한 사용자 행위 패턴을 통한 탐지는 이미 봇으로써 상당한 활동을 한 후에 탐지되는 경우가 대부분이며, 또한 하드코어 유저와 게임 봇의 차이를 발견하기 어렵다.

본 연구에서는 게임 플레이어의 성장 유형을 분류하여 게임 봇이 완전히 성장하기 전에 탐지하고, 하드코어 유저와 게임 봇을 분별하는 서버 측면의 탐지 방법을 제안한다.

III. 게임 내 성장 유형에 따른 게임 봇 탐지 방법론

3.1 성장 유형 분류를 통한 봇 탐지 프레임워크

게임 내 캐릭터가 성장하는 과정을 분석하여 게임봇 탐지 및 게임 봇과 하드코어 유저를 분류하는 프레임워크를 제안하였다. 제안하는 내용은 Fig. 1로 프레임워크의 세부적인 내용은 다음과 같다.

Fig. 1. Bot detection framework with growth type analysis

첫 번째로, 게임 내 성장 유형을 분류하기 위해서 특정 게임에 종속적인 요소를 제외하고, 일반적으로 MMORPG(Massive Multiplayer Online Role Playing Game)에 존재하는 사냥, 퀘스트, 파티, PvP(개인 간의 전투) 등의 요소들을 피처로 선정하였다. 또한, 게임 액션로그 데이터를 수집 및 전처리 과정을 수행하여 성장 유저들을 추출하였다.

두 번째로, 첫 번째 단계에서 선정한 피처를 기반으로 데이터 마이닝 기법인 K-means 알고리즘을 이용한 클러스터링을 수행하여 K개의 그룹으로 성장 유형을 분류하였다. K-means 클러스터링은 객체들의 집합을 K개의 군집으로 분해하는 것으로, 거리에 기반을 둔 클러스터링 기법이며 객체들의 평균값을 측정하여 기점에 가까운 곳의 데이터들을 하나로 군집하는 방법이다.

세 번째로, 분류된 성장 유형을 바탕으로 하드코어 유저의 특성과 게임 봇의 특성을 고려하여 둘이 함께 있는 그룹을 선정하였고, 해당 그룹에 대한 세부적인 분석을 진행하였다.

마지막으로, 하드코어 유저와 게임 봇의 성장을 분류하는 피처를 선정하여, 기계학습의 분류 알고리즘을 이용하여 게임 봇 탐지 및 하드코어 유저를 구분하였다. 탐지 후 평가는 게임회사 내부에서 탐지한봇 유저 로그와 비교하여 제시한 프레임워크의 봇 탐지 정확도를 분석하였다.

3.2 데이터 셋

2008년 11월에 오픈하여 2015년 6월 현재까지 온라인 게임 상위순위인 7위를 유지하고 있는 NCSoft사의 MMORPG Aion 액션 로그를 분석하였다. 기간은 2010년 4월 9일 ~ 2010년 6월 30일(83일)까지의 약 3개월 로그 데이터를 사용하였다.

3.3 성장 유저 추출

캐릭터의 성장 유형을 분석하기 위해서 기존에 생성된 캐릭터가 아닌 새로 캐릭터를 생성하여 시작하는 사용자(성장 유저)를 추출하였다. 성장 유저는 앞서 기술한 83일간의 관측 동안 게임에 접속하여 캐릭터를 새로 생성하고, 생성한 캐릭터로 게임을 진행하여 기간 내에 게임에서 최고레벨을 달성한 사용자로 정의하였다. 해당 기간에 1레벨부터 55레벨(최고 레벨)까지 성장한 사용자는 총 239명으로 그중 캐릭터를 신규로 생성한 후 최고레벨을 달성한 사용자는 222명이었다. 222명의 성장 기간은 각각 다르며, 각 유저의 성장 기간에 따른 데이터를 추출하여 분석하였다.

3.4 성장 유형 분류

성장 유형을 분류하기 위해서 MMORPG에 공통으로 존재하는 퀘스트, 사냥, 파티, PvP, 개인 거래, 커스터 마이징(맞춤 제작), 인스턴스 던전(특정 유저 개인이나 집단을 위해 별도로 생성한 지역), 아이템 강화행위와 최고레벨까지 성장하는 기간을 Table 2와 같이 피처로 선정하였다.

Table 2. Clustering Features

Table 2의 피처를 이용하여 성장 유형을 분류하기 위해 유사한 데이터들을 하나의 그룹으로 묶어서 군집하는 K-means 알고리즘을 사용하였다.

Table 3은 K-means 알고리즘을 통한 군집 결과를 나타내며 표의 내용은 각 군집의 무게 중심 값과 5개로 성장 유형을 분류한 결과이다.

Table 3. Clustering Results of growth pattern

분류한 성장 유형의 5개 그룹을 세부적으로 분석하였다. 1그룹은 거래 중심의 게임 플레이를 보이며, 성장 기간이 60일로 가장 오래 걸리는 그룹이다. 2그룹은 거래 및 파티 등의 소셜 활동, 커스터 마이징 등을 거의 수행하지 않고, 퀘스트와 사냥에 중점적으로 플레이하는 것을 보였다. 성장하는 데 중요 요소인 사냥과 퀘스트 중심의 플레이를 보였으나 평균 성장 기간이 55일로 각 그룹의 평균보다 늦은 성장을 보이는 비효율적인 성장 그룹이었다. 3그룹은 파티와 인스턴스 던전을 통한 소셜 플레이 중심으로 수행하며, 아이템 강화 및 커스터 마이징에 성장과정 중 가장 많이 투자하는 그룹이다. 4그룹은 빠른 성장에 최적화된 그룹이다. 최소의 소셜 활동만을 수행하고 최적화된 사냥을 통해 적은 수의 사냥량으로 빠르게 성장하였다. 성장 기간이 평균 37일로 가장 빠른 성장을 보인 그룹이다. 5그룹은 PvP 활동을 왕성하게 즐기며 성장을 완료한 유저이다. 성장은 평균 57일로 성장이 느린 그룹이다.

클러스터링 결과 분석을 통하여 Table 4와 같이 성장 유형을 5가지로 나누었다. 5가지 각 그룹은 거래, 사냥, 소셜 활동, 초고속 성장, 전투에 뚜렷한 특징을 나타내고 있다. 1그룹은 거래 기반 성장형, 2그룹은 사냥 중심 성장형, 3그룹은 소셜 기반 성장형, 4그룹은 초고속 성장형, 5그룹은 전투적 성장형으로 나누었다.

Table 4. Five types of growth

3.5 하드 코어 유저와 봇 유저의 분류

클러스터링을 수행한 결과, 성장 유형 중 2그룹(사냥 중심 성장형)은 성장 기간 동안 적게는 1.5배, 많게는 9배 정도 다른 그룹보다 많은 사냥량을 보이며, 하루 평균 플레이 시간이 19시간으로 비정상적인 플레이 패턴을 보였다. 이러한 비정상적인 플레이 패턴은 일반적인 게임 봇 행위 패턴과 유사하다. 게임 봇의 경우 다량의 게임 재화 수집을 위해 장시간 동안 많은 사냥과 채집, 퀘스트 수행을 보이며, 일반적인 그룹보다 성장 속도(성장효율)가 낮은 특성을 보였기 때문이다. 따라서 플레이 시간이 길며 과몰입 하는 플레이 특징으로 2그룹을 하드코어 유저와 봇 유저의 그룹으로 선택하여 분석 하였다.

게임회사 내부에서 탐지한 봇 유저 로그와 2그룹을 교차 분석 시 2그룹의 전체 인원 63명 중 게임봇 유저는 46명, 하드코어 유저는 17명으로 이루어진 것을 알 수 있었다.

2그룹에 속한 봇 유저와 하드코어 유저를 구별하기 위해서 선정한 피처는 캐릭터의 자산 보유와 거래 횟수, 게임 몰입과 전투적인 측면 관점으로 선택하였다. Table 5는 봇 유저와 하드코어 유저의 구분 피처이다.

Table 5. Features for Classification

IV. 실험 결과

4.1 하드코어 유저와 봇 유저 분류 결과

하드 코어 유저와 봇 유저를 분류하기 위해서 기계학습 알고리즘을 이용하였다. 학습 및 평가에 사용된 알고리즘은 Multilayer Perceptron과 Random Forest이다. Multilayer Perceptron은 대표적인 신경망 알고리즘으로 다중 입력과 가중치의 선형 결합에 의한 다중 학습으로 신경망이 구성되어 최적의 결과 값이 결정된다. Random Forest[25]의 경우 여러 개의 의사결정 트리를 이용하는 앙상블 알고리즘이다. 두 개의 알고리즘 모두 이진 분류에 좋은 성능을 보인다.

학습에 사용된 데이터는 2그룹에 속한 63명으로, Table 5에서 선정한 피처를 사용하였다. 검증 및 평가를 위해서 Cross Validation 10 Folds로 하였고, 학습 결과는 Precision, Recall로 평가하였다. 게임 봇일 경우 참으로 하고 하드코어 유저일 경우 거짓으로 판단하여, Precision은 봇으로 탐지 한 것 중 실제 봇인 비율, Recall은 실제 게임 봇을 정확하게 탐지할 비율을 의미한다. TP는 실제 봇이 봇으로 식별된 수, FP는 봇이 하드코어 유저로 식별된 수, FN은 하드코어가 하드코어 유저로 식별된 수이다. 실제 정의는 식(1)과 같다.

Precision = #, Recall = #

TP: True Positive FP: False Positive       (1)

FN: False Negative

Table 6은 Multilayer Perceptron과 Random Forest의 학습 알고리즘에 대한 결과 이다. Multilayer Perceptron의 Precision과 Recall이 93%로 가장 높은 탐지율을 보였다.

Table 6. Experiment Results

Table 7은 63명에 대한 Multilayer Perceptron의 Confusion Matrix 결과를 나타낸다. 봇으로 탐지한 인원은 46명 중에서 44명이며, 하드코어 유저의 경우 17명 중에서 15명이다.

Table 7. Confusion Matrix

V. 결론

본 연구에서는 실제 게임 데이터를 분석하여 게임 캐릭터가 성장하는 서로 다른 패턴이 존재함을 보이며, 처음으로 플레이어의 성장 패턴에 따라 5가지로 게임 플레이어의 성장 유형을 분류하였다. 또한, 성장 유형을 기반으로 성장 과정에서의 일반 유저(하드 코어 유저)와 게임 봇 유저를 탐지할 수 있는 프레임워크를 처음으로 제안하였고, 93% 정확도로 게임봇 탐지 및 게임 봇과 일반 유저(하드코어 유저)를 분류하였다.

본 연구에서 제안하는 탐지 방법은 봇 캐릭터가 성장을 완료하기 전, 성장 과정에서 탐지하기 때문에 완전한 성장 후 실질적으로 봇 활동을 하기 전에 사전 탐지 및 제재를 할 수 있고, 정당한 사용자에게 게임 봇의 사용 전파를 방지할 수 있는 이점이 존재한다. 또한, 게임의 충성고객인 하드코어 유저가 봇으로 탐지될 수 있는 문제를 해결하여 고객의 이탈을 방지할 수 있다. 추가로 본 연구에서 분석한 성장 유형은 게임 기획이나 디자인, 플레이어 행위 분석에 다양하게 활용될 수 있을 것으로 기대된다.

References

  1. B. Keegan, M.A. Ahmad, D. Williams, J. Srivastava and N. Contractor, "What can gold farmers teach Us About criminal networks?," XRDS: Crossroads, vol. 17, pp. 11-15, 2011.
  2. H. Itsuki, A. Takeuchi, A. Fujita, and H. Matsubara, "Exploiting MMORPG log data toward efficient RMT player detection," International Conference on Advances in Computer Entertainment Technology, pp. 118-119, Nov. 2010.
  3. A.R. Kang, J. Woo, J. Park and H.K. Kim, "User Behavior Analysis for Online Game Bot Detection," Journal of The Korea Institute of information Security & Cryptology, vol. 22, no. 2, pp. 225-238, Apr. 2012.
  4. R.V. Yampolskiy, and V. Govindaraju, "Embedded noninteractive continuous bot detection," Computers in Entertainment, vol. 5, no. 7, May. 2008.
  5. P. Golle, and N. Ducheneaut, "Preventing bots from playing online games," Computers in Entertainment, vol. 3, pp. 3-3, Jul. 2005.
  6. K.T. Chen, A. Liao, H.K.K. Pao and H.H. Chu, "Game bot detection based on avatar trajectory," Entertainment Computing-ICEC, vol. 5309, pp. 94-105, 2009.
  7. S. Mitterhofer, C. Platzer, C. Kruegel and E. Kirda, "Server-side bot detection in massive multiplayer online games," IEEE Security and Privacy, pp.29-36, 2009.
  8. M. van Kesteren, J. Langevoort, and F. Grootjen, "A step in the right direction: Botdetection in MMORPGs using movement analysis," the 21st Belgian-Dutch Conference on Artificial Intelligence, 2009.
  9. K.T. Chen, H.K.K. Pao, and H.C. Chang, "Game bot identification based on manifold learning," ACM SIGCOMM Workshop on Network and System Support for Games, pp. 21-26, Oct. 2008.
  10. K.T. Chen and L.W. Hong, "User Identification based on Game-Play Activity Patterns," ACM SIGCOMM workshop on Network and system support for games, pp. 7-12, 2007.
  11. A.R. Kang, H.K. Kim and J. Woo, "Chatting pattern based game BOT detection: do they talk like us?," KSII Transactions on Internet and Information Systems, vol. 6, no. 11, pp. 2866-2879, Jun. 2013. https://doi.org/10.3837/tiis.2012.10.007
  12. K. Woo, H. Kwon, H.C. Kim, C.K. Kim and H.K. Kim, "What can free money tell us on the virtual black market," ACM SIGCOMM, vol. 41, pp. 392-393, Aug. 2011. https://doi.org/10.1145/2043164.2018484
  13. M.A. Ahmad, B. Keegan, A. Roy, D. Williams, J. Srivastava and N. Contractor, "Guilt by association? Network based propagation approaches for gold farmer detection," Advances in Social Networks Analysis and Mining, pp.121-126, Aug. 2013.
  14. A. Fujita, H. Itsuki and H. Matsubara, "Detecting Real Money Traders in MMORPG by Using Trading Network," AIIDE, Oct. 2011.
  15. H. Kwon, K. Woo, H. Kim, C.K. Kim, and H.K. Kim, "Surgical strike: A novel approach to minimize collateral damage to game BOT detection," Annual Workshop on Network and Systems Support for Games, pp. 1-2, Dec. 2013.
  16. Y. Chung, C.Y. Park, N.R. Kim, H. Cho, T. Yoon, H. Lee and J.H. Lee, "Game Bot Detection Approach Based on Behavior Analysis and Consideration of Various Play Styles," ETRI Journal, vol. 35, no. 6, pp. 1058-1067, Dec. 2013. https://doi.org/10.4218/etrij.13.2013.0049
  17. R. Thawonmas, Y. Kashifuji, and K.T. Chen, "Detection of MMORPG bots based on behavior analysis," International Conference on Advances in Computer Entertainment Technology, pp. 91-94, Dec. 2008.
  18. I.X. Dominguez, A. Goel, D,L. Roberts and R.S Amant, "Detecting abnormal user behavior through pattern-mining input device analytics," the 2015 Symposium and Bootcamp on the Science of Security, p. 11, Apr. 2015.
  19. Y. Mishima, K. Fukuda and H. Esaki, "An analysis of players and bots behaviors in MMORPG," Advanced Information Networking and Applications, pp. 870-876, Mar. 2013.
  20. J. Lee, J. Lim, W. Cho and H.K. Kim, "I know what the BOTs did yesterday: full action sequence analysis using Naive Bayesian algorithm," Annual Workshop on Network and Systems Support for Games, pp. 1-2, Dec. 2013.
  21. J. Lee, J. Lim, W. Cho and H.K. Kim, "In-Game Action Sequence Analysis for Game BOT Detection on the Big Data Analysis Platform," 18th Asia Pacific Symposium on Intelligent and Evolutionary Systems, vol. 2, pp. 403-414, Jan. 2015.
  22. J. Woo, A.R. Kang and H.K. Kim, "Modeling of bot usage diffusion across social networks in MMORPGs," the Workshop at SIGGRAPH Asia, pp. 13-18, Nov. 2012.
  23. Y. Ki, J. Woo and H.K. Kim, "Identifying spreaders of malicious behaviors in online games," the 23rd international conference on World wide web companion, pp. 315-316, Apr. 2014.
  24. J. Woo, A.R. Kang and H.K Kim, "The contagion of malicious behaviors in online games," ACM SIGCOMM Computer Communication Review, vol. 43, pp. 543-544, 2013. https://doi.org/10.1145/2534169.2491712
  25. T.K. Ho, "Random decision forests," Document Analysis and Recognition, vol. 1. pp. 278-282, 1995. https://doi.org/10.1109/ICDAR.1995.598994