• 제목/요약/키워드: Log Clustering

검색결과 73건 처리시간 0.022초

자산변동 좌표 클러스터링 기반 게임봇 탐지 (Game-bot detection based on Clustering of asset-varied location coordinates)

  • 송현민;김휘강
    • 정보보호학회논문지
    • /
    • 제25권5호
    • /
    • pp.1131-1141
    • /
    • 2015
  • 본 논문에서는 MMORPG에서 각 캐릭터의 소지금 증가/감소 이벤트 로그 데이터를 위주로 플레이어의 액션 로그 데이터를 조사하여 게임봇을 탐지하는 기계 학습 기반의 새로운 접근 방법을 제안한다. 게임봇 계정과 일반 계정을 구분하는 주요 피쳐를 추출하기 위해 밀도 기반 군집화 알고리즘의 하나인 DBSCAN (Density Based Spatial Clustering of Application with Noise)를 이용하였다. DBSCAN 알고리즘을 통해 각 플레이어의 소지금 증가/감소 위치 좌표를 클러스터링하고, 그 결과 생성된 클러스터의 수, 코어 포인트의 비율, 멤버 포인트의 비율, 노이즈 포인트의 비율과 같은 공간적 특성을 나타내는 값들을 추출하였다. 해당 피쳐들을 사용하면 게임봇 개발자들이 게임봇 탐지 시스템의 원리를 알더라도 넓은 지역을 돌아다니며 사냥을 하도록 게임봇 프로그램을 제작하는 것은 매우 비효율적이기 때문에 탐지 시스템을 우회하기 어렵게 된다. 결과적으로, 게임봇은 소지금 변동 좌표 데이터로부터 추출한 공간적 특성에서 일반유저와 명확한 차이를 보였다. 예를 들면, DBSCAN 클러스터링 결과 중 노이즈 포인트의 비율에서 게임봇은 5% 이하의 낮은 값을 가지는 반면에 일반 유저들은 대부분 높은 값을 갖는다. 실제 MMORPG의 액션 로그 데이터를 이용한 게임봇 탐지에서, 본 논문에서 제안된 시스템은 높은 탐지율의 우수한 성능을 보였다.

맵리듀스기반 워크플로우 빅-로그 클러스터링 기법 (A MapReduce-Based Workflow BIG-Log Clustering Technique)

  • 진민혁;김광훈
    • 인터넷정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.87-96
    • /
    • 2019
  • 본 논문에서는 분산 워크플로우 실행 이벤트 로그를 수집하고 분류하기 위한 사전 처리 도구로서 맵-리듀스기반 클러스터링 기법을 제안한다. 특히 우리는 볼륨, 속도, 다양성, 진실성 및 가치와 같은 BIG 데이터의 5V 속성에 만족하고 잘 충족되어 있기 때문에 분산 워크플로우 실행 이벤트 로그를 특별히 워크플로우 빅-로그(Workflow BIG-Logs)라고 정의한다. 이 논문에서 개발하는 클러스터링 기술은워크플로우 빅-로그를 기반으로 하는 특정 워크플로 프로세스 마이닝 및 분석 알고리즘의 사전 처리 단계에 적용하기 위한 목적으로 고안된 것이다. 즉, 맵리듀스(Map-Reduce) 프레임워크를 워크플로우 빅-로그 처리 플랫폼으로 사용하고, IEEE XES 표준 데이터 형식을 지원하며, 결국 본 연구에서 개발중에 있는 구조적 정보제어넷기반 워크플로우 프로세스 마이닝 알고리즘인 ${\rho}$-알고리즘의 사전 처리 단계 전용으로 사용되도록 구현된 것이다. 보다 자세하게 말하자면, 워크플로우 빅-로그의 클러스터링 패턴은 단위업무액티버티 기반 클러스터링 패턴과 단위업무 수행자 기반 클러스터링 패턴으로 분류되는데, 특별히 단위업무 액티버티 패턴의 하나인 시간적 워크케이스 패턴과 그의 발생 건수를 재발견하는 맵리듀스 기반 클러스터링 알고리즘을 설계하고 구현하고자 한다. 마지막으로, 우리는 BPI 챌린지에서 공개한 워크플로우 실행 이벤트 로그 데이터세트에 대해 일련의 실험을 수행함으로써 제안된 클러스터링 기법의 기술적 타당성을 검증한다.

Anomalous Pattern Analysis of Large-Scale Logs with Spark Cluster Environment

  • Sion Min;Youyang Kim;Byungchul Tak
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.127-136
    • /
    • 2024
  • 본 연구는 Spark 클러스터 환경에서 대용량 로그를 분석하여 시스템 이상과의 연관성을 탐색한다. 로그를 활용한 이상 감지 연구는 증가하고 있으나, 클러스터의 다양한 컴포넌트의 로그를 충분히 활용하지 못하고 이상과 시스템의 연관성을 고려하지 않는다는 한계가 있다. 따라서 본 논문에서는 정상과 비정상 로그의 분포를 분석하고, 로그 템플릿의 출현 여부를 통해 이상 감지 가능성을 탐색한다. Hadoop과 Spark를 활용하여 정상과 비정상 로그 데이터를 생성하고, t-SNE와 K-means 클러스터링을 통해 비정상 상황에서의 로그 템플릿을 찾아 이상 현상을 파악한다. 결과적으로, 비정상 상황에서만 발생하는 고유한 로그 템플릿을 확인하며 이를 통해 이상 현상 감지의 가능성을 제시한다.

A Clustering Algorithm Considering Structural Relationships of Web Contents

  • Kang Hyuncheol;Han Sang-Tae;Sun Young-Su
    • Communications for Statistical Applications and Methods
    • /
    • 제12권1호
    • /
    • pp.191-197
    • /
    • 2005
  • Application of data mining techniques to the world wide web, referred to as web mining, has been the focus of several recent researches. With the explosive growth of information sources available on the world wide web, it has become increasingly necessary to track and analyze their usage patterns. In this study, we introduce a process of pre-processing and cluster analysis on web log data and suggest a distance measure considering the structural relationships between web contents. Also, we illustrate some real examples of cluster analysis for web log data and look into practical application of web usage mining for eCRM.

User modeling based on fuzzy category and interest for web usage mining

  • Lee, Si-Hun;Lee, Jee-Hyong
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제5권1호
    • /
    • pp.88-93
    • /
    • 2005
  • Web usage mining is a research field for searching potentially useful and valuable information from web log file. Web log file is a simple list of pages that users refer. Therefore, it is not easy to analyze user's current interest field from web log file. This paper presents web usage mining method for finding users' current interest based on fuzzy categories. We consider not only how many times a user visits pages but also when he visits. We describe a user's current interest with a fuzzy interest degree to categories. Based on fuzzy categories and fuzzy interest degrees, we also propose a method to cluster users according to their interests for user modeling. For user clustering, we define a category vector space. Experiments show that our method properly reflects the time factor of users' web visiting as well as the users' visit number.

Design of a machine learning based mobile application with GPS, mobile sensors, public GIS: real time prediction on personal daily routes

  • Shin, Hyunkyung
    • International journal of advanced smart convergence
    • /
    • 제7권4호
    • /
    • pp.27-39
    • /
    • 2018
  • Since the global positioning system (GPS) has been included in mobile devices (e.g., for car navigation, in smartphones, and in smart watches), the impact of personal GPS log data on daily life has been unprecedented. For example, such log data have been used to solve public problems, such as mass transit traffic patterns, finding optimum travelers' routes, and determining prospective business zones. However, a real-time analysis technique for GPS log data has been unattainable due to theoretical limitations. We introduced a machine learning model in order to resolve the limitation. In this paper presents a new, three-stage real-time prediction model for a person's daily route activity. In the first stage, a machine learning-based clustering algorithm is adopted for place detection. The training data set was a personal GPS tracking history. In the second stage, prediction of a new person's transient mode is studied. In the third stage, to represent the person's activity on those daily routes, inference rules are applied.

효모 마이크로어레이 유전자 발현데이터에 대한 가우시안 과정 회귀를 이용한 유전자 선별 및 군집화 (Screening and Clustering for Time-course Yeast Microarray Gene Expression Data using Gaussian Process Regression)

  • 김재희;김태훈
    • 응용통계연구
    • /
    • 제26권3호
    • /
    • pp.389-399
    • /
    • 2013
  • 본 연구에서는 가우시안 과정회귀방법을 소개하고 시계열 마이크로어레이 유전자 발현데이터에 대해 가우시안 과정회귀를 적용한 사례를 보이고자한다. 가우시안 과정회귀를 적합하여 로그 주변우도함수 비를 이용한 유전자를 선별방법에 대한 모의실험을 통해 민감도, 특이도, 위발견율 등을 계산하여 선별방법으로의 활용성을 보였다. 실제 효모세포주기 데이터에 대해 제곱지수공분산함수를 고려한 가우시안 과정회귀를 적합하여 로그 주변우도함수 비를 이용하여 차변화된 유전자를 선별한 후, 선별된 유전자들에 대해 가우시안 모형기반 군집화를 하고 실루엣 값으로 군집유효성을 보였다.

MCMC 결측치 대체와 주성분 산점도 기반의 SOM을 이용한 희소한 웹 데이터 분석 (Sparse Web Data Analysis Using MCMC Missing Value Imputation and PCA Plot-based SOM)

  • 전성해;오경환
    • 정보처리학회논문지D
    • /
    • 제10D권2호
    • /
    • pp.277-282
    • /
    • 2003
  • 웹으로부터 유용한 정보를 얻기 위한 연구는 현재 많이 진행되고 있다. 본 논문에서는 특히 웹 로그 데이터의 희소성에 대한 문제 해결과 이를 통한 웹 사용자의 군집화 방안에 대하여 연구하였다. MCMC 방법의 베이지안 추론에 의한 결측치 대체 기법을 이용하여 웹 데이터의 희소성을 제거하였고, 주성분에 의한 산점도를 통하여 형상지도의 차원을 결정한 자기 조직화지도를 이용하여 웹 사용자의 군집화를 수행하였다. 제안 기법은 기존의 방법들에 비해 모형의 정확도와 빠른 학습 시간을 제공하여 주었다. KDD Cup 데이터를 이용한 실험을 통하여 제안 방법에 대한 문제 해결 절차 및 성능 평가를 객관적으로 확인하였다.

Prediction and visualization of CYP2D6 genotype-based phenotype using clustering algorithms

  • Kim, Eun-Young;Shin, Sang-Goo;Shin, Jae-Gook
    • Translational and Clinical Pharmacology
    • /
    • 제25권3호
    • /
    • pp.147-152
    • /
    • 2017
  • This study focused on the role of cytochrome P450 2D6 (CYP2D6) genotypes to predict phenotypes in the metabolism of dextromethorphan. CYP2D6 genotypes and metabolic ratios (MRs) of dextromethorphan were determined in 201 Koreans. Unsupervised clustering algorithms, hierarchical and k-means clustering analysis, and color visualizations of CYP2D6 activity were performed on a subset of 130 subjects. A total of 23 different genotypes were identified, five of which were observed in one subject. Phenotype classifications were based on the means, medians, and standard deviations of the log MR values for each genotype. Color visualization was used to display the mean and median of each genotype as different color intensities. Cutoff values were determined using receiver operating characteristic curves from the k-means analysis, and the data were validated in the remaining subset of 71 subjects. Using the two highest silhouette values, the selected numbers of clusters were three (the best) and four. The findings from the two clustering algorithms were similar to those of other studies, classifying $^*5/^*5$ as a lowest activity group and genotypes containing duplicated alleles (i.e., $CYP2D6^*1/^*2N$) as a highest activity group. The validation of the k-means clustering results with data from the 71 subjects revealed relatively high concordance rates: 92.8% and 73.9% in three and four clusters, respectively. Additionally, color visualization allowed for rapid interpretation of results. Although the clustering approach to predict CYP2D6 phenotype from CYP2D6 genotype is not fully complete, it provides general information about the genotype to phenotype relationship, including rare genotypes with only one subject.

피아노 코드 연습 데이터를 활용한 맞춤형 학습 지원 (A technique to support the personalized learning based on the log data of piano chords practicing)

  • 정우성;이은주;최수아
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권1호
    • /
    • pp.191-201
    • /
    • 2023
  • IT기술을 교육 서비스에 접목시키는 에듀테크 시대가 도래함에 따라, 음악 교육에서도 다양한 시도들이 행해지고 있다. 교수자 중심에서 학습자 중심으로 옮아가면서 학습자 맞춤형 학습에 대해 관심이 높아졌으며, 이를 위해서 학습자의 숙련도를 파악하는 것이 필요하다. 피아노 학습에서 코드 운지법은 반주자가 필수적으로 익혀야 할 기법이다. 본 논문에서는 맞춤형 코드 운지법 학습 도구를 제안하고 코드 운지법 패턴 분석을 통한 활용 방안을 보였다. 구체적으로는, 학습자의 축적된 코드 연습 데이터를 활용하여 코드의 난이도나 학습자의 숙련도를 파악하고, 코드 사이의 유사도에 기반한 계층적 클러스터링을 수행하여 코드 클러스터들을 통하여 보다 향상된 코드 연습에 대한 활용방안을 제시하였다. 본 연구의 의의는 연습 데이터로부터 의미 있는 정보를 획득하여 맞춤형으로 코드 학습을 할 수 있다는 데 있다. 또한 테스트와 같은 부가적인 노력 없이, 연습 시에 저장되는 데이터들을 이용하여 숙련도와 코드 학습 난이도가 산정되므로 학습자 입장에서의 부담을 경감시킬 수 있다.