• International Journal of Computer Science & Network Security
• /
• 제23권5호
• /
• pp.207-211
• /
• 2023

Traditional methods for datamining typically assume that the data is small, centralized, memory resident and static. But this assumption is no longer acceptable, because datasets are growing very fast hence becoming huge from time to time. There is fast growing need to manage data with efficient mining algorithms. In such a scenario it is inevitable to carry out data mining in a distributed environment and Frequent Itemset Mining (FIM) is no exception. Thus, the need of an efficient incremental mining algorithm arises. We propose the Distributed Incremental Approximate Frequent Itemset Mining (DIAFIM) which is an incremental FIM algorithm and works on the distributed parallel MapReduce environment. The key contribution of this research is devising an incremental mining algorithm that works on the distributed parallel MapReduce environment.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2012년도 제46차 하계학술발표논문집 20권2호
• /
• pp.135-137
• /
• 2012

기존의 연관규칙을 이용한 추천시스템은 점진적으로 증가하는 트랜잭션 데이터를 처리하기 위해서 기존에 처리한 데이터를 재처리하는 비효율성의 문제가 있다. 본 논문에서는 전자상거래에서 RFM(Recency, Frequency, Monetary)기반의 점진적 빈발 패턴 마이닝을 이용한 추천기법을 제안한다. 제안 방법은 새로운 트랜잭션 데이터가 추가 되었을 때 보다 빠른 시간 내에 연관규칙을 추출이 가능하다.

• 인터넷정보학회논문지
• /
• 제21권2호
• /
• pp.39-48
• /
• 2020

데이터마이닝 기법들은 의미 있고 유용한 정보를 효율적으로 찾기 위해서 제안되어 왔다. 특별히, 빅 데이터 환경에서 데이터가 여러 응용들에서 축적되어짐에 따라, 관련된 패턴 마이닝 방법들이 제안되고 있다. 최근에는 파일이나 데이터베이스에 이미 저장되어 있는 정적 데이터를 분석하는 대신에 점진적으로 생성되는 동적 데이터를 마이닝 하는 것이 더 흥미 있는 연구영역으로 고려되고 있는데 동적데이터는 단지 한번만 스캔하여 읽을 수 있기 때문이다. 이와 같은 이유로, 어떻게 동적 데이터를 효율적으로 마이닝 하는지에 대한 연구들이 진행되고 있다. 더불어서, 마이닝 결과로 거대한 수의 패턴들이 생성되기 때문에, 맥시멀 패턴 마이닝과 같은 대표 패턴들을 마이닝하는 접근방법들도 제안되고 있다. 또 다른 이슈로, 실세계에서 더 의미있는 패턴들을 발견하기 위해, 가중화 패턴 마이닝에서 아이템들의 가중치가 사용되고 있다. 실제 상황에서 아이템의 이익이나 가격 등이 가중치로 사용 될 수 있다. 본 논문에서는 점진적으로 생성되는 데이터에 대한 가중화 맥시멀 패턴 마이닝, 맥시멀 대표 패턴 마이닝 그리고 점진적 패턴 마이닝 기법들에 대해 분석한다. 그리고 가중화 대표 패턴 마이닝을 적용하여서 유아들에게서 필요로 하는 물품 패턴들을 분석하기 위한 응용 시나리오를 제시한다. 추가로, 분석한 마이닝 알고리즘들에 대한 성능 평가를 수행한다. 결과적으로, 점진적 가중화 맥시멀 패턴 마이닝 기법이 점진적 가중화 패턴 마이닝과 가중화 패턴 마이닝 기법보다 좋은 성능을 가짐을 보인다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2004년도 Proceedings of ISRS 2004
• /
• pp.716-718
• /
• 2004

The false alarm data in intrusion detection systems are divided into false positive and false negative. The false positive makes bad effects on the performance of intrusion detection system. And the false negative makes bad effects on the efficiency of intrusion detection system. Recently, the most of works have been studied the data mining technique for analysis of alert data. However, the false alarm data not only increase data volume but also change patterns of alert data along the time line. Therefore, we need a tool that can analyze patterns that change characteristics when we look for new patterns. In this paper, we focus on the false positives and present a framework for analysis of false alarm pattern from the alert data. In this work, we also apply incremental data mining techniques to analyze patterns of false alarms among alert data that are incremental over the time. Finally, we achieved flexibility by using dynamic support threshold, because the volume of alert data as well as included false alarms increases irregular.

• Spatial Information Research
• /
• 제19권2호
• /
• pp.71-76
• /
• 2011

본 논문에서는 특정 지역의 전력 소비 데이터를 이용하여 safe와 non-safe 전력 부하 라인의 차이를 분석하여 정의하고, 출현패턴을 사용하여 잠재되어 있는 non-safe라인을 식별하기 위하여 제한된 메모리에서 효율적으로 패턴을 찾을 수 있는 TFP-tree 기반의 점진적 출현패턴 마이닝 알고리즘을 제안한다. 특히, 두 개의 다른 최소 지지도 값을 사용하여 전력 소비 데이터와 같은 대용량 데이터에서의 마이닝 문제를 해결한다.

• International Journal of Contents
• /
• 제15권3호
• /
• pp.32-38
• /
• 2019

We usually suffer from difficulties in treating or managing Big Data generated from various digital media and/or sensors using traditional mining techniques. Additionally, there are many problems relative to the lack of memory and the burden of the learning curve, etc. in an increasing capacity of large volumes of text when new data are continuously accumulated because we ineffectively analyze total data including data previously analyzed and collected. In this paper, we propose a general-purpose classifier and its structure to solve these problems. We depart from the current feature-reduction methods and introduce a new scheme that only adopts changed elements when new features are partially accumulated in this free-style learning environment. The incremental learning module built from a gradually progressive formation learns only changed parts of data without any re-processing of current accumulations while traditional methods re-learn total data for every adding or changing of data. Additionally, users can freely merge new data with previous data throughout the resource management procedure whenever re-learning is needed. At the end of this paper, we confirm a good performance of this method in data processing based on the Big Data environment throughout an analysis because of its learning efficiency. Also, comparing this algorithm with those of NB and SVM, we can achieve an accuracy of approximately 95% in all three models. We expect that our method will be a viable substitute for high performance and accuracy relative to large computing systems for Big Data analysis using a PC cluster environment.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
• /
• pp.635-638
• /
• 2006

Regression of conventional prediction techniques in data mining uses the model which is generated from the training step. This model is applied to new input data without any change. If this model is applied directly to time series, the rate of prediction accuracy will be decreased. This paper proposes an incremental regression for time series prediction like typhoon track prediction. This technique considers the characteristic of time series which may be changed over time. It is composed of two steps. The first step executes a fractional process for applying input data to the regression model. The second step updates the model by using its information as new data. Additionally, the model is maintained by only recent data in a queue. This approach has the following two advantages. It maintains the minimum information of the model by using a matrix, so space complexity is reduced. Moreover, it prevents the increment of error rate by updating the model over time. Accuracy rate of the proposed method is measured by RME(Relative Mean Error) and RMSE(Root Mean Square Error). The results of typhoon track prediction experiment are performed by the proposed technique IMLR(Incremental Multiple Linear Regression) is more efficient than those of MLR(Multiple Linear Regression) and SVR(Support Vector Regression).

• 정보처리학회논문지C
• /
• 제13C권3호
• /
• pp.295-302
• /
• 2006

침입탐지 시스템은 실시간으로 공격행위에 대하여 다량의 경보를 기록한다. 이들 경보 중에는 실제 공격 경보뿐만 아니라 공격으로 잘못 탐지하여 발생된 오 경보들도 있다. 오 경보는 침입탐지 시스템의 효율성을 저하시키는 주요요인이 되므로, 이 논문에서는 오경보 분석을 위한 프레임워크를 제안한다. 또한 지속적으로 증가하는 오 경보를 분석하기 위해 점진적 데이터 마이닝 기법을 적용한다. 제안한 오경보 분석 프레임워크는 GUI, DB Manager, Alert Preprocessor, False Alarm Analyzer로 구성되어 있다. 우리는 실험을 통해 증가하는 오경보를 분석하고, 분석된 오경보 규칙을 침입탐지 시스템에 적용하여 오 경보가 감소됨을 확인하였다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
• /
• pp.597-599
• /
• 2003

Moving pattern is as a kind of sequential pattern, which can be extracted from the large volume of location history data. This sort of knowledge is very useful in supporting intelligence to the LBS or GIS. In this paper, we proposed the continuous moving pattern mining approach in LBS platform and LBS Miner. The location updates of moving objects affect the set of the rules maintained. In our approach, we use the validity thresholds that indicate the next time to invoke the incremental pattern mining. The mining system will play a major role in supporting the various LBS solutions.

• 한국정보과학회논문지:데이타베이스
• /
• 제37권5호
• /
• pp.221-227
• /
• 2010

인터넷 사용의 급증과 더불어 보다 편리한 인터넷 서비스를 위한 여러 연구가 활발히 진행되어 왔다. 웹 로그 데이터로부터 빈번하게 발생되는 웹 페이지들의 방문 시퀀스를 탐색하는 기법 역시 효과적인 웹 사이트를 설계하기 위한 목적으로 많이 연구되어 왔다. 그러나 기존의 방법들은 모두 여러 번의 데이터베이스 스캔을 필요로 하는 방법으로 지속적으로 생성되는 웹 로그 데이터로부터 빠르게 실시간적으로 웹 페이지 방문 시퀀스를 탐색하기에는 많은 어려움이 있었다. 또한 점진적(incremental)이고 대화형식(interactive)의 탐색 기법 역시 지속적으로 생성되는 웹 로그 데이터를 처리하기 위하여 필요한 기능들이다. 본 논문에서는 지속적으로 생성되는 웹 로그 데이터로부터 단일 스캔을 통하여 빈번히 발생하는 웹 페이지 방문 시퀀스를 점진적이고 대화 형식적인 방법으로 탐색하는 방법을 제안한다. 제안하는 방법은 WTS(web traversal sequence)-트리 구조를 사용하며 다양한 실험을 통하여 기존의 방법들에 비해 성능적으로 우수하고 효과적인 방범임을 증명한다.