• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.61-63
• /
• 2005

본 논문에서는 수평 분산 데이터베이스에서 각 로컬 데이터베이스의 세부 데이터를 유출하지 않는 순차패턴 마이닝 기법을 제안한다. 데이터 마이닝은 대용량 데이터베이스에서 유용한 지식을 추출하는 기법으로서 각광을 받고 있다. 그러나 분산 데이터베이스를 대상으로 마이닝을 수행하는 경우, 데이터 공유에 따른 개인 혹인 집단의 프라이버시가 유출될 수 있다는 문제점이 존재한다. 따라서 본 논문에서는 프라이버시 보호를 위하여 각 로컬 데이터베이스의 세부 데이터를 보호하면서도, 마이닝 결과의 정확성을 보장할 수 있는 새로운 순차 패턴 마이닝 기법을 제안한다. 제안된 기법에서는 우선, 세부 데이터의 유출을 방지하기 위하여 마이닝의 대상이 되는 항목과 항목간의 시간 선후 관계의 성립 여부를 벡터로 표현한 후, 이들 벡터간의 스칼라 프로덕트 연산을 수행하여 얻어진 결과를 패턴의 지지도로 활용하는 방안을 제안하였다. 또한, 연산 결과에 영향을 미치지 않는 벡터를 미리 제거하여 스칼라 프로덕트 연산에 따른 비용을 감소시키는 방안을 제안하였다.

• Journal of Korea Spatial Information System Society
• /
• v.12 no.1
• /
• pp.49-56
• /
• 2010

Many researches of frequent pattern mining technique for detecting unknown patterns on spatial data have studied actively. Existing data structures have classified into tree-structure and array-structure, and those structures show the weakness of performance on dense or sparse data. Since spatial data have obtained the characteristics of dense and sparse patterns, it is important for us to mine quickly dense and sparse patterns using only single algorithm. In this paper, we propose novel data structure as compressed patricia frequent pattern tree and frequent pattern mining algorithm based on proposed data structure which can detect frequent patterns quickly in terms of both dense and sparse frequent patterns mining. In our experimental result, proposed algorithm proves about 10 times faster than existing FP-Growth algorithm on both dense and sparse data.

• Journal of Internet Computing and Services
• /
• v.16 no.6
• /
• pp.89-95
• /
• 2015

Traditional frequent pattern mining discovers valid patterns with no smaller frequency than a user-defined minimum threshold from databases. In this framework, an enormous number of patterns may be extracted by a too low threshold, which makes result analysis difficult, and a too high one may generate no valid pattern. Setting an appropriate threshold is not an easy task since it requires the prior knowledge for its domain. Therefore, a pattern mining approach that is not based on the domain knowledge became needed due to inability of the framework to predict and control mining results precisely according to the given threshold. Top-k frequent pattern mining was proposed to solve the problem, and it mines top-k important patterns without any threshold setting. Through this method, users can find patterns from ones with the highest frequency to ones with the k-th highest frequency regardless of databases. In this paper, we provide knowledge both on frequent and top-k pattern mining. Although top-k frequent pattern mining extracts top-k significant patterns without the setting, it cannot consider both item quantities in transactions and relative importance of items in databases, and this is why the method cannot meet requirements of many real-world applications. That is, patterns with low frequency can be meaningful, and vice versa, in the applications. High utility pattern mining was proposed to reflect the characteristics of non-binary databases and requires a minimum threshold. Recently, top-k high utility pattern mining has been developed, through which users can mine the desired number of high utility patterns without the prior knowledge. In this paper, we analyze two algorithms related to top-k high utility pattern mining in detail. We also conduct various experiments for the algorithms on real datasets and study improvement point and development direction of top-k high utility pattern mining through performance analysis with respect to the experimental results.

• Journal of Internet Computing and Services
• /
• v.16 no.2
• /
• pp.77-83
• /
• 2015

Frequent pattern mining, which is one of the major areas actively studied in data mining, is a method for extracting useful pattern information hidden from large data sets or databases. Moreover, frequent pattern mining approaches have been actively employed in a variety of application fields because the results obtained from them can allow us to analyze various, important characteristics within databases more easily and automatically. However, traditional frequent pattern mining methods, which simply extract all of the possible frequent patterns such that each of their support values is not smaller than a user-given minimum support threshold, have the following problems. First, traditional approaches have to generate a numerous number of patterns according to the features of a given database and the degree of threshold settings, and the number can also increase in geometrical progression. In addition, such works also cause waste of runtime and memory resources. Furthermore, the pattern results excessively generated from the methods also lead to troubles of pattern analysis for the mining results. In order to solve such issues of previous traditional frequent pattern mining approaches, the concept of representative pattern mining and its various related works have been proposed. In contrast to the traditional ones that find all the possible frequent patterns from databases, representative pattern mining approaches selectively extract a smaller number of patterns that represent general frequent patterns. In this paper, we describe details and characteristics of pattern condensing techniques that consider the maximality or closure property of generated frequent patterns, and conduct comparison and analysis for the techniques. Given a frequent pattern, satisfying the maximality for the pattern signifies that all of the possible super sets of the pattern must have smaller support values than a user-specific minimum support threshold; meanwhile, satisfying the closure property for the pattern means that there is no superset of which the support is equal to that of the pattern with respect to all the possible super sets. By mining maximal frequent patterns or closed frequent ones, we can achieve effective pattern compression and also perform mining operations with much smaller time and space resources. In addition, compressed patterns can be converted into the original frequent pattern forms again if necessary; especially, the closed frequent pattern notation has the ability to convert representative patterns into the original ones again without any information loss. That is, we can obtain a complete set of original frequent patterns from closed frequent ones. Although the maximal frequent pattern notation does not guarantee a complete recovery rate in the process of pattern conversion, it has an advantage that can extract a smaller number of representative patterns more quickly compared to the closed frequent pattern notation. In this paper, we show the performance results and characteristics of the aforementioned techniques in terms of pattern generation, runtime, and memory usage by conducting performance evaluation with respect to various real data sets collected from the real world. For more exact comparison, we also employ the algorithms implementing these techniques on the same platform and Implementation level.

• KIPS Transactions on Software and Data Engineering
• /
• v.5 no.12
• /
• pp.623-634
• /
• 2016

Most of existing frequent pattern mining methods address time efficiency and greatly rely on the primary memory. However, in the era of big data, the size of real-world databases to mined is exponentially increasing, and hence the primary memory is not sufficient enough to mine for frequent patterns from large real-world data sets. To solve this problem, there are some researches for frequent pattern mining method based on disk, but the processing time compared to the memory based methods took very time consuming. There are some researches to improve scalability of frequent pattern mining, but their processes are very time consuming compare to the memory based methods. In this paper, we present PPFP as a novel disk-based approach for mining frequent itemset from big data; and hence we reduced the main memory size bottleneck. PPFP algorithm is based on FP-growth method which is one of the most popular and efficient frequent pattern mining approaches. The mining with PPFP consists of two setps. (1) Constructing an IFP-tree: After construct FP-tree, we assign index number for each node in FP-tree with novel index numbering method, and then insert the indexed FP-tree (IFP-tree) into disk as IFP-table. (2) Mining frequent patterns with PPFP: Mine frequent patterns by expending patterns using stack based PUSH-POP method (PPFP method). Through this new approach, by using a very small amount of memory for recursive and time consuming operation in mining process, we improved the scalability and time efficiency of the frequent pattern mining. And the reported test results demonstrate them.

• The KIPS Transactions:PartD
• /
• v.18D no.2
• /
• pp.81-88
• /
• 2011

Sequential pattern mining that determines frequent patterns appearing in a given set of sequences is an important data mining problem with broad applications. For example, sequential pattern mining can find the web access patterns, customer's purchase patterns and DNA sequences related with specific disease. In this paper, we develop the sequential pattern mining algorithms using MapReduce framework. Our algorithms distribute input data to several machines and find frequent sequential patterns in parallel. With synthetic data sets, we did a comprehensive performance study with varying various parameters. Our experimental results show that linear speed up can be achieved through our algorithms with increasing the number of used machines.

• Spatial Information Research
• /
• v.19 no.2
• /
• pp.71-76
• /
• 2011

In this paper, for using emerging patterns to define and analyze the significant difference of safe and non-safe power load lines, and identify which line is potentially non-safe, we proposed an incremental TFP-tree algorithm for mining emerging patterns that can search efficiently within limitation of memory. Especially, the concept of pre-infrequent patterns pruning and use of two different minimum supports, made the algorithm possible to mine most emerging patterns and handle the problem of mining from incrementally increased, large size of data sets such as power consumption data.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2000.04a
• /
• pp.283-291
• /
• 2000

인터넷 서비스 제공자들이 관심을 가지고 있는 것 중 하나는 인터넷 사용자들의 서비스 이용 패턴과 경향을 분석하는 것이다. 이를 통해 매출 증대와 실제 경영에 도움이 되는 사용자의 특성을 이해할 수 있기 때문이다. 이와 관련된 기본적인 접근방법은 사용자가 웹 서버에 접근했을 때 서버에 남는 웹 로그를 분석하여 사용자 패턴을 분석하는 것이다. 웹 로그 분석에 전형저인 통계기법이 사용되고 있다. 그러나 단순 통계 기법만으로는 알려지지 않는 데이터들 사이에 숨겨진 유용한 정보를 찾는 데에는 한계가 있다. 최근에는 이러한 한계를 극복하기 위해 데이터 마이닝 기술을 이용한 새로운 접근 방법이 시도되고 있다. 그러나 실제로 웹 로그에서부터 데이터 마이닝 기술을 이용하는 데에는 전처리 과정의 어려움과 실제 유용한 패턴을 어떻게 정의하는 가가 어려운 문제이다. 본 연구에서는 로(raw) 데이터인 웹 로그에서 유용한 패턴을 찾기 위한 전처리 과정을 알아보고, 웹 마이닝 시스템에 적합한 트랜잭션의 데이터 구조를 제시한다. 그리고 정의된 데이터 구조를 통한 패턴 발견 과정인 웹 사이트의 개념계층을 이용한 통계 기법과 연관규칙(Association Rules) 탐사에 대해 알아본다. 마지막으로 정의된 데이터 구조를 통한 새로운 유용한 패턴을 정의한ㄷ.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05c
• /
• pp.1587-1590
• /
• 2003

순차 패턴 마이닝은 대량의 시퀀스 데이터베이스에서 빈발 서브 시퀀스를 찾는 기법이다. 지금까지 많은 순차 패턴 마이닝에 관한 연구들이 순차 패턴을 효율적으로 찾기 위하여 제안되었다. 그러나 제안된 방법들은 응용에 적용할 수 있도록 체계적으로 분류되어 있지 않다. 따라서 이 논문에서는 알고리즘에 대한 연구들을 분류하고 이들 중 대표적인 알고리즘들을 선정하여 각각에 대해 분석하였다. 그리고 각 응용 도메인에 적용한 연구들과 기술적인 문제를 해결하는 연구들에 대해 정리하였다. 마지막으로 성능 향상을 위한 기법이나 자로 구조에 대해 언급하고 향후 순차 패턴 마이닝의 연구 방향을 제시하였다. 이 연구는 실제 응용에 적합한 순차 패턴 마이닝 알고리즘의 선택과 향후 새로운 순차 패턴 알고리즘 연구의 기반을 제공할 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.19-22
• /
• 2005

본 논문에서는 대용량 네트워크 트래픽 데이터를 대상으로 사이트의 프라이버시를 보호하면서 마이닝 결과의 정확성, 실용성 등을 보장할 수 있는 효율적인 순차 패턴 마이닝 기법을 제안한다. 네트워크가 발달함에 따라 네트워크 트래픽 데이터에 대한 마이닝은 네트워크를 통한 통신의 패턴을 찾아내고, 이를 사용하여 침입 탐지, 인터넷 웜의 탐지 등으로 유용하게 쓰이게 되었다. 그러나 네트워크 트래픽 데이터는 네트워크 사용자 개개인의 인터넷 접속 형태, IP 주소 등의 정보를 포함하는 데이터로 네트워크 사용자의 프라이버시를 해칠 수 있다는 문제점이 존재한다. 따라서 이들 네트워크 트래픽 데이터를 대상으로 하는 마이닝 기법에서는 프라이버시 보호를 위하여 각 사이트에 저장되어 있는 네트워크 트래픽 데이터를 공개하지 않으면서도, 의미있는 패턴을 찾을 수 있어야 한다. 본 논문에서는 프라이버시 보호를 위하여 N-저장소 서버 모델을 제안한다. 제안된 모델에서는 데이터를 분할하여 암호화한 후, 이를 복호화할 수 없는 서버에서 집계하는 방식을 사용하여 실제 데이터가 저장되어 있는 각 사이트의 출처 정보를 감추는 방식을 사용한다. 또한, 효율적인 빈번 패턴 생성을 위하여 빈번 항목에 대한 인덱스 구조를 제안하고, 이를 기반으로 한 순차 패턴 마이닝 기법을 보인다.