• Title/Summary/Keyword: 빈발패턴탐사

Search Result 42, Processing Time 0.027 seconds

Mining Frequent Pattern from Large Spatial Data (대용량 공간 데이터로 부터 빈발 패턴 마이닝)

  • Lee, Dong-Gyu;Yi, Gyeong-Min;Jung, Suk-Ho;Lee, Seong-Ho;Ryu, Keun-Ho
    • Journal of Korea Spatial Information System Society
    • /
    • v.12 no.1
    • /
    • pp.49-56
    • /
    • 2010
  • Many researches of frequent pattern mining technique for detecting unknown patterns on spatial data have studied actively. Existing data structures have classified into tree-structure and array-structure, and those structures show the weakness of performance on dense or sparse data. Since spatial data have obtained the characteristics of dense and sparse patterns, it is important for us to mine quickly dense and sparse patterns using only single algorithm. In this paper, we propose novel data structure as compressed patricia frequent pattern tree and frequent pattern mining algorithm based on proposed data structure which can detect frequent patterns quickly in terms of both dense and sparse frequent patterns mining. In our experimental result, proposed algorithm proves about 10 times faster than existing FP-Growth algorithm on both dense and sparse data.

Extraction of Optimal Moving Pattern using Maximum Frequent 2-Sequence (최대 빈발 2-시퀀스를 이용한 최적 이동 패턴 추출)

  • Lee, Yon-Sik;Ko, Hyun;Kim, Kwang-Jong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06d
    • /
    • pp.367-372
    • /
    • 2008
  • 최근 사용자들의 특성에 맞게 개인화되고 세분화된 위치 기반 서비스를 개발하기 위한 목적으로 이동 객체의 다양한 패턴들 중 의미있는 지식인 유용한 이동 패턴을 탐사하는 문제가 주요 이슈로 부각되고 있다. 이에 본 논문에서는 방대한 이동 객체의 이력 데이터 집합으로부터 특정 지점들 간의 최적 이동 경로나 정해진 시간내의 스케줄링 경로 탐색과 같이 복합적인 시간 및 공간 제약을 갖는 최적 이동 패턴을 탐사하는 문제에 대해 정의하고, 다양한 이동 패턴들 중 가장 빈발하게 발생하는 패턴이 최적의 비용을 소요할 것이라는 가정을 기반으로 최대 빈발 2-시퀀스를 추출하는 방법을 제안한다. 후보 시퀀스 집합으로부터 지지도 계산을 통해 추출되는 빈발 2-시퀀스들의 순차적인 조합은 패턴 탐사를 수행하는 각 패스 진행 시 후보 시퀀스 항목의 차수가 점차 감소하여 최적 이동 패턴 탐사 방법에 효과적으로 적용된다.

  • PDF

Discovery of Frequent Traversal Patterns on Weighted Graph with Priority (중요도를 고려한 가중치 그래프에서의 빈발 순회패턴 탐사)

  • Lee Seong-Dae;Park Hyu-Chan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.169-171
    • /
    • 2005
  • 그래프를 사용하는 데이터 표현법은 직$\cdot$간접적으로 실세계를 표현하는 다양한 데이터 모델 중에서 가장 일반화된 방법으로 알려져 있다. 기본적으로 그래프는 정점과 간선으로 구성되며, 정점과 간선은 그 중요도나 운영 목적에 따라 다양한 가중치가 부여될 수 있다. 특히, 이러한 그래프를 순회하는 트랜잭션들로부터 중요한 순회패턴을 탐사하는 것은 흥미로운 일이다. 본 논문에서는, 정점과 간선에 가중치가 있고 방향성을 가진 기반 그래프가 주어졌을 때, 그 그래프를 순회하는 트랜잭션들로부터 가중치를 고려하여 빈발 순회패턴을 탐사하는 방법을 제안한다. 또한, 이렇게 탐사한 결과에 가중치를 고려한 중요도를 평가하여 빈발 순회패턴들 간의 우선순위를 결정할 수 있도록 한다. 이 과정에서 발생할 수 있는 트랜잭션 노이즈는 기반 그래프의 간선 가중치의 평균과 표준편차를 이용하여 제거함으로써 보다 신뢰성 있는 빈발 순회패턴을 탐사할 수 있다. 제안한 논문은 웹 로그 마이닝 등 그래프를 이용하는 다양한 응용 분야에 적용할 수 있을 것이다.

  • PDF

An Efficient Algorithm for mining frequent itemsets using L2-tree (L2-tree를 이용한 효율적인 빈발항목 집합 탐사)

  • 박인창;장중혁;이원석
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.259-261
    • /
    • 2002
  • 데이터마이닝 분야에서 빈발항목집합 탐사에 관한 연구는 활발히 진행되어 왔지만 여전히 많은 메모리 공간과 시간을 필요로 한다. 특히 apriori 알고리즘에 기반한 방법들은 긴 패턴이 생성될수록 지수적으로 시간과 공간이 증가한다. 최근에 발표된 fp-growth는 일반적인 데이터 집합에서 우수한 성능을 보이나 희소 데이터 집합에서 효율적인 성능을 보여주지 못한다. 본 논문에서는 길이가 2인 빈발항목집합 L2에 기반한 L2-tree 구조를 제안한다. 또한 L2-tree에서 빈발항목집합을 탐사하는 L2-traverse 알고리즘을 제안한다. L2-tree는 L2를 기반으로 하기 때문에 L2가 상대적으로 적은 희소 데이터 집합 환경에서 적은 메모리 공간을 사용하게 된다. L2-traverse 알고리즘은 별도의 추출 데이터베이스를 생성하는 FP-growth와 달리 단순히 L2-tree를 오직 한번의 깊이 우선 탐사를 통해 빈발항목집합을 찾는다. 최적화 기법으로써 길이가 3인 빈발항목집합 L3가 되지 않는 L2 패턴들을 미리 제거하는 방법으로 C3-traverse 알고리즘을 제안하며 실험을 통해 기존 알고리즘과 비교 검증한다.

  • PDF

A Comparison of Performance between STMP/MST and Existing Spatio-Temporal Moving Pattern Mining Methods (STMP/MST와 기존의 시공간 이동 패턴 탐사 기법들과의 성능 비교)

  • Lee, Yon-Sik;Kim, Eun-A
    • Journal of Internet Computing and Services
    • /
    • v.10 no.5
    • /
    • pp.49-63
    • /
    • 2009
  • The performance of spatio-temporal moving pattern mining depends on how to analyze and process the huge set of spatio-temporal data due to the nature of it. The several method was presented in order to solve the problems in which existing spatio-temporal moving pattern mining methods[1-10] have, such as increasing execution time and required memory size during the pattern mining, but they did not solve properly yet. Thus, we proposed the STMP/MST method[11] as a preceding research in order to extract effectively sequential and/or periodical frequent occurrence moving patterns from the huge set of spatio-temporal moving data. The proposed method reduces patterns mining execution time, using the moving sequence tree based on hash tree. And also, to minimize the required memory space, it generalizes detailed historical data including spatio-temporal attributes into the real world scopes of space and time by using spatio-temporal concept hierarchy. In this paper, in order to verify the effectiveness of the STMP/MST method, we compared and analyzed performance with existing spatio-temporal moving pattern mining methods based on the quantity of mining data and minimum support factor.

  • PDF

A Sequential Pattern Mining based on Dynamic Weight in Data Stream (스트림 데이터에서 동적 가중치를 이용한 순차 패턴 탐사 기법)

  • Choi, Pilsun;Kim, Hwan;Kim, Daein;Hwang, Buhyun
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.2
    • /
    • pp.137-144
    • /
    • 2013
  • A sequential pattern mining is finding out frequent patterns from the data set in time order. In this field, a dynamic weighted sequential pattern mining is applied to a computing environment that changes depending on the time and it can be utilized in a variety of environments applying changes of dynamic weight. In this paper, we propose a new sequence data mining method to explore the stream data by applying the dynamic weight. This method reduces the candidate patterns that must be navigated by using the dynamic weight according to the relative time sequence, and it can find out frequent sequence patterns quickly as the data input and output using a hash structure. Using this method reduces the memory usage and processing time more than applying the existing methods. We show the importance of dynamic weighted mining through the comparison of different weighting sequential pattern mining techniques.

Efficient Mining of Dynamic Weighted Sequential Patterns (동적 가중치를 이용한 효율적인 순차 패턴 탐사 기법)

  • Choi, Pilsun;Kang, Donghyun;Kim, Hwan;Kim, Daein;Hwang, Buhyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.1365-1368
    • /
    • 2012
  • 순차 패턴 탐사 기법은 순서를 갖는 패턴들의 집합 중에 빈발하게 발생하는 패턴을 찾아내는 기법이다. 순차 패턴 탐사 분야 중에 동적 가중치 순차 패턴 탐사는 가중치가 시간에 따라 변화하는 컴퓨팅 환경에 적용하는 마이닝 기법으로 동적인 중요도 변화를 마이닝에 적용하여 다양한 환경에서 활용 가능하다. 이 논문에서는 다양한 순차 데이터에서 동적 가중치를 적용하여 순차 패턴을 탐사하는 새로운 시퀀스 데이터 마이닝 기법에 대하여 제안한다. 제안하는 기법은 시간 순서에 의한 상대적인 동적 가중치를 사용하여 탐색해야 하는 후보 패턴을 줄여줄 수 있어 빈발한 시퀀스 패턴을 빠르게 찾을 수 있다. 이 기법을 사용하면 기존 가중치를 적용하는 방식보다 메모리 사용과 처리 시간을 줄여줘 매우 효율적이다.

Optimal Moving Pattern Mining using Frequency of Sequence and Weights (시퀀스 빈발도와 가중치를 이용한 최적 이동 패턴 탐사)

  • Lee, Yon-Sik;Park, Sung-Sook
    • Journal of Internet Computing and Services
    • /
    • v.10 no.5
    • /
    • pp.79-93
    • /
    • 2009
  • For developing the location based service which is individualized and specialized according to the characteristic of the users, the spatio-temporal pattern mining for extracting the meaningful and useful patterns among the various patterns of the mobile object on the spatio-temporal area is needed. Thus, in this paper, as the practical application toward the development of the location based service in which it is able to apply to the real life through the pattern mining from the huge historical data of mobile object, we are proposed STOMP(using Frequency of sequence and Weight) that is the new mining method for extracting the patterns with spatial and temporal constraint based on the problems of mining the optimal moving pattern which are defined in STOMP(F)[25]. Proposed method is the pattern mining method compositively using weighted value(weights) (a distance, the time, a cost, and etc) for our previous research(STOMP(F)[25]) that it uses only the pattern frequent occurrence. As to, it is the method determining the moving pattern in which the pattern frequent occurrence is above special threshold and the weight is most a little bit required among moving patterns of the object as the optimal path. And also, it can search the optimal path more accurate and faster than existing methods($A^*$, Dijkstra algorithm) or with only using pattern frequent occurrence due to less accesses to nodes by using the heuristic moving history.

  • PDF

Mining Frequent Closed Sequences using a Bitmap Representation (비트맵을 사용한 닫힌 빈발 시퀀스 마이닝)

  • Kim Hyung-Geun;Whang Whan-Kyu
    • The KIPS Transactions:PartD
    • /
    • v.12D no.6 s.102
    • /
    • pp.807-816
    • /
    • 2005
  • Sequential pattern mining finds all of the frequent sequences satisfying a minimum support threshold in a large database. However, when mining long frequent sequences, or when using very low support thresholds, the performance of currently reported algorithms often degrades dramatically. In this paper, we propose a novel sequential pattern algorithm using only closed frequent sequences which are small subset of very large frequent sequences. Our algorithm generates the candidate sequences by depth-first search strategy in order to effectively prune. using bitmap representation of underlying databases, we can effectively calculate supports in terms of bit operations and prune sequences in much less time. Performance study shows that our algorithm outperforms the previous algorithms.

Mining Association Rule on Service Data using Frequency and Weight (빈발도와 가중치를 이용한 서비스 연관 규칙 마이닝)

  • Hwang, Jeong Hee
    • Journal of Digital Contents Society
    • /
    • v.17 no.2
    • /
    • pp.81-88
    • /
    • 2016
  • The general frequent pattern mining considers frequency and support of items. To extract useful information, it is necessary to consider frequency and weight of items that reflects the changing of user interest as time passes. The suitable services considering time or location is requested by user so that the weighted mining method is necessary. We propose a method of weighted frequent pattern mining based on service ontology. The weight considering time and location is given to service items and it is applied to association rule mining method. The extracted rule is combined with stored service rule and it is based on timely service to offer for user.