• 한국공간정보시스템학회 논문지
• /
• 제12권1호
• /
• pp.49-56
• /
• 2010

공간 및 비 공간 데이터에서 알지 못했던 패턴을 탐사하는 빈발 패턴 탐사 기법은 마이닝 분야에서 가장 핵심적인 부분으로 많은 연구가 활발히 진행되고 있다. 기존의 자료구조들은 트리 구조 및 배열 구조로써 밀집 또는 희소 빈발 패턴에서 성능 저하를 보인다. 대용량의 공간 데이터는 밀집 및 희소 빈발 패턴을 둘 다 가지므로 단일 알고리즘으로 빠르게 탐사 하는 것은 중요하다. 본 논문에서는 단일 알고리즘을 사용하면서도 밀집 및 희소 빈발 패턴 모두에 대해 빠르게 빈발 패턴을 마이닝할 수 있는 압축된 패트리샤 빈발 패턴 트리라는 새로운 자료구조와 이를 사용한 빈발 패턴 마이닝 알고리즘을 제안한다. 실험 평가는 제안한 알고리즘이 대용량 희소 및 밀집 빈발 데이터에서 기존의 FP-Growth 알고리즘 보다 약 10배 정도 빠르게 빈발 패턴을 탐사하는 것을 보인다.

• 정보처리학회논문지D
• /
• 제18D권2호
• /
• pp.81-88
• /
• 2011

시퀀스(sequence) 데이터가 주어졌을 때 그 중에서 빈번(frequent)한 순차 패턴을 찾는 순차 패턴 마이닝(sequential pattern mining)은 여러 어플리케이션(application)에 사용되는 중요한 데이터마이닝 문제이다. 순차 패턴 마이닝은 웹 접속 패턴, 고객 구매 패턴, 특정 질병의 DNA 시퀀스를 찾는 등 광범위한 분야에서 사용된다. 본 논문에서는 맵리듀스(MapReduce) 프레임웍 상에서 맵리듀스 함수 호출을 최적화하는 순차 패턴 마이닝 알고리즘을 개발하였다. 이 알고리즘은 여러 대의 기계에 데이터들을 분산시켜 병렬적으로 빈번한 순차 패턴을 찾는다. 실험적으로 다양한 데이터를 이용하여 파라미터 값을 변화시켜가며 제안된 알고리즘의 성능을 종합적으로 확인하였다. 그리고 실험 결과를 통해 제안된 알고리즘은 기계 수에 대해 선형적인 속도 개선을 보인다는 것을 확인하였다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.1-8
• /
• 2013

거대한 데이터베이스로부터 중요하고 의미 있는 정보를 찾아내기 위해 데이터 마이닝 기법들이 사용되며, 패턴 마이닝은 이러한 데이터 마이닝을 위한 중요한 기법 중에 하나이다. 패턴 마이닝은 거대 데이터베이스로부터 유용한 패턴을 찾아내는 기법이며, 패턴 마이닝 분야 중에 하나인 빈발 패턴 마이닝은 데이터베이스에서 최소 임계치 이상의 빈도수를 가지는 빈발 패턴을 마이닝 한다. 전통적인 빈발 패턴 마이닝은 전체 데이터베이스에 대한 단일 최소 임계치를 기반으로 중요 빈발 패턴을 마이닝 한다. 단일 최소 임계치 모델은 데이터베이스 내 모든 아이템이 동일한 특성을 가진다고 암묵적으로 가정한다. 그러나 실제 응용에서는 각 아이템들이 개별적인 특성을 가지고 있을 수 있으며, 따라서 이를 반영한 패턴 마이닝 기법이 요구된다. 데이터베이스 내 아이템들의 이러한 특성이 반영되지 않은 빈발 패턴 마이닝 모델에서, 중요한 희귀 아이템이 포함된 패턴을 마이닝 하기 위해서는 낮은 최소 임계치를 설정해야 한다. 그러나 너무 낮은 최소 임계치는 의미 없는 아이템들을 포함하는 수많은 패턴을 야기한다. 반대로 높은 최소 임계치는 희귀 아이템이 포함된 패턴을 마이닝 하지 못하는 희귀 아이템 문제라 불리는 딜레마가 발생한다. 이러한 문제의 해결을 위한 초기 연구들은 아이템 빈도수에 따라 데이터를 몇 개의 블록으로 분할하거나 관련 희귀 아이템들을 하나의 그룹으로 만드는 방법을 사용한 근사적 접근법을 제안하였다. 그러나 이러한 기법들은 근사적 방법의 적용에 의해 모든 희귀 패턴을 포함한 빈발 패턴을 마이닝 하지 못한다. 다중 최소 임계치를 고려한 패턴 마이닝 모델은 아이템들의 개별적인 특성을 반영하여 희귀 아이템 문제를 해결하기 위해 제안되었다. 다중 최소 임계치 기반의 빈발 패턴 마이닝 모델에서 각 아이템은 MIS (Minimum Item Support)라고 불리는 개별 최소 임계치를 가지며, 아이템들의 데이터베이스 내 빈도수를 기반으로 계산된다. 다중 최소 임계치 모델은 MIS를 통해 수많은 의미 없는 패턴을 생성하지 않고도 손실 없이 모든 희귀 빈발 패턴을 찾아낸다. 한편, 빈발 패턴을 마이닝 하는 과정에서 후보 패턴들이 생성되며, 단일 최소 임계치 모델에서는 각 후보 패턴의 빈도수가 유일한 최소 임계치와 비교된다. 따라서, 희귀 아이템 문제가 발생할 뿐만 아니라 후보 패턴을 구성하는 아이템들의 특성이 고려되지 않는다. 다중 최소 임계치 모델에서는 이 문제를 다루기 위해 후보 패턴을 구성하는 아이템들의 MIS 값 중에서 가장 작은 MIS 값을 해당 후보 패턴의 최소 임계치로 설정하여 패턴 내 아이템들의 특성을 반영한다. 이를 적용하여 효율적으로 희귀 빈발 패턴을 마이닝 하기 위해 트리 구조 기반의 알고리즘은 빈도수 내림차순으로 트리 내 아이템들을 정렬하는 단일 최소 임계치 모델과는 달리 MIS 내림차순으로 아이템들을 정렬하여 마이닝을 수행한다. 본 논문에서는 다중 최소 임계치 기반의 빈발 패턴 마이닝 알고리즘에 대한 특성을 살펴보고, 일반 단일 임계치 기반 알고리즘과의 성능평가를 수행한다. 성능평가는 실행 속도, 메모리 사용량, 그리고 확장성의 관점에서 수행된다. 성능평가 결과, 다중 최소 임계치 기반의 빈발 패턴 마이닝 알고리즘은 희귀 빈발 패턴을 포함한 모든 빈발 패턴을 단일 임계치 기반의 빈발 패턴 마이닝 알고리즘보다 더 빠른 속도로 마이닝 하였으며, 각 아이템의 최소 임계치 정보를 위한 추가적인 메모리를 필요로 하였다. 또한, 비교 알고리즘들은 좋은 확장성 결과를 보였다.

• 인터넷정보학회논문지
• /
• 제14권1호
• /
• pp.63-69
• /
• 2013

근접 빈발 패턴 마이닝은 향상된 효율성을 위해 정확한 패턴보다 허용되는 범위 안에서 근접 빈발 패턴을 마이닝한다. 데이터베이스의 크기가 증대함에 따라 거대한 데이터베이스를 처리하기 위해서 더 빠른 마이닝 기법이 필요하게 되고 있다. 또한, 노이지나 데이터의 다양성 때문에 패턴을 마이닝 하는 것에 대한 정확한 결과를 찾기가 더 어렵다. 이러한 경우들에 대해, 근접 빈발 패턴 마이닝을 함으로 실행시간, 메모리 사용량, 그리고 확장성의 관점에서 더 효율적인 마이닝을 수행할 수 있다. 이 논문에서는 확률 기법에 근간한 근접 패턴 마이닝 알고리즘에 대한 특성을 살펴보고 척도가 되는 확률 기법에 기반한 근접 패턴 마이닝 알고리즘에 대해 성능 평가를 한다. 최종적으로 성능의 향상을 위해 테스트 결과를 분석한다.

• Genomics & Informatics
• /
• 제20권4호
• /
• pp.39.1-39.9
• /
• 2022

Various methods of frequent pattern mining have been applied to genetic problems, specifically, to the combined association of two genotypes (a genotype pattern, or diplotype) at different DNA variants with disease. These methods have the ability to come up with a selection of genotype patterns that are more common in affected than unaffected individuals, and the assessment of statistical significance for these selected patterns poses some unique problems, which are briefly outlined here.

• 정보처리학회논문지D
• /
• 제11D권5호
• /
• pp.1031-1040
• /
• 2004

심장의 활동을 기록한 심전도는 심장의 상태에 대한 가치 있는 임상 정보를 제공한다. 지금까지 심전도를 이용한 심장 질환 진단 알고리즘에 대한 많은 연구가 진행되어 왔으나, 심장 질환에 대한 진단 결과의 부 정확성으로 인해 심전계에서는 외국의 진단 알고리즘을 사용하고 있다. 이 논문에서는 심전도 데이터의 수집에서부터 전 처리 과정 그리고 데이터마이닝을 이용한 심장 질환 패턴 분류 기법을 제안한다. 이 패턴 분류기법은 빈발 패턴 베이지안이며 기존의 나이브 베이지안과 빈발 패턴 마이닝의 통합이다. 빈발 패턴 베이지안은 훈련단계에서 탐사된 빈발 패턴들을 사용하여 Product Approximation 구성하므로써 클래스 조건 독립 가정을 가진 나이브 베이지안의 단점을 해결한다.

• International Journal of Contents
• /
• 제3권2호
• /
• pp.18-24
• /
• 2007

Biological sequences such as DNA and amino acid sequences typically contain a large number of items. They have contiguous sequences that ordinarily consist of more than hundreds of frequent items. In biological sequences analysis(BSA), a frequent contiguous sequence search is one of the most important operations. Many studies have been done for mining sequential patterns efficiently. Most of the existing methods for mining sequential patterns are based on the Apriori algorithm. In particular, the prefixSpan algorithm is one of the most efficient sequential pattern mining schemes based on the Apriori algorithm. However, since the algorithm expands the sequential patterns from frequent patterns with length-1, it is not suitable for biological datasets with long frequent contiguous sequences. In recent years, the MacosVSpan algorithm was proposed based on the idea of the prefixSpan algorithm to significantly reduce its recursive process. However, the algorithm is still inefficient for mining frequent contiguous sequences from long biological data sequences. In this paper, we propose an efficient method to mine maximal frequent contiguous sequences in large biological data sequences by constructing the spanning tree with a fixed length. To verify the superiority of the proposed method, we perform experiments in various environments. The experiments show that the proposed method is much more efficient than MacosVSpan in terms of retrieval performance.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권11호
• /
• pp.5287-5303
• /
• 2018

Handling vast amount of data found in large transactional datasets is an obvious challenge for the conventional data mining algorithms. Addressing this challenge, our paper proposes a parallel approach for proper decomposition of mining problem into sub-problems in order to find frequent patterns from these datasets. The proposed, Pattern Mining for Large Distributed Dataset (PMLDD) approach, ensures minimum dependencies as well as minimum communications among sub-problems. It establishes a linear aggregation of the intermediate results so that it can be adapted to large-scale programming models like MapReduce. In this context, an algorithmic structure for MapReduce programming model is presented. PMLDD guarantees an efficient load balancing among the sub-problems by a specific selection criterion. Further, it optimizes the number of required iterations over the dataset for mining frequent patterns as compared to the existing approaches. Finally, we believe that our approach is scalable enough to handle larger datasets in terms of performance evaluation, and the result analysis justifies all these mentioned concerns.

• 정보처리학회논문지D
• /
• 제12D권6호
• /
• pp.807-816
• /
• 2005

순차 패턴 탐사에 대한 연구는 대용량의 데이터베이스에서 사용자에 의해 주어지는 최소 지지도를 만족하는 빈발 시퀀스를 찾는 문제를 다룬다. 하지만 현재까지 이루어진 순차 패턴 탐사 방법은 빈발 시퀀스들의 길이가 길어지거나 최소 지지도가 상대적으로 낮게 주어진 상황에서는 생성되는 시퀀스가 기하급수적으로 많아져서 성능이 급격히 저하되는 문제점을 가지고 있다. 본 논문에서는 이 문제를 해결하기 위해서 모든 빈발 시퀀스의 정보를 포함하며 그 수가 현저히 적은 닫힌 빈발 시퀀스를 찾는 방법을 제안한다. 제안하는 알고리즘은 효율적으로 가지치기를 수행하기 위해서 깊이우선 탐색 방법으로 후보 시퀀스를 생성하고 데이터베이스를 비트맵으로 표현하여 비트 연산으로 지지도를 효율적으로 계산한다. 또한, 비트맵으로 표현된 시퀀스 특성을 이용하여 가지치기할 시퀀스를 적은 연산 비용으로 찾을 수 있다. 이런 장점을 통하여 제안한 방법이 지금까지 제안된 알고리즘보다 훨씬 빨리 닫힌 빈발 시퀀스를 찾는 것을 성능 실험을 통하여 확인하였다.

• Genomics & Informatics
• /
• 제10권1호
• /
• pp.51-57
• /
• 2012

Mining interesting patterns from DNA sequences is one of the most challenging tasks in bioinformatics and computational biology. Maximal contiguous frequent patterns are preferable for expressing the function and structure of DNA sequences and hence can capture the common data characteristics among related sequences. Biologists are interested in finding frequent orderly arrangements of motifs that are responsible for similar expression of a group of genes. In order to reduce mining time and complexity, however, most existing sequence mining algorithms either focus on finding short DNA sequences or require explicit specification of sequence lengths in advance. The challenge is to find longer sequences without specifying sequence lengths in advance. In this paper, we propose an efficient approach to mining maximal contiguous frequent patterns from large DNA sequence datasets. The experimental results show that our proposed approach is memory-efficient and mines maximal contiguous frequent patterns within a reasonable time.