• 한국공간정보시스템학회 논문지
• /
• 제12권1호
• /
• pp.49-56
• /
• 2010

공간 및 비 공간 데이터에서 알지 못했던 패턴을 탐사하는 빈발 패턴 탐사 기법은 마이닝 분야에서 가장 핵심적인 부분으로 많은 연구가 활발히 진행되고 있다. 기존의 자료구조들은 트리 구조 및 배열 구조로써 밀집 또는 희소 빈발 패턴에서 성능 저하를 보인다. 대용량의 공간 데이터는 밀집 및 희소 빈발 패턴을 둘 다 가지므로 단일 알고리즘으로 빠르게 탐사 하는 것은 중요하다. 본 논문에서는 단일 알고리즘을 사용하면서도 밀집 및 희소 빈발 패턴 모두에 대해 빠르게 빈발 패턴을 마이닝할 수 있는 압축된 패트리샤 빈발 패턴 트리라는 새로운 자료구조와 이를 사용한 빈발 패턴 마이닝 알고리즘을 제안한다. 실험 평가는 제안한 알고리즘이 대용량 희소 및 밀집 빈발 데이터에서 기존의 FP-Growth 알고리즘 보다 약 10배 정도 빠르게 빈발 패턴을 탐사하는 것을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1061-1063
• /
• 2013

기존의 많은 빈발 패턴 마이닝은 단일 최소 임계치를 전체 트랜잭션 데이터베이스의 각 아이템에 똑같이 적용하고 빈발 패턴을 마이닝해왔다. 단일 최소 임계치를 설정함으로써, 모든 아이템이 동일한 임계치가 적용되므로 레어 아이템 문제가 발생한다. 한편, 일정 주기마다 발생하는 정규 패턴이라고 한다. 실 세계에서는 빈발한 아이템 뿐만 아니라 주기적으로 발생하는 패턴정보의 필요성이 증가하고 있다. 본 논문은 레어 아이템 문제를 해결하는 빈발한 정규 패턴을 마이닝하는 기법을 제시한다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.1-8
• /
• 2013

거대한 데이터베이스로부터 중요하고 의미 있는 정보를 찾아내기 위해 데이터 마이닝 기법들이 사용되며, 패턴 마이닝은 이러한 데이터 마이닝을 위한 중요한 기법 중에 하나이다. 패턴 마이닝은 거대 데이터베이스로부터 유용한 패턴을 찾아내는 기법이며, 패턴 마이닝 분야 중에 하나인 빈발 패턴 마이닝은 데이터베이스에서 최소 임계치 이상의 빈도수를 가지는 빈발 패턴을 마이닝 한다. 전통적인 빈발 패턴 마이닝은 전체 데이터베이스에 대한 단일 최소 임계치를 기반으로 중요 빈발 패턴을 마이닝 한다. 단일 최소 임계치 모델은 데이터베이스 내 모든 아이템이 동일한 특성을 가진다고 암묵적으로 가정한다. 그러나 실제 응용에서는 각 아이템들이 개별적인 특성을 가지고 있을 수 있으며, 따라서 이를 반영한 패턴 마이닝 기법이 요구된다. 데이터베이스 내 아이템들의 이러한 특성이 반영되지 않은 빈발 패턴 마이닝 모델에서, 중요한 희귀 아이템이 포함된 패턴을 마이닝 하기 위해서는 낮은 최소 임계치를 설정해야 한다. 그러나 너무 낮은 최소 임계치는 의미 없는 아이템들을 포함하는 수많은 패턴을 야기한다. 반대로 높은 최소 임계치는 희귀 아이템이 포함된 패턴을 마이닝 하지 못하는 희귀 아이템 문제라 불리는 딜레마가 발생한다. 이러한 문제의 해결을 위한 초기 연구들은 아이템 빈도수에 따라 데이터를 몇 개의 블록으로 분할하거나 관련 희귀 아이템들을 하나의 그룹으로 만드는 방법을 사용한 근사적 접근법을 제안하였다. 그러나 이러한 기법들은 근사적 방법의 적용에 의해 모든 희귀 패턴을 포함한 빈발 패턴을 마이닝 하지 못한다. 다중 최소 임계치를 고려한 패턴 마이닝 모델은 아이템들의 개별적인 특성을 반영하여 희귀 아이템 문제를 해결하기 위해 제안되었다. 다중 최소 임계치 기반의 빈발 패턴 마이닝 모델에서 각 아이템은 MIS (Minimum Item Support)라고 불리는 개별 최소 임계치를 가지며, 아이템들의 데이터베이스 내 빈도수를 기반으로 계산된다. 다중 최소 임계치 모델은 MIS를 통해 수많은 의미 없는 패턴을 생성하지 않고도 손실 없이 모든 희귀 빈발 패턴을 찾아낸다. 한편, 빈발 패턴을 마이닝 하는 과정에서 후보 패턴들이 생성되며, 단일 최소 임계치 모델에서는 각 후보 패턴의 빈도수가 유일한 최소 임계치와 비교된다. 따라서, 희귀 아이템 문제가 발생할 뿐만 아니라 후보 패턴을 구성하는 아이템들의 특성이 고려되지 않는다. 다중 최소 임계치 모델에서는 이 문제를 다루기 위해 후보 패턴을 구성하는 아이템들의 MIS 값 중에서 가장 작은 MIS 값을 해당 후보 패턴의 최소 임계치로 설정하여 패턴 내 아이템들의 특성을 반영한다. 이를 적용하여 효율적으로 희귀 빈발 패턴을 마이닝 하기 위해 트리 구조 기반의 알고리즘은 빈도수 내림차순으로 트리 내 아이템들을 정렬하는 단일 최소 임계치 모델과는 달리 MIS 내림차순으로 아이템들을 정렬하여 마이닝을 수행한다. 본 논문에서는 다중 최소 임계치 기반의 빈발 패턴 마이닝 알고리즘에 대한 특성을 살펴보고, 일반 단일 임계치 기반 알고리즘과의 성능평가를 수행한다. 성능평가는 실행 속도, 메모리 사용량, 그리고 확장성의 관점에서 수행된다. 성능평가 결과, 다중 최소 임계치 기반의 빈발 패턴 마이닝 알고리즘은 희귀 빈발 패턴을 포함한 모든 빈발 패턴을 단일 임계치 기반의 빈발 패턴 마이닝 알고리즘보다 더 빠른 속도로 마이닝 하였으며, 각 아이템의 최소 임계치 정보를 위한 추가적인 메모리를 필요로 하였다. 또한, 비교 알고리즘들은 좋은 확장성 결과를 보였다.

• 인터넷정보학회논문지
• /
• 제14권1호
• /
• pp.63-69
• /
• 2013

근접 빈발 패턴 마이닝은 향상된 효율성을 위해 정확한 패턴보다 허용되는 범위 안에서 근접 빈발 패턴을 마이닝한다. 데이터베이스의 크기가 증대함에 따라 거대한 데이터베이스를 처리하기 위해서 더 빠른 마이닝 기법이 필요하게 되고 있다. 또한, 노이지나 데이터의 다양성 때문에 패턴을 마이닝 하는 것에 대한 정확한 결과를 찾기가 더 어렵다. 이러한 경우들에 대해, 근접 빈발 패턴 마이닝을 함으로 실행시간, 메모리 사용량, 그리고 확장성의 관점에서 더 효율적인 마이닝을 수행할 수 있다. 이 논문에서는 확률 기법에 근간한 근접 패턴 마이닝 알고리즘에 대한 특성을 살펴보고 척도가 되는 확률 기법에 기반한 근접 패턴 마이닝 알고리즘에 대해 성능 평가를 한다. 최종적으로 성능의 향상을 위해 테스트 결과를 분석한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권12호
• /
• pp.623-634
• /
• 2016

현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

• 응용통계연구
• /
• 제19권3호
• /
• pp.599-617
• /
• 2006

최근 모바일 컴퓨팅 시스템에서 위치 기반 서비스(Location Based System: LBS)에 대한 연구가 활발히 진행되고 있다. 시공간 이동 시퀀스 마이닝은 이동 경로 데이터로부터 사용자 이동 패턴을 추출하는 새로운 마이닝 기법이다. 시공간 이동 시퀀스 패턴 마이닝은 기존의 빈발 패턴 마이닝 기법과 유사하나 몇 가지 차이점이 있다. 빈발 패턴 마이닝은 장바구니 분석에서와 같이 고객이 구입한 아이템과 관련된 것이나 시공간 이동 시퀀스 패턴 마이닝은 사용자 이동 시퀀스 경로를 대상으로 한다. 또한 사용자의 관심도를 반영하기 위해 해당 위치에서의 소요시간을 고려한다. 본 연구는 대표적인 빈발 패턴 마이닝 기법의 하나인 Apriori 알고리즘에 이동 시퀀스 데이터를 적용하여 Apriori_msp 알고리즘을 제안하였으며 성능 평가를 수행한 결과를 제시하였다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2010년도 춘계학술발표논문집 1부
• /
• pp.451-454
• /
• 2010

침입탐지란 컴퓨터와 네트워크 자원에 대한 유해한 침입 행동을 식별하고 대응하는 과정이다. 점차적으로 시스템에 대한 침입의 유형들이 복잡해지고 전문적으로 이루어지면서 빠르고 정확한 대응을 할 수 있는 시스템이 요구되고 있다. 이에 대용량의 데이터를 분석하여 의미 있는 정보를 추출하는 데이터 마이닝 기법을 적용하여 지능적이고 자동화된 탐지 및 경보데이터 패턴 분석에 이용할 수 있다. 본 논문에서는 경보데이터 패턴 분석을 위해 시퀀스패턴기법을 적용한 경보데이터 마이닝 엔진을 구축한다. 구현된 경보데이터 마이닝 시스템은 기존의 시퀀스 패턴 알고리즘인 PrefixSpan 알고리즘을 확장 구현하여 경보데이터의 빈발 경보시퀀스 분석과 빈발 공격시퀀스 분석에 활용할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.1357-1360
• /
• 2012

온라인 쇼핑객의 구매 규칙을 예견하기 위해 기업은 데이터 마이닝 기법을 사용하는데, 최대 빈발 패턴은 특정한 고객의 구매 원칙을 드러내기 때문에, 최대 빈발 패턴에 대한 마이닝은 최근 시장 분석에서 핵심적 이슈가 되고 있다. 본 논문에서 우리는 오리지널 데이터세트로부터 널 트랜잭션(Null Transaction)을 제거한 후, 최대 빈발 패턴을 발생시키기 위한 BRE-트리(Bottom-up Row Enumeration Tree)를 적용시켰다. 다음으로 온라인 거래 데이터베이스에서 고객 구매 규칙의 마이닝을 위한 항목들 간의 거리를 계산하기 위해, SCL(Sequence Close Level)의 변형된 버전을 사용하였다. 실험결과는 합리적인 시간 내에 고객의 구매 규칙을 더 정확하게 예견할 수 있음을 보여준다.

• 인터넷정보학회논문지
• /
• 제15권6호
• /
• pp.125-132
• /
• 2014

대규모의 데이터베이스로부터 숨겨진 유용한 패턴 정보를 찾기 위해 빈발 패턴 마이닝이 제안된 이래로, 다양한 종류의 접근 방법들과 어플리케이션들이 연구되어 왔다. 특히, 빈발 그래프 패턴 마이닝은 계속해서 복잡해져 가는 최근의 데이터들을 효과적으로 다루기 위해 제안되었고, 이와 관련한 다양한 효율적인 알고리즘들이 연구되어 왔다. 그래프 데이터베이스로부터 얻을 수 있는 그래프 패턴들은 이를 구성하는 요소들에 따라 다른 중요도를 가지며 길이에 따라 다른 특성을 갖는다. 하지만, 전통적인 빈발 그래프 패턴 마이닝 접근 방법들은 이러한 문제들을 고려할 수 없다는 한계점을 지닌다. 즉, 기존의 방법들은 마이닝 과정에서 추출되는 그래프 패턴들의 길이에 상관없이 오직 하나의 최소 지지도 임계값만을 고려하고 이들의 가중치 요소들을 사용하지 않기 때문에, 실제적으로 쓸모없는 그래프 패턴들이 상당량 생성될 수 있다. 작은 수의 정점과 간선을 갖는 작은 그래프 패턴들은 이들에 대한 가중화 지지도 값이 상대적으로 높을 때 흥미로운 특성을 갖는 경향이 있는 반면, 많은 정점과 간선을 갖는 큰 그래프 패턴들은 비록 가중화 지지도 값이 상대적으로 낮을지라도 흥미로운 특성을 가질 수 있다. 이러한 이유로, 본 논문에서는 길이에 따라 감소하는 지지도 제한조건을 고려한 가중치 기반의 빈발 그래프 패턴 마이닝 알고리즘을 제안한다. 본 논문에서 제공되는 총체적인 실험 결과들은 제안되는 방법이 기존의 최신 그래프 마이닝 알고리즘과 비교하여 패턴 생성, 수행시간, 그리고 메모리 사용량 측면에서 더욱 뛰어난 성능을 보장함을 보인다.

• 정보처리학회논문지D
• /
• 제16D권5호
• /
• pp.673-682
• /
• 2009

웹상에서 데이터 교환과 표현을 위한 표준으로 XML 데이터가 널리 사용되고 있으며 유비쿼터스 환경에서 XML 데이터의 형태는 연속적이다. 이와 관련하여 XML 스트림 데이터에 대한 빈발 구조 추출 및 효율적인 질의처리를 위한 마이닝 방법들이 연구되고 있다. 이 논문에서는 슬라이딩 윈도우 기반으로 하여 XML 스트림 데이터로부터 최근 윈도우 범위에 속하는 데이터에 대한 빈발 패턴 구조를 추출하기 위한 마이닝방법을 제안한다. 제안된 방법은 XML 스트림 데이터를 트리집합 모델, XFP_tree로 표현하고 이를 이용하여 최근의 데이터에 대한 빈발구조 패턴을 빠르게 추출한다.