• 제목/요약/키워드: 패턴 마이닝

검색결과 524건 처리시간 0.042초

다차원 순차패턴 마이닝을 위한 효율적 알고리즘 (An Efficient Algorithm for Multi-dimensional Sequential Pattern Mining)

  • 이순신;김은주;김명원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.214-216
    • /
    • 2004
  • 순차패턴 마이닝은 데이터들 속에서 어떤 순차 관계가 들어 있는 패턴을 찾는 것이다. 순차 패턴은 다양한 분야에서 중요하게 쓰인다. 예를 들어, 소비자가 구입한 물품들 간의 순차적인 관계성은 다음에 구입할 물건을 예측하는데 쓰일 수 있다. 또한 방문 웹 페이지의 순차 패턴은 사용자가 방문하고자 하는 다음 페이지를 예측하는데 중요할 수 있다. 본 논문에서는 다차원 순차패턴을 마이닝하는 새로운 효율적인 알고리즘의 구현에 대해 설명한다 다차원 순차 패턴 마이닝은 속성-값(attribute-value) 기술을 포함하는 순차 패턴의 연관 규칙을 찾는 것이다. 다음의 두 가지의 현존하는 효율적 알고리즘을 융합하였다. 순차패턴 마이닝을 위한 PrefixSpan 알고리즘과 비 순차패턴 마이닝을 위한 StarCubing 알고리즘. 새로운 알고리즘은 다차원 데이터를 마이닝 하는 StarCubing알고리즘의 효율성을 이용하므로 다차원 순차 데이터를 마이닝 하는데 효율적일 것이다. 실험결과는 제안한 알고리즘이 특히 작은 최소지지도와 작은 cardinality에서 Seq-Dim과 Dim-Seq 같은 현존하는 알고리즘보다 나은 성능임을 보여준다.

  • PDF

점진적 가중화 맥시멀 대표 패턴 마이닝의 최신 기법 분석, 유아들의 물품 패턴 분석 시나리오 및 성능 분석 (Recent Technique Analysis, Infant Commodity Pattern Analysis Scenario and Performance Analysis of Incremental Weighted Maximal Representative Pattern Mining)

  • 윤은일;윤은미
    • 인터넷정보학회논문지
    • /
    • 제21권2호
    • /
    • pp.39-48
    • /
    • 2020
  • 데이터마이닝 기법들은 의미 있고 유용한 정보를 효율적으로 찾기 위해서 제안되어 왔다. 특별히, 빅 데이터 환경에서 데이터가 여러 응용들에서 축적되어짐에 따라, 관련된 패턴 마이닝 방법들이 제안되고 있다. 최근에는 파일이나 데이터베이스에 이미 저장되어 있는 정적 데이터를 분석하는 대신에 점진적으로 생성되는 동적 데이터를 마이닝 하는 것이 더 흥미 있는 연구영역으로 고려되고 있는데 동적데이터는 단지 한번만 스캔하여 읽을 수 있기 때문이다. 이와 같은 이유로, 어떻게 동적 데이터를 효율적으로 마이닝 하는지에 대한 연구들이 진행되고 있다. 더불어서, 마이닝 결과로 거대한 수의 패턴들이 생성되기 때문에, 맥시멀 패턴 마이닝과 같은 대표 패턴들을 마이닝하는 접근방법들도 제안되고 있다. 또 다른 이슈로, 실세계에서 더 의미있는 패턴들을 발견하기 위해, 가중화 패턴 마이닝에서 아이템들의 가중치가 사용되고 있다. 실제 상황에서 아이템의 이익이나 가격 등이 가중치로 사용 될 수 있다. 본 논문에서는 점진적으로 생성되는 데이터에 대한 가중화 맥시멀 패턴 마이닝, 맥시멀 대표 패턴 마이닝 그리고 점진적 패턴 마이닝 기법들에 대해 분석한다. 그리고 가중화 대표 패턴 마이닝을 적용하여서 유아들에게서 필요로 하는 물품 패턴들을 분석하기 위한 응용 시나리오를 제시한다. 추가로, 분석한 마이닝 알고리즘들에 대한 성능 평가를 수행한다. 결과적으로, 점진적 가중화 맥시멀 패턴 마이닝 기법이 점진적 가중화 패턴 마이닝과 가중화 패턴 마이닝 기법보다 좋은 성능을 가짐을 보인다.

능동 기반의 점진적 데이터 마이닝 (An Incremental data mining based on Active system)

  • 연영광;신예호;류근호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.54-56
    • /
    • 2000
  • 데이터 마이닝 작업에서 사용되는 데이터의 크기는 그 특성상 대규모를 이루고 있다. 이러한 대규모의 데이터로부터 규칙을 추출하는 작업은 많은 배용이 소모된다. 또한 급변하는 데이터는 이미 발견된 마이닝 패턴에 대하여 현저한 패턴은 약한 패턴으로, 반면 약한 패턴은 현저한 패턴으로 변화시키는 요인이 되고 있다. 이러한 동적 환경에서는 기존의 데이터베이스 특정시간의 스냅 샷 형태의 데이터를 이용하였던 마이닝 방법으로는 적당하지 못하다. 따라서 이 논문에서는 동적인 환경에서 적용할 수 있는 점진적 마이닝 방법을 제시하고, 점진적 마이닝 작업이 효과적으로 수행 가능한 능동시스템 모델을 제시한다.

  • PDF

시공간 이동 시퀀스 패턴 마이닝 기법 (Spatial-Temporal Moving Sequence Pattern Mining)

  • 한선영;용환승
    • 응용통계연구
    • /
    • 제19권3호
    • /
    • pp.599-617
    • /
    • 2006
  • 최근 모바일 컴퓨팅 시스템에서 위치 기반 서비스(Location Based System: LBS)에 대한 연구가 활발히 진행되고 있다. 시공간 이동 시퀀스 마이닝은 이동 경로 데이터로부터 사용자 이동 패턴을 추출하는 새로운 마이닝 기법이다. 시공간 이동 시퀀스 패턴 마이닝은 기존의 빈발 패턴 마이닝 기법과 유사하나 몇 가지 차이점이 있다. 빈발 패턴 마이닝은 장바구니 분석에서와 같이 고객이 구입한 아이템과 관련된 것이나 시공간 이동 시퀀스 패턴 마이닝은 사용자 이동 시퀀스 경로를 대상으로 한다. 또한 사용자의 관심도를 반영하기 위해 해당 위치에서의 소요시간을 고려한다. 본 연구는 대표적인 빈발 패턴 마이닝 기법의 하나인 Apriori 알고리즘에 이동 시퀀스 데이터를 적용하여 Apriori_msp 알고리즘을 제안하였으며 성능 평가를 수행한 결과를 제시하였다.

다중 최소 임계치 기반 빈발 패턴 마이닝의 성능분석 (Performance Analysis of Frequent Pattern Mining with Multiple Minimum Supports)

  • 양흥모;윤은일
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.1-8
    • /
    • 2013
  • 거대한 데이터베이스로부터 중요하고 의미 있는 정보를 찾아내기 위해 데이터 마이닝 기법들이 사용되며, 패턴 마이닝은 이러한 데이터 마이닝을 위한 중요한 기법 중에 하나이다. 패턴 마이닝은 거대 데이터베이스로부터 유용한 패턴을 찾아내는 기법이며, 패턴 마이닝 분야 중에 하나인 빈발 패턴 마이닝은 데이터베이스에서 최소 임계치 이상의 빈도수를 가지는 빈발 패턴을 마이닝 한다. 전통적인 빈발 패턴 마이닝은 전체 데이터베이스에 대한 단일 최소 임계치를 기반으로 중요 빈발 패턴을 마이닝 한다. 단일 최소 임계치 모델은 데이터베이스 내 모든 아이템이 동일한 특성을 가진다고 암묵적으로 가정한다. 그러나 실제 응용에서는 각 아이템들이 개별적인 특성을 가지고 있을 수 있으며, 따라서 이를 반영한 패턴 마이닝 기법이 요구된다. 데이터베이스 내 아이템들의 이러한 특성이 반영되지 않은 빈발 패턴 마이닝 모델에서, 중요한 희귀 아이템이 포함된 패턴을 마이닝 하기 위해서는 낮은 최소 임계치를 설정해야 한다. 그러나 너무 낮은 최소 임계치는 의미 없는 아이템들을 포함하는 수많은 패턴을 야기한다. 반대로 높은 최소 임계치는 희귀 아이템이 포함된 패턴을 마이닝 하지 못하는 희귀 아이템 문제라 불리는 딜레마가 발생한다. 이러한 문제의 해결을 위한 초기 연구들은 아이템 빈도수에 따라 데이터를 몇 개의 블록으로 분할하거나 관련 희귀 아이템들을 하나의 그룹으로 만드는 방법을 사용한 근사적 접근법을 제안하였다. 그러나 이러한 기법들은 근사적 방법의 적용에 의해 모든 희귀 패턴을 포함한 빈발 패턴을 마이닝 하지 못한다. 다중 최소 임계치를 고려한 패턴 마이닝 모델은 아이템들의 개별적인 특성을 반영하여 희귀 아이템 문제를 해결하기 위해 제안되었다. 다중 최소 임계치 기반의 빈발 패턴 마이닝 모델에서 각 아이템은 MIS (Minimum Item Support)라고 불리는 개별 최소 임계치를 가지며, 아이템들의 데이터베이스 내 빈도수를 기반으로 계산된다. 다중 최소 임계치 모델은 MIS를 통해 수많은 의미 없는 패턴을 생성하지 않고도 손실 없이 모든 희귀 빈발 패턴을 찾아낸다. 한편, 빈발 패턴을 마이닝 하는 과정에서 후보 패턴들이 생성되며, 단일 최소 임계치 모델에서는 각 후보 패턴의 빈도수가 유일한 최소 임계치와 비교된다. 따라서, 희귀 아이템 문제가 발생할 뿐만 아니라 후보 패턴을 구성하는 아이템들의 특성이 고려되지 않는다. 다중 최소 임계치 모델에서는 이 문제를 다루기 위해 후보 패턴을 구성하는 아이템들의 MIS 값 중에서 가장 작은 MIS 값을 해당 후보 패턴의 최소 임계치로 설정하여 패턴 내 아이템들의 특성을 반영한다. 이를 적용하여 효율적으로 희귀 빈발 패턴을 마이닝 하기 위해 트리 구조 기반의 알고리즘은 빈도수 내림차순으로 트리 내 아이템들을 정렬하는 단일 최소 임계치 모델과는 달리 MIS 내림차순으로 아이템들을 정렬하여 마이닝을 수행한다. 본 논문에서는 다중 최소 임계치 기반의 빈발 패턴 마이닝 알고리즘에 대한 특성을 살펴보고, 일반 단일 임계치 기반 알고리즘과의 성능평가를 수행한다. 성능평가는 실행 속도, 메모리 사용량, 그리고 확장성의 관점에서 수행된다. 성능평가 결과, 다중 최소 임계치 기반의 빈발 패턴 마이닝 알고리즘은 희귀 빈발 패턴을 포함한 모든 빈발 패턴을 단일 임계치 기반의 빈발 패턴 마이닝 알고리즘보다 더 빠른 속도로 마이닝 하였으며, 각 아이템의 최소 임계치 정보를 위한 추가적인 메모리를 필요로 하였다. 또한, 비교 알고리즘들은 좋은 확장성 결과를 보였다.

시퀀스 패턴 마이닝 기법을 적용한 침입탐지 시스템의 경보데이터 패턴분석

  • 신문선
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2010년도 춘계학술발표논문집 1부
    • /
    • pp.451-454
    • /
    • 2010
  • 침입탐지란 컴퓨터와 네트워크 자원에 대한 유해한 침입 행동을 식별하고 대응하는 과정이다. 점차적으로 시스템에 대한 침입의 유형들이 복잡해지고 전문적으로 이루어지면서 빠르고 정확한 대응을 할 수 있는 시스템이 요구되고 있다. 이에 대용량의 데이터를 분석하여 의미 있는 정보를 추출하는 데이터 마이닝 기법을 적용하여 지능적이고 자동화된 탐지 및 경보데이터 패턴 분석에 이용할 수 있다. 본 논문에서는 경보데이터 패턴 분석을 위해 시퀀스패턴기법을 적용한 경보데이터 마이닝 엔진을 구축한다. 구현된 경보데이터 마이닝 시스템은 기존의 시퀀스 패턴 알고리즘인 PrefixSpan 알고리즘을 확장 구현하여 경보데이터의 빈발 경보시퀀스 분석과 빈발 공격시퀀스 분석에 활용할 수 있다.

  • PDF

다중 최소 임계치를 이용한 정규 패턴 마이닝 (Regular Pattern Mining with Multiple Minimum Supports)

  • 최형길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1061-1063
    • /
    • 2013
  • 기존의 많은 빈발 패턴 마이닝은 단일 최소 임계치를 전체 트랜잭션 데이터베이스의 각 아이템에 똑같이 적용하고 빈발 패턴을 마이닝해왔다. 단일 최소 임계치를 설정함으로써, 모든 아이템이 동일한 임계치가 적용되므로 레어 아이템 문제가 발생한다. 한편, 일정 주기마다 발생하는 정규 패턴이라고 한다. 실 세계에서는 빈발한 아이템 뿐만 아니라 주기적으로 발생하는 패턴정보의 필요성이 증가하고 있다. 본 논문은 레어 아이템 문제를 해결하는 빈발한 정규 패턴을 마이닝하는 기법을 제시한다.

확률 기법에 기반한 근접 빈발 패턴 마이닝 기법의 성능평가 (Performance evaluation of approximate frequent pattern mining based on probabilistic technique)

  • 편광범;윤은일
    • 인터넷정보학회논문지
    • /
    • 제14권1호
    • /
    • pp.63-69
    • /
    • 2013
  • 근접 빈발 패턴 마이닝은 향상된 효율성을 위해 정확한 패턴보다 허용되는 범위 안에서 근접 빈발 패턴을 마이닝한다. 데이터베이스의 크기가 증대함에 따라 거대한 데이터베이스를 처리하기 위해서 더 빠른 마이닝 기법이 필요하게 되고 있다. 또한, 노이지나 데이터의 다양성 때문에 패턴을 마이닝 하는 것에 대한 정확한 결과를 찾기가 더 어렵다. 이러한 경우들에 대해, 근접 빈발 패턴 마이닝을 함으로 실행시간, 메모리 사용량, 그리고 확장성의 관점에서 더 효율적인 마이닝을 수행할 수 있다. 이 논문에서는 확률 기법에 근간한 근접 패턴 마이닝 알고리즘에 대한 특성을 살펴보고 척도가 되는 확률 기법에 기반한 근접 패턴 마이닝 알고리즘에 대해 성능 평가를 한다. 최종적으로 성능의 향상을 위해 테스트 결과를 분석한다.

패턴기반 워크플로우 마이닝 기법 (Pattern Based Workflow Mining Method)

  • 박민재;유혁재;안형진;원재강;김광훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.109-111
    • /
    • 2005
  • 비즈니스 프로세스를 연구하는데 있어 최근의 이슈는 비즈니스 프로세스가 복잡화되고 대량화됨에 따라, 비즈니스 프로세스를 좀더 효율적으로 개선하고자 하는 데에 맞춰져 있으며, 이러한 동향에 힘입어 워크플로우 마이닝이라는 연구분야가 생겨나게 되었다. 이에, 본 논문에서는 워크플로우 패턴을 기반으로 한 워크플로우 마이닝 기법에 관하여 연구하고, 기술한다. 첫째로, 기본적으로 워크플로우 마이닝 기술과 그의 근원이 되는 워크플로우 로그에 관하여 간략히 설명한다. 그리고, 패턴기반 워크플로우 마이닝을 하기 위한 기본적인 워크플로우 패턴에 관하여 기술하고, 패턴 기반 워크플로우 마이닝을 하기 위한 기법으로 몇 가지 알고리즘을 제시한다.

  • PDF

길이에 따라 감소하는 빈도수 제한조건을 고려한 가중화 그래프 패턴 마이닝 기법 (A Weighted Frequent Graph Pattern Mining Approach considering Length-Decreasing Support Constraints)

  • 윤은일;이강인
    • 인터넷정보학회논문지
    • /
    • 제15권6호
    • /
    • pp.125-132
    • /
    • 2014
  • 대규모의 데이터베이스로부터 숨겨진 유용한 패턴 정보를 찾기 위해 빈발 패턴 마이닝이 제안된 이래로, 다양한 종류의 접근 방법들과 어플리케이션들이 연구되어 왔다. 특히, 빈발 그래프 패턴 마이닝은 계속해서 복잡해져 가는 최근의 데이터들을 효과적으로 다루기 위해 제안되었고, 이와 관련한 다양한 효율적인 알고리즘들이 연구되어 왔다. 그래프 데이터베이스로부터 얻을 수 있는 그래프 패턴들은 이를 구성하는 요소들에 따라 다른 중요도를 가지며 길이에 따라 다른 특성을 갖는다. 하지만, 전통적인 빈발 그래프 패턴 마이닝 접근 방법들은 이러한 문제들을 고려할 수 없다는 한계점을 지닌다. 즉, 기존의 방법들은 마이닝 과정에서 추출되는 그래프 패턴들의 길이에 상관없이 오직 하나의 최소 지지도 임계값만을 고려하고 이들의 가중치 요소들을 사용하지 않기 때문에, 실제적으로 쓸모없는 그래프 패턴들이 상당량 생성될 수 있다. 작은 수의 정점과 간선을 갖는 작은 그래프 패턴들은 이들에 대한 가중화 지지도 값이 상대적으로 높을 때 흥미로운 특성을 갖는 경향이 있는 반면, 많은 정점과 간선을 갖는 큰 그래프 패턴들은 비록 가중화 지지도 값이 상대적으로 낮을지라도 흥미로운 특성을 가질 수 있다. 이러한 이유로, 본 논문에서는 길이에 따라 감소하는 지지도 제한조건을 고려한 가중치 기반의 빈발 그래프 패턴 마이닝 알고리즘을 제안한다. 본 논문에서 제공되는 총체적인 실험 결과들은 제안되는 방법이 기존의 최신 그래프 마이닝 알고리즘과 비교하여 패턴 생성, 수행시간, 그리고 메모리 사용량 측면에서 더욱 뛰어난 성능을 보장함을 보인다.