• 제목/요약/키워드: 시퀀스 빈발도

검색결과 20건 처리시간 0.025초

비트맵을 사용한 닫힌 빈발 시퀀스 마이닝 (Mining Frequent Closed Sequences using a Bitmap Representation)

  • 김형근;황환규
    • 정보처리학회논문지D
    • /
    • 제12D권6호
    • /
    • pp.807-816
    • /
    • 2005
  • 순차 패턴 탐사에 대한 연구는 대용량의 데이터베이스에서 사용자에 의해 주어지는 최소 지지도를 만족하는 빈발 시퀀스를 찾는 문제를 다룬다. 하지만 현재까지 이루어진 순차 패턴 탐사 방법은 빈발 시퀀스들의 길이가 길어지거나 최소 지지도가 상대적으로 낮게 주어진 상황에서는 생성되는 시퀀스가 기하급수적으로 많아져서 성능이 급격히 저하되는 문제점을 가지고 있다. 본 논문에서는 이 문제를 해결하기 위해서 모든 빈발 시퀀스의 정보를 포함하며 그 수가 현저히 적은 닫힌 빈발 시퀀스를 찾는 방법을 제안한다. 제안하는 알고리즘은 효율적으로 가지치기를 수행하기 위해서 깊이우선 탐색 방법으로 후보 시퀀스를 생성하고 데이터베이스를 비트맵으로 표현하여 비트 연산으로 지지도를 효율적으로 계산한다. 또한, 비트맵으로 표현된 시퀀스 특성을 이용하여 가지치기할 시퀀스를 적은 연산 비용으로 찾을 수 있다. 이런 장점을 통하여 제안한 방법이 지금까지 제안된 알고리즘보다 훨씬 빨리 닫힌 빈발 시퀀스를 찾는 것을 성능 실험을 통하여 확인하였다.

하둡 기반 빈발 시퀀스 추출기 개발 (Development of Frequent Sequence Extractor Based on Hadoop)

  • 박준하;이병희;박상재;이정준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1199-1202
    • /
    • 2013
  • 최근 증권, 센서, 기후, 의료 분야 등에서 수많은 시계열 데이터들이 쏟아져 나오고 있고, 이러한 시계열 빅 데이터를 통해 의미를 찾아내고자 하는 시계열 해석 및 분석, 예측 작업의 수요가 증가하고 있다. 시계열 해석 및 분석, 예측 작업을 하기 위해서 사용 될 수 있는 기초 작업은 유사한 시계열 시퀀스를 찾아내는 유사 시퀀스 매칭과 이러한 매칭을 통해 특정 시계열 데이터의 하나의 특징이 되는 빈발 시퀀스 추출 기술이 필요하다. 본 논문에서는 이러한 시계열 빅 데이터에서 유사 시퀀스 매칭을 이용한 빈발 시퀀스 추출 문제를 효율적으로 해결하는 빈발 시퀀스 추출기(Frequent Sequence Extractor)를 개발 및 구현하였다. 또한 분산처리 플랫폼인 하둡을 이용한 데이터 파싱을 사용하여, 각 분야별 시계열 데이터를 분석하는 전문가에게 효율적인 분산처리 효과를 제공한다.

최대 빈발 2-시퀀스를 이용한 최적 이동 패턴 추출 (Extraction of Optimal Moving Pattern using Maximum Frequent 2-Sequence)

  • 이연식;고현;김광종
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (D)
    • /
    • pp.367-372
    • /
    • 2008
  • 최근 사용자들의 특성에 맞게 개인화되고 세분화된 위치 기반 서비스를 개발하기 위한 목적으로 이동 객체의 다양한 패턴들 중 의미있는 지식인 유용한 이동 패턴을 탐사하는 문제가 주요 이슈로 부각되고 있다. 이에 본 논문에서는 방대한 이동 객체의 이력 데이터 집합으로부터 특정 지점들 간의 최적 이동 경로나 정해진 시간내의 스케줄링 경로 탐색과 같이 복합적인 시간 및 공간 제약을 갖는 최적 이동 패턴을 탐사하는 문제에 대해 정의하고, 다양한 이동 패턴들 중 가장 빈발하게 발생하는 패턴이 최적의 비용을 소요할 것이라는 가정을 기반으로 최대 빈발 2-시퀀스를 추출하는 방법을 제안한다. 후보 시퀀스 집합으로부터 지지도 계산을 통해 추출되는 빈발 2-시퀀스들의 순차적인 조합은 패턴 탐사를 수행하는 각 패스 진행 시 후보 시퀀스 항목의 차수가 점차 감소하여 최적 이동 패턴 탐사 방법에 효과적으로 적용된다.

  • PDF

시퀀스 패턴 마이닝 기법을 적용한 침입탐지 시스템의 경보데이터 패턴분석

  • 신문선
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2010년도 춘계학술발표논문집 1부
    • /
    • pp.451-454
    • /
    • 2010
  • 침입탐지란 컴퓨터와 네트워크 자원에 대한 유해한 침입 행동을 식별하고 대응하는 과정이다. 점차적으로 시스템에 대한 침입의 유형들이 복잡해지고 전문적으로 이루어지면서 빠르고 정확한 대응을 할 수 있는 시스템이 요구되고 있다. 이에 대용량의 데이터를 분석하여 의미 있는 정보를 추출하는 데이터 마이닝 기법을 적용하여 지능적이고 자동화된 탐지 및 경보데이터 패턴 분석에 이용할 수 있다. 본 논문에서는 경보데이터 패턴 분석을 위해 시퀀스패턴기법을 적용한 경보데이터 마이닝 엔진을 구축한다. 구현된 경보데이터 마이닝 시스템은 기존의 시퀀스 패턴 알고리즘인 PrefixSpan 알고리즘을 확장 구현하여 경보데이터의 빈발 경보시퀀스 분석과 빈발 공격시퀀스 분석에 활용할 수 있다.

  • PDF

시공간 이동 시퀀스 패턴 마이닝 기법 (Spatial-Temporal Moving Sequence Pattern Mining)

  • 한선영;용환승
    • 응용통계연구
    • /
    • 제19권3호
    • /
    • pp.599-617
    • /
    • 2006
  • 최근 모바일 컴퓨팅 시스템에서 위치 기반 서비스(Location Based System: LBS)에 대한 연구가 활발히 진행되고 있다. 시공간 이동 시퀀스 마이닝은 이동 경로 데이터로부터 사용자 이동 패턴을 추출하는 새로운 마이닝 기법이다. 시공간 이동 시퀀스 패턴 마이닝은 기존의 빈발 패턴 마이닝 기법과 유사하나 몇 가지 차이점이 있다. 빈발 패턴 마이닝은 장바구니 분석에서와 같이 고객이 구입한 아이템과 관련된 것이나 시공간 이동 시퀀스 패턴 마이닝은 사용자 이동 시퀀스 경로를 대상으로 한다. 또한 사용자의 관심도를 반영하기 위해 해당 위치에서의 소요시간을 고려한다. 본 연구는 대표적인 빈발 패턴 마이닝 기법의 하나인 Apriori 알고리즘에 이동 시퀀스 데이터를 적용하여 Apriori_msp 알고리즘을 제안하였으며 성능 평가를 수행한 결과를 제시하였다.

시퀀스 빈발도와 가중치를 이용한 최적 이동 패턴 탐사 (Optimal Moving Pattern Mining using Frequency of Sequence and Weights)

  • 이연식;박성숙
    • 인터넷정보학회논문지
    • /
    • 제10권5호
    • /
    • pp.79-93
    • /
    • 2009
  • 사용자들의 특성에 맞게 개인화되고 세분화된 위치 기반 서비스를 개발하기 위한 목적으로 시공간 상에서 발생하는 이동 객체의 다양한 패턴들 중 의미있는 유용한 패턴을 추출하기 위한 시공간 패턴 탐사가 필요하다. 이에 본 논문에서는 방대한 이동 객체의 이력 데이터로부터 패턴 탐사를 통해 실세계에 적용 가능한 위치 기반 서비스의 개발에 대한 응용으로, STOMP(F)[25]에서 정의한 최적의 이동 패턴을 탐사하는 문제들을 기반으로 시간 및 공간 제약을 갖는 패턴을 추출하기 위한 새로운 탐사 기법인 STOMP(FW)를 제안한다. 제안된 기법은 패턴 빈발도 만을 이용한 기존 연구(STOMP(F)[25])에 가중치(거리, 시간, 비용 등)를 복합적으로 이용하는 패턴 탐사 방법으로, 특정한 지점들 사이를 이동한 객체의 이동 패턴들 중 패턴 빈발도가 특정 임계치 이상이고 가중치가 가장 적게 소요되는 이동 패턴을 최적 경로로 결정하는 방법이다. 제안된 방법의 패턴 탐사는 경험적인 이동 이력을 사용함으로써 기존의 최적 경로 탐색 기법들($A^*$, Dijkstra 알고리즘)이나 빈발도 만을 이용한 방법들 보다 접근하는 노드 수가 상대적으로 적어 보다 빠르고 정확하게 최적 패턴을 탐색할 수 있음을 보인다.

  • PDF

동적 가중치를 이용한 효율적인 순차 패턴 탐사 기법 (Efficient Mining of Dynamic Weighted Sequential Patterns)

  • 최필선;강동현;김환;김대인;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.1365-1368
    • /
    • 2012
  • 순차 패턴 탐사 기법은 순서를 갖는 패턴들의 집합 중에 빈발하게 발생하는 패턴을 찾아내는 기법이다. 순차 패턴 탐사 분야 중에 동적 가중치 순차 패턴 탐사는 가중치가 시간에 따라 변화하는 컴퓨팅 환경에 적용하는 마이닝 기법으로 동적인 중요도 변화를 마이닝에 적용하여 다양한 환경에서 활용 가능하다. 이 논문에서는 다양한 순차 데이터에서 동적 가중치를 적용하여 순차 패턴을 탐사하는 새로운 시퀀스 데이터 마이닝 기법에 대하여 제안한다. 제안하는 기법은 시간 순서에 의한 상대적인 동적 가중치를 사용하여 탐색해야 하는 후보 패턴을 줄여줄 수 있어 빈발한 시퀀스 패턴을 빠르게 찾을 수 있다. 이 기법을 사용하면 기존 가중치를 적용하는 방식보다 메모리 사용과 처리 시간을 줄여줘 매우 효율적이다.

적응형 웹 사이트를 위한 웹 로그 마이닝 (Web Log Mining for Adaptive Web Sites)

  • 고경자;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (상)
    • /
    • pp.325-328
    • /
    • 2001
  • 본 논문에서는 웹 사이트에 접근하는 이용자의 패턴을 분석하여 정보 제공이 보다 용이한 구조로 자동 개선시켜 나가는 적응형 웹 사이트의 구현 방안을 제시한다. 특히, 본 연구에서는 기존 웹 사이트의 구조를 가능한 파괴하지 않는 범위 내에서 웹 사이트론 변경하고자 이용자의 접근 패턴상 연관성은 높으나 접근 경로가 긴 문서들을 추출하여 색인 페이지를 추가 생성한다. 이를 위하여, 먼저 대용량의 웹 서버 로그 데이터를 대상으로 하이퍼 링크 구조에 따라 필터링된 최후 전진 문서만을 가지고 데이터 시퀀스를 구성한다. 이러한 데이터 시퀀스에 새로운 순차 접근 패턴 탐색 알고리즘인 TPA를 적용함으로써 웹 문서간 충분한 지지도를 갖는 연관성 있는 문서들의 시퀀스를 구한다. 이와같은 빈발 시퀀스들에 대한 색인 페이지를 추가로 생성시켜주는 서비스를 통하여 이용자들의 효과적인 정보 접근을 지원할 수 있는 웹 사이트로의 변경이 가능하다.

  • PDF

빈발 인터벌 이벤트 관계에 기반한 이벤트 발생 예측 방법 (A Method for Predicting Event Occurrence based on the Relations of Frequent Interval Events)

  • 송명진;김대인;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.298-301
    • /
    • 2009
  • 시간 속성을 갖는 이벤트들의 집합에서 이벤트들 사이의 인과관계를 보다 정확히 파악할 수 있는 방법의 개발은 의료 분야 등의 응용에서 미리 발생할 이벤트에 발생 시점 예측을 위하여 필요하다. 본 논문은 이벤트들의 시퀀스를 독립적인 서브 시퀀스로 나누고 각 서브 시퀀스를 인터벌을 갖는 이벤트로 요약하여 인터벌 이벤트들 사이의 관계를 표현한다. 그리고 인터벌 이벤트 관계에서 원인 인터벌 이벤트가 결과 이벤트에 미친 영향 정도의 측정 방법을 개발하고 실험을 통하여 사용한 척도의 의미와 정확성을 파악한다. 실험 결과는 제안 방법이 지지도 기반의 평가보다 보다 우수함을 입증한다.

STMP/MST와 기존의 시공간 이동 패턴 탐사 기법들과의 성능 비교 (A Comparison of Performance between STMP/MST and Existing Spatio-Temporal Moving Pattern Mining Methods)

  • 이연식;김은아
    • 인터넷정보학회논문지
    • /
    • 제10권5호
    • /
    • pp.49-63
    • /
    • 2009
  • 시공간 이동 패턴 탐사는 특성상 방대한 시공간 데이터의 분석 및 처리 방법에 따라 패턴 탐사의 성능이 좌우된다. 기존의 시공간 패턴 탐사 기법들[1-10]이 가진 패턴 탐사 수행 시간이나 패턴 탐사 시 사용되는 메모리양이 증가하는 문제를 해결하기 위해 일부 기법에서 몇 가지 방법을 제시하였으나 아직 미비한 실정하다. 이에 선행 연구로 방대한 시공간 이동 데이터 집합으로부터 순차적이고 주기적인 빈발 이동 패턴을 효과적으로 추출하기 위한 STMP/MST 탐사 기법[11]을 제안하였다. 제안된 기법은 해시 트리 기반의 이동 시퀀스 트리를 생성하여 빈발 이동 패턴을 탐사함으로써 탐사 수행 시간을 최소화하고, 상세 수준의 이력 데이터들을 실세계의 의미있는 시간 및 공간영역으로 일반화하여 탐사 시 소요되는 메모리양을 감소시킬 수 있다. 본 논문에서는 이러한 STMP/MST 탐사 기법의 효율성을 검증하기 위해서 탐사 대상 데이터양과 최소지지도를 기준으로 기존의 시공간 패턴 탐사 기법들과 탐사 수행 성능을 비교하고 분석한다.

  • PDF