• 제목/요약/키워드: 빈발도

검색결과 464건 처리시간 0.032초

맵리듀스 기반 DFP-Tree를 이용한 클러스터링 알고리즘 (Clustering Algorithm using the DFP-Tree based on the MapReduce)

  • 서영원;김창수
    • 인터넷정보학회논문지
    • /
    • 제16권6호
    • /
    • pp.23-30
    • /
    • 2015
  • 빅 데이터가 이슈화됨에 따라 데이터 분석의 결과를 기반으로 동작하는 많은 응용들이연구되고 왔고, 대표적인 응용들은 전자상거래 시스템의 상품 추천 서비스, 검색 엔진에서의 검색 서비스, 소셜 네트워크 서비스에서의 친구 추천 서비스 등이 있다. 본 논문은 기존의 데이터 마이닝 기법 중 데이터 집합에서 나타나는 유사한 패턴들을 마이닝하는 빈발 패턴 트리와 컴퓨터 과학의 이론에 기초한 결정트리를 결합하여 결정 빈발 트리 알고리즘을 제안한다. 이는 기존의 빈발 패턴 트리 알고리즘은 패튼 트리에서 패턴 생성에 대한 정확성은 보장되나 소셜 데이터처럼 다양한 패턴이 나타는 데이터에 대해서는 많은 수의 패턴들을 생성시켜 분석에 대한 어려움이 있어, 서브트리들과의 수렴 여부를 판단하는 모델로 변형시켜 문제를 개선한다. 또한 맵리듀스로 모델링하여 분산처리를 통한 고속 처리 알고리즘을 제시한다.

DHP 연관 규칙 탐사 알고리즘을 위한 효율적인 해싱 메카니즘 (An Efficient Hashing Mechanism of the DHP Algorithm for Mining Association Rules)

  • 이형봉
    • 정보처리학회논문지D
    • /
    • 제13D권5호
    • /
    • pp.651-660
    • /
    • 2006
  • Apriori 알고리즘에 기반 한 연관 규칙 탐사 알고리즘들은 후보 빈발 항목 집합의 계수 관리를 위한 자료구조로 해시 트리를 사용하고, 많은 시간이 그 해시 트리를 검색하기 위해 소요된다. DHP 연관 규칙 탐사 알고리즘은 해시 트리에 대한 검색 시간을 절약하기 위해 검색 대상인 후보 빈발 항목 집합의 개수를 최대한 줄이고자 노력한다. 이를 위해 사전에 예비 후보 빈발 항목 집합에 대한 간편 계수를 실시한다. 이 때, 예비 계수에 필요한 계산 부담을 줄이기 위해 아주 간단한 직접 해시 테이블 사용을 권고한다. 이 논문에서는 DHP 연관 규칙 탐사 알고리즘의 단계 2에서 사전 전지를 위해 사용되는 직접 해시 테이블 $H_2$와 모든 단계에서 후보 빈발 항목 집합의 계수를 위해 사용되는 해시 트리 $C_k$에 적용될 수 있는 효율적인 해싱 메카니즘을 제안하고 검증한다. 검증 결과 일반적인 단순 제산(mod) 연산 방법을 사용했을 때보다 제안 방법을 적용했을 경우 최대 82.2%, 평균 18.5%의 성능 향상이 얻어지는 것으로 나타났다.

이동 객체 데이터베이스에서 빈발 시퀀스 패턴 탐색 (Discovery of Frequent Sequence Pattern in Moving Object Databases)

  • ;이범주;류근호
    • 정보처리학회논문지D
    • /
    • 제15D권2호
    • /
    • pp.179-186
    • /
    • 2008
  • 위치 기반 장치의 발전과, GIS 기능의 확장 그리고 위치 정보기술들의 정확성과 가용성이 증가함에 따라서 위치 기반 서비스들의 새로운 영역에 대한 새로운 가능성이 나타나게 되었다. 데이터의 시간과 공간 형태에 따라서 정의되는 Relationship에 기인하여 시공간 데이터 마이닝 영역에서 공간에 대한 지식 검색이 증가할 경우 매우 큰 문제에 직면한다. 이 논문에서는 모바일 환경에서 시공간 패턴 마이닝을 위한 알고리즘들을 제안한다. 이동 패턴들은 All_MOP와 Max_MOP 두 개의 알고리즘을 활용하여 생성된다. 이 알고리즘들은 먼저 모든 빈발 패턴들을 탐사한 후 오직 최대의 빈발 패턴만을 탐사한다. 아울러, 제안한 기법과 기존의 DFS_MINE 기법의 수행 시간 비교를 통하여 제안한 기법이 수행시간에서 다소 우수한 것을 나타낸다. 이러한 제안접근법은 관광 서비스, 교통 서비스 등과 같은 위치 기반 서비스 등에 활용할 수 있다.

FEC 환경에서 효율적 자원 배치를 위한 엣지 디바이스의 최적 이동패턴 추출 (Extracting optimal moving patterns of edge devices for efficient resource placement in an FEC environment)

  • 이연식;남광우;장민석
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.162-169
    • /
    • 2022
  • 동적으로 변하는 시간 가변적 네트워크 환경에서 엣지 디바이스의 최적 이동패턴은 FEC환경에서 응용 서비스 사용자에 근접한 에지 클라우드 서버에 컴퓨팅 리소스를 분배하거나 새로운 에지 서버(기지국)를 배치하는데 적용함으로써, 클라우드 컴퓨팅의 단점인 지연시간 문제 완화를 위한 효율적 계산 오프로딩이 가능한 환경 구축에 활용이 가능하다. 본 논문은 임의의 시간제약 및 이동규칙 등이 적용되는 시공간 환경에서 응용 서비스를 요구하는 다수의 엣지 디바이스(이동객체)들의 이동경로를 빈발도 기반으로 분석하여 최적 이동패턴을 추출하는 알고리즘을 제안한다. 제안한 OPE_freq 알고리즘을 A* 및 Dijkstra 알고리즘들과 비교 실험을 통하여, 제안 알고리즘이 상대적으로 빠른 연산시간과 적은 메모리를 사용하고 보다 정확한 최적경로를 추출함을 알 수 있다. 또한 A* 알고리즘과의 비교 결과를 통하여 가중치를 빈발도와 동시에 적용함으로써 경로 추출의 정확도를 향상시킬 수 있음을 도출하였다.

능동적 슬라이딩 윈도우 기반 빈발구조 탐색 기법 (A Method of Frequent Structure Detection Based on Active Sliding Window)

  • 황정희
    • 디지털콘텐츠학회 논문지
    • /
    • 제13권1호
    • /
    • pp.21-29
    • /
    • 2012
  • 최근 인터넷의 급격한 발전과 유비쿼터스 컴퓨팅 환경 그리고 센서 네트워크와 같은 많은 정보들의 교환이 이루어지는 환경에서 연속적으로 전송되는 데이터에 대한 처리가 요구되고 있다. 이와 관련하여 XML 스트림 데이터에 대한 빈발구조 추출 및 효율적인 질의처리를 위한 마이닝 방법들이 연구되고 있다. 본 논문에서는 연속적으로 빠르게 발생하는 스트림 데이터로부터 유용한 정보를 발견하기 위한 기반 연구로써 트리거를 이용한 슬라이딩 윈도우 기반의 XML 빈발구조 탐색 방법을 제안한다. 제안된 방법은 스트림 데이터에 대한 마이닝과 연속질의 처리등을 위해 트리거를 이용하여 데이터의 흐름을 자동으로 제어할 수 있는 기반이 된다.

시공간 이동 시퀀스 패턴 마이닝 기법 (Spatial-Temporal Moving Sequence Pattern Mining)

  • 한선영;용환승
    • 응용통계연구
    • /
    • 제19권3호
    • /
    • pp.599-617
    • /
    • 2006
  • 최근 모바일 컴퓨팅 시스템에서 위치 기반 서비스(Location Based System: LBS)에 대한 연구가 활발히 진행되고 있다. 시공간 이동 시퀀스 마이닝은 이동 경로 데이터로부터 사용자 이동 패턴을 추출하는 새로운 마이닝 기법이다. 시공간 이동 시퀀스 패턴 마이닝은 기존의 빈발 패턴 마이닝 기법과 유사하나 몇 가지 차이점이 있다. 빈발 패턴 마이닝은 장바구니 분석에서와 같이 고객이 구입한 아이템과 관련된 것이나 시공간 이동 시퀀스 패턴 마이닝은 사용자 이동 시퀀스 경로를 대상으로 한다. 또한 사용자의 관심도를 반영하기 위해 해당 위치에서의 소요시간을 고려한다. 본 연구는 대표적인 빈발 패턴 마이닝 기법의 하나인 Apriori 알고리즘에 이동 시퀀스 데이터를 적용하여 Apriori_msp 알고리즘을 제안하였으며 성능 평가를 수행한 결과를 제시하였다.

클러스터의 주요항목 가중치 기반 XML 문서 클러스터링 (Clustering XML Documents Considering The Weight of Large Items in Clusters)

  • 황정희
    • 정보처리학회논문지D
    • /
    • 제14D권1호
    • /
    • pp.1-8
    • /
    • 2007
  • 발달된 인터넷 환경과 데이터 교환 표준 언어로서 확정되고 있는 XML을 기반으로 하여 대량의 웹 문서들이 생산되면서 정보 추출의 대상은 자연스럽게 웹 문서로 이동하게 되었다. 이에 따라 급속히 증가하고 있는 XML 문서에 대한 구조, 통합 및 검색을 위한 연구들이 있다. 이 논문에서는 XML 문서들에 대한 질의 처리, 검색 등을 효율적으로 처리하기 위한 기반으로써 빈발구조 중심의 XML 문서를 클러스터링 하는 방법을 제안한다. 첫째 XML 문서를 트리 구조로 표현하여 분리하고 분리된 구조들을 대상으로 빈발하게 발생하는 구조들을 추출한다. 둘째 각 XML 문서에서 추출된 빈발 구조들을 트랜잭션의 항목으로 취급하여 클러스터링을 수행한다. 클러스터링을 수행할 때 각 클러스터의 생성 및 생성된 전체 클러스터의 응집도를 함께 고려하는 주요항목 가중치를 이용한다. 셋째 기존연구와의 비교 실험을 통해 제안하는 방법의 우수성을 증명한다.

가중치 순회로부터 빈발 순회패턴의 탐사 및 순회분할을 통한 성능향상 (Discovery of Frequent Traversal Patterns from Weighted Traversals and Performance Enhancement by Traversal Split)

  • 이성대;박휴찬
    • 한국정보통신학회논문지
    • /
    • 제11권5호
    • /
    • pp.940-948
    • /
    • 2007
  • 실세계의 많은 문제는 그래프와 그 그래프를 순회하는 트랜잭션으로 모델링 될 수 있다. 예를 들면, 웹페이지의 연결구조는 그래프로 표현될 수 있고, 사용자의 웹페이지 방문경로는 그 그래프를 순회하는 트랜잭션으로 모델링 될 수 있다. 이와 같이 그래프를 순회하는 트랜잭션들로부터 빈발 패턴과 같이 중요한 패턴을 찾아내는 것은 의미있는 일이다. 본 논문에서는, 방향 그래프와 그 그래프를 순회하는 가중치가 있는 트랜잭션들이 주어졌을 때, 빈발한 순회패턴을 탐사하는 알고리즘을 제안한다. 또한, 이 알고리즘의 성능향상을 위하여 순회를 분할하는 방법을 제안하고 실험을 통하여 검증한다.

닫힌 빈발 패턴을 기반으로 한 특징 선택과 분류방법 비교 (A Comparative Study on Feature Selection and Classification Methods Using Closed Frequent Patterns Mining)

  • 장뢰;김성호;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.148-151
    • /
    • 2010
  • 분류 기법은 데이터 마이닝 기술 중 가장 잘 알려진 방법으로서, Decision tree, SVM(Support Vector Machine), ANN(Artificial Neural Network) 등 기법을 포함한다. 분류 기법은 이미 알려진 상호 배반적인 몇 개 그룹에 속하는 다변량 관측치로부터 각각의 그룹이 어떤 특징을 가지고 있는지 분류 모델을 만들고, 소속 그룹이 알려지지 않은 새로운 관측치가 어떤 그룹에 분류될 것인가를 결정하는 분석 방법이다. 분류기법을 수행할 때에 기본적으로 특징 공간이 잘 표현되어 있다고 가정한다. 그러나 실제 응용에서는 단일 특징으로 구성된 특징공간이 분명하지 않기 때문에 분류를 잘 수행하지 못하는 문제점이 있다. 본 논문에서는 이 문제에 대한 해결방안으로써 많은 정보를 포함하면서 빈발패턴에 대한 정보의 순실이 없는 닫힌 빈발패턴 기반 분류에 대한 연구를 진행하였다. 본 실험에서는 ${\chi}^2$(Chi-square)과 정보이득(Information Gain) 속성 선택 척도를 사용하여 의미있는 특징 선택을 수행하였다. 그 결과, 이 연구에서 제시한 척도를 사용하여 특징 선택을 수행한 경우, C4.5, SVM 과 같은 분류기법보다 더 향상된 분류 성능을 보였다.

빈발 패턴 네트워크에서 아이템 클러스터링을 통한 연관규칙 발견 (Discovering Association Rules using Item Clustering on Frequent Pattern Network)

  • 오경진;정진국;하인애;조근식
    • 지능정보연구
    • /
    • 제14권1호
    • /
    • pp.1-17
    • /
    • 2008
  • 데이터 마이닝은 대용량의 데이터에 숨겨진 의미있고 유용한 패턴과 상관관계를 추출하여 의사결정에 활용하는 작업이다. 그 중에서도 고객 트랜잭션의 데이터베이스에서 아이템(item) 사이에 존재하는 연관규칙을 찾는 것은 중요한 일이 되었다. Apriori 알고리즘 이후 연관규칙을 찾기 위해 대용량의 데이터베이스로부터 압축된 의미있는 정보를 저장하기 위한 데이터 구조와 알고리즘들이 많이 제안되어 왔다. 연관규칙을 발견하기 위한 기존의 연구들은 모든 규칙을 찾아내지만, 사람이 분석하기에 너무 많은 규칙이 생성되기 때문에 규칙을 분석하기 위한 일 또한 많은 과정을 거쳐야 한다. 본 논문에서는 빈발 패턴 네트워크(Frequent Pattern Network)라 부르는 자료 구조를 제안하고 이를 활용하였다. 네트워크는 정점과 간선으로 구성되며 정점은 아이템을 표현하고, 간선은 두 아이템 집합을 표현한다. 아이템의 빈도수를 이용하여 빈발 패턴 네트워크를 구성하고, 아이템 사이의 유사도를 측정한다. 그리고 클러스터 내의 아이템과는 유사도가 높고, 다른 클러스터의 아이템과는 유사도가 낮도록 클러스터를 생성한다. 클러스터를 이용해 연관규칙을 생성하고 실험을 통해 Apriori와 FP Growth 알고리즘과의 성능을 비교를 하였다. 그 결과 빈발 패턴 네트워크에서 신뢰도 유사도를 이용하는 것이 클러스터의 정확성을 높여줌을 볼 수 있었다. 그리고 전통적인 방법과 비교를 통해 빈발 패턴 네트워크를 이용하는 것이 최소지지도에 유연성을 가짐을 알 수 있었다.

  • PDF