• 제목/요약/키워드: 빈발항목 집합

검색결과 61건 처리시간 0.023초

데이터의 지역성을 이용한 빈발구간 항목집합 생성방법 (A Method for Generating Large-Interval Itemset using Locality of Data)

  • 박원환;박두순
    • 한국멀티미디어학회논문지
    • /
    • 제4권5호
    • /
    • pp.465-475
    • /
    • 2001
  • 최근에 대용량의 데이터베이스로부터 연관규칙을 발견하고자 하는 연구가 활발하며, 수량항목에도 적용할 수 있도록 이들 방법을 확장하는 연구도 소개되고 있다. 본 논문에서는 수량항목을 이진 항목으로 변환하기 위하여 빈발구간 항목집합을 생성할 때, 수량 항목의 정의 영역 내에서 특정 영역에 집중하여 발생하는 특성인 지역성을 이용하는 방법을 제안한다. 이 방법은 기존의 방법보다 많은 수의 세밀한 빈발구간 항목들을 생성할 수 있을 뿐만 아니라 세밀도를 판단하여 활용할 수 있는 생성순서 정보도 포함하고 있어, 원 데이터가 가지고 있는 특성의 손실을 최소화할 수 있는 특징이 있다. 인구센서스 등 실 데이터를 사용한 성능평가를 통하여 기존의 방법보다 우수함을 보였다.

  • PDF

수량 연관규칙 탐사를 위한 빈발구간 항목집합 생성방법 (A Large-Interval Itemsets Generation Method for Mining Quantitative Association Rules)

  • 박원환;박두순;유기형;손진곤
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 추계학술발표논문집
    • /
    • pp.402-407
    • /
    • 2001
  • 대용량의 데이터베이스로부터 연관규칙을 발견하고자 하는 연구가 활발하며, 수량 데이터의 항복에도 적용할 수 있도록 이들 방법을 확장하는 연구가 최근에 소개되고 있다. 본 논문에서는 수량 데이터 항목을 이진 항목으로 변환하기 위하여 빈발구간 항목집합을 생성할 때, 수량 데이터 항목의 정의 영역 내에서 특정 영역에 집중하여 발생하는 특성인 지역성을 이용하는 방법을 제안한다. 이 방법은 기존의 방법보다 많은 수의 세밀한 빈발구간 항목들을 생성할 수 있을 뿐만 아니라 세밀의 정도를 판단하여 활용할 수 있는 생성순서 정보도 포함하고 있어, 원 데이터가 가지고 있는 특성의 손실을 최소화한 수 있는 특징이 있다. 성능평가를 통하여 기존의 방법보다 우수함을 보였다.

  • PDF

스트림 데이터에서 회귀분석에 기반한 빈발항목 예측 (Frequent Items Mining based on Regression Model in Data Streams)

  • 이욱현
    • 한국콘텐츠학회논문지
    • /
    • 제9권1호
    • /
    • pp.147-158
    • /
    • 2009
  • 최근 스트림데이터 환경의 데이터 모델은 데이터의 양이 아주 크고 연속적이며 무한하다. 이에 반해 제한된 용량의 디스크나 메모리 등을 이용해서 질의 처리나 데이터 분석을 처리한다. 이러한 환경에서 트랜잭션 데이터베이스에 대한 전통적인 빈발패턴탐사는 불가능하다고 할 수 있다. 왜냐하면, 연속적으로 들어오는 스트림 데이터에 대해 어떤 항목집합이 빈발항목인지 아닌지에 대한 정보를 계속적으로 유지 관리하기가 어렵기 때문이다. 본 논문에서는 연속적으로 들어오는 스트림 데이터에 회귀모델을 적용하여 빈발 항목들을 예측할 수 있는 방법을 제안한다. 스트림 데이터로부터 회귀모델을 생성함으로써 불확실한 항목들에 대한 예측 모델로 사용할 수 있다. 다양한 실험을 통하여 제안하는 방법이 스트림 데이터 환경의 데이터에 효율적으로 사용될 수 있음을 보인다.

다수의 2 차원 배열에서 효율적인 빈발 패턴 탐색 기법 (Efficient Frequent Pattern Mining in Multiple Two-Dimensional Arrays)

  • 김한슬;이기용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.326-329
    • /
    • 2021
  • 데이터베이스에서의 빈발 패턴 탐색은 일정 횟수 이상 같이 등장하는 항목들의 집합을 찾는 문제이다. 본 논문은 다수의 2 차원 배열들이 주어졌을 때, 이들 내부에서 빈번히 같이 등장하는 부분 구역들을 찾는 문제를 다룬다. 하지만 기존 빈발 패턴 탐색 기법들은 배열 내 원소들의 위치 관계까지 고려하지는 않기 때문에 본 문제에 바로 적용하기는 어렵다. 따라서 본 논문은 다수의 2 차원 배열 내에서 빈번히 같이 발생하는 부분 구역들을 효율적으로 찾는 기법을 제안한다. 본 논문의 선행 연구에서는 주어진 배열들을 두 번 스캔하여 빈발 부분 구역 집합을 찾는 기법을 제안하였다. 본 논문에서는 이를 개선하여 배열들을 한 번만 스캔하고도 빈발 부분 구역 집합을 찾는 효율적인 기법을 제안한다. 이를 위해 제안 방법은 지금까지 탐색된 부분 구역들에 대한 정보를 메모리에 효율적으로 유지한다. 실험결과 제안방법은 기존 방법에 비해 수행시간을 약 30% 단축함을 보였다.

DHP 연관 규칙 탐사 알고리즘을 위한 효율적인 해싱 메카니즘 (An Efficient Hashing Mechanism of the DHP Algorithm for Mining Association Rules)

  • 이형봉
    • 정보처리학회논문지D
    • /
    • 제13D권5호
    • /
    • pp.651-660
    • /
    • 2006
  • Apriori 알고리즘에 기반 한 연관 규칙 탐사 알고리즘들은 후보 빈발 항목 집합의 계수 관리를 위한 자료구조로 해시 트리를 사용하고, 많은 시간이 그 해시 트리를 검색하기 위해 소요된다. DHP 연관 규칙 탐사 알고리즘은 해시 트리에 대한 검색 시간을 절약하기 위해 검색 대상인 후보 빈발 항목 집합의 개수를 최대한 줄이고자 노력한다. 이를 위해 사전에 예비 후보 빈발 항목 집합에 대한 간편 계수를 실시한다. 이 때, 예비 계수에 필요한 계산 부담을 줄이기 위해 아주 간단한 직접 해시 테이블 사용을 권고한다. 이 논문에서는 DHP 연관 규칙 탐사 알고리즘의 단계 2에서 사전 전지를 위해 사용되는 직접 해시 테이블 $H_2$와 모든 단계에서 후보 빈발 항목 집합의 계수를 위해 사용되는 해시 트리 $C_k$에 적용될 수 있는 효율적인 해싱 메카니즘을 제안하고 검증한다. 검증 결과 일반적인 단순 제산(mod) 연산 방법을 사용했을 때보다 제안 방법을 적용했을 경우 최대 82.2%, 평균 18.5%의 성능 향상이 얻어지는 것으로 나타났다.

데이터 스트림에서 빈발항목 탐색을 위한 메모리 사용량 최적화 (Memory Adaptation in Finding Frequent Itemsets over Data Streams)

  • 김민정;장중혁;이원석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.28-30
    • /
    • 2003
  • 컴퓨팅 환경의 발달로 방대한 양의 정보들이 매우 빠른 속도로 생성되고 있다. 구성 요소가 지속적으로 발생되는 무한 집합으로 정의되는 데이터 스트림에 대한 마이닝 방법은 이들 정보로부터 중요한 지식을 효과적으로 얻을 수 있는 방법으로 최근 들어 다양한 방법들이 활발히 제안되고 있다. 이러한 마이닝 방법에서는 지속적으로 확장되는 데이터 스트림의 특성으로 수행과정에서 메모리 사용량을 가용 범위 내로 제한하는 것이 중요한 고려 사항이 되고 있다. 본 논문에서는 데이터 스트림에서 빈발 항목을 탐색하는데 있어서 가용 메모리 범위에서 최적의 메모리를 사용하여 최상의 마이닝 결과를 얻을 수 있도록 하는 메모리 사용량 최적화 방법을 제시한다.

  • PDF

빈발 패턴 탐사 기법을 이용한 반구조적 데이터로부터의 공통구조 추출 (Extracting Common Structure of Semistructured data Using mining frequent patterns)

  • 이영언;문봉희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.302-304
    • /
    • 2000
  • 인터넷의 발달로 웹에는 엄청난 데이터가 존재하나, 불규칙적인 구조를 이루고 있는 반구조적 데이터가 대부분이다. 이러한 반구조적 데이터는 데이터들간의 어떤 정확하게 정해진 구조를 갖고 있진 않지만 불완전하고 불규칙한 구조 정보를 포함하고 있는 것으로, 데이터들 간의 관계를 규명할 수 있는 공통 구조 정보를 추출하여 효과적으로 구조화시킴으로써 정보로서의 가치를 높일 필요성이 대두되게 되었다. 또, 데이터 처리 과정에서 기존의 잘 정의된 구조를 가진 데이터베이스의 장점을 수용하기 위해서는 반구조적 데이터 집합의 불완전한 구조 정보로부터 공통 구조를 추출하는 것이 요구된다. 본 연구에서는 후보 항목 집합의 생성이 없는 빈발 패턴 탐사 기법을 사용하여 반구조적 데이터 집합으로부터 공통구조를 추출하고자 한다.

  • PDF

공간 분할 지수를 이용한 이미지 데이터 연관 규칙 마이닝 (Association Rules Mining of Image Data using Spatial Factor)

  • 송임영;김경창;석상기
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.82-84
    • /
    • 2005
  • 본 논문에서는 기존의 멀티미디어 연관 규칙 알고리즘인 Max occur 알고리즘에서 추출한 빈발 항목 집합의 결과들에 대하여 빈발 항목 집합들끼리의 공간적인 연관 관계를 고려하기 위챈 공간 데이터 마이닝의 대표적인 공간 분할 방법인 그리드 셀 기반으로 곰간 분할 지수(spatial facotr)인 SF를 이용한 이미지 공간 연관 규칙 마이닝 방법을 제시한다. 또한 최소 공간 지지도를 적용하여 이미지 데이터에서 반복적으로 발생하는 항목과 항목간의 공간 관계를 통해 이미지 연관 규칙을 마이닝 하는데 보다 유효한 알고리즘을 제안한다.

  • PDF

단어간 연관성을 사용한 kNN 알고리즘 (kNN Alogrithm by Using Relationship with Words)

  • 전승룡;이재문;오하령
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.471-474
    • /
    • 2007
  • 본 논문은 연관규칙탐사 기술에서 사용되는 빈발항목집합과 동일한 개념으로 문서분류의 문서에서 빈발단어집합을 정의하고, 이를 사용하여 문서분류 방법으로 잘 알려진 kNN에 적용하였다. 이를 위하여 하나의 문서는 여러 개의 문단으로 나뉘어졌으며, 각 문단에 나타나는 단어들의 집합을 트랜잭션화하여 빈발단어집합을 찾을 수 있도록 하였다. 제안한 방법은 AI::Categorizer 프레임워크에서 구현되었으며 로이터-21578 데이터를 사용하여 학습문서의 크기에 따라 그 정확도가 측정되었다. 정확도의 측정된 결과로 부터 제안된 방법이 기존의 방법에 비하여 정확도를 개선한다는 사실을 알 수 있었다.

  • PDF

빈발단어집합을 이용한 NaiveBayes의 정확도 개선 (An Improvement of Accuracy for NaiveBayes by Using Large Word Sets)

  • 이재문
    • 인터넷정보학회논문지
    • /
    • 제7권3호
    • /
    • pp.169-178
    • /
    • 2006
  • 본 논문은 연관규칙탐사 기술에서 사용되는 빈발항목집합을 변형하여 문서분류의 문서에서 빈발단어집합을 정의하고, 이를 사용하여 문서분류 방법으로 잘 알려진 NaiveBayes에 적용하여 이 방법의 정확도를 개선한다. 이 기술의 적용을 위하여 하나의 문서는 여러 개의 문단으로 나뉘어졌으며, 각 문단에 나타나는 단어들의 집합을 트랜잭션화하여 빈발단어 집합을 찾을 수 있도록 하였다. 제안한 방법은 Al::Categorizer 프레임워크에서 구현되었으며 로이터-21578 데이터를 사용하여 그 정확도가 측정되었다. 문단에서의 라인수와 학습문서의 크기를 변화하면서 정확도를 측정하였다. 측정된 결과로부터 제안된 방법이 기존의 방법에 비하여 정확도를 개선한다는 사실을 알 수 있었다.

  • PDF