• 제목/요약/키워드: FP-Growth

검색결과 70건 처리시간 0.026초

데이터 카디널리티에 따른 FP-Growth 알고리즘의 효율성 분석 (Analysis of efficiency of FP-Growth algorithm based on data cardinality)

  • 김진형;김병욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.33-35
    • /
    • 2019
  • 서로 다른 아이템 집합의 연관성을 분석하는 것을 연관규칙분석이라 한다. 대표적인 알고리즘으로 Apriori 알고리즘이 있지만 DB스캔 횟수가 많아질 수 있고 후보 집합 생성으로 인해서 속도가 느려질 수 있다는 단점이 있다. 이를 효율적으로 개선한 FP-Growth 알고리즘을 구현하여 임의의 데이터를 이용하여 알고리즘의 속도에 대해 연구한다.

FP-growth 마이닝을 이용한 효율적인 여행경로 수립 기법 (A Technique for Making Efficient Travel Routes using the Mining Method of Frequent Patterns-growth)

  • 유기범;조경수;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.10-13
    • /
    • 2010
  • 컴퓨터의 활용이 다양해 지면서 예전과 다르게 다양한 이유로 많은 사람들이 여행을 하고 나서 여행에 대한 정보 블로그나 웹 상에 저장하고 공개한다. 이렇게 웹 상에 많은 양의 여행 관련 데이터가 존재함에도 불구하고 데이터들이 산발적으로 존재하고 체계적으로 데이터 베이스화 되어 있지 않아서 여전히 정보를 검색하고 여행 일정을 세우는 데에 많은 시간과 노력이 필요하다. 따라서 본 논문은 FP-tree 기반의 빈발 패턴 증가 기법을 이용한 여행 계획 수립 기법을 제안한다. 제안되는 기법에서 데이터들은 FP-tree 방식으로 저장되어 검색에 필요한 시간과 노력을 극적으로 줄이고, FP-growth 마이닝 기법을 이용해 효과적인 여행 경로를 선택할 수 있게 도와준다.

RHadoop 플랫폼기반 CAWFP-Tree를 이용한 적응 빈발 패턴 알고리즘 (Adaptive Frequent Pattern Algorithm using CAWFP-Tree based on RHadoop Platform)

  • 박인규
    • 디지털융복합연구
    • /
    • 제15권6호
    • /
    • pp.229-236
    • /
    • 2017
  • 효율적인 빈발 패턴 알고리즘은 연관 규칙 마이닝이나 융복합을 위한 마이닝 과정에서 필수적인 요소이며 많은 활용성을 가지고 있다. 패턴 마이닝을 위한 많은 모델들이 빈발 패턴에 관한 정보를 추출하여 FP-트리를 이용하여 저장하고 있다. 본 논문에서는 항목들의 무게중심을 이용한 새로운 빈발 패턴 알고리즘(CAWFP-Growth)을 제안하여 항목들이 가지는 가중치와 빈도수를 같이 고려하여 항목간의 중심을 계산하여 기존의 FP-Growth 알고리즘의 효율성을 향상시킨다. 제안한 방법은 하향 폐쇄의 성질을 유지하기 위한 기존의 전역적 최대치 가중치 지지도를 필요로 하지 않기 때문에 자연히 빈발 패턴의 탐색시간이 줄어들고 정보의 손실을 줄일 수 있다. 실험결과를 통하여 제안된 알고리즘이 기존의 동적가중치를 이용하는 다른 방법과 비교해볼 때, 항목들의 무게중심이 빈발패턴의 정확한 정보를 유지하고 FP-트리의 처리시간을 줄여주기 때문에 제안한 방법의 중요성을 보이고 있다 또한 가상 분산모드에서 맵리듀스 프레임을 기반으로 빅데이터를 모델링하고 향후 완전분산 모드에서 제안한 알고리즘의 모델링이 필요하다.

Odoo Data Mining Module Using Market Basket Analysis

  • Yulia, Yulia;Budhi, Gregorius Satia;Hendratha, Stefani Natalia
    • Journal of information and communication convergence engineering
    • /
    • 제16권1호
    • /
    • pp.52-59
    • /
    • 2018
  • Odoo is an enterprise resource planning information system providing modules to support the basic business function in companies. This research will look into the development of an additional module at Odoo. This module is a data mining module using Market Basket Analysis (MBA) using FP-Growth algorithm in managing OLTP of sales transaction to be useful information for users to improve the analysis of company business strategy. The FP-Growth algorithm used in the application was able to produce multidimensional association rules. The company will know more about their sales and customers' buying habits. Performing sales trend analysis will give a valuable insight into the inner-workings of the business. The testing of the module is using the data from X Supermarket. The final result of this module is generated from a data mining process in the form of association rule. The rule is presented in narrative and graphical form to be understood easier.

비트 클러스터링을 이용한 빈발 패턴 탐사의 성능 개선 방안 (Advanced Improvement for Frequent Pattern Mining using Bit-Clustering)

  • 김의찬;김계현;이철용;박은지
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권1호
    • /
    • pp.105-115
    • /
    • 2007
  • 데이터마이닝은 데이터베이스에 저장되어 있는 많은 일반적인 정보들을 가지고 의미있는 정보를 찾아내는 것이다. 많은 데이터 마이닝 기법들 중에 클러스터링과 연관규칙을 다루는 연구가 많이 이뤄지고 있다. 클러스터링 기법에는 공간데이터를 다루거나 속성데이터(비공간 데이터)를 다루는 많은 기법들이 연구되고 있고, 연관규칙 또한 빈발 패턴을 찾아내는 연구가 활발히 진행되고 있다. 기존의 연구 중 apriori 연관규칙 알고리즘을 개선하는 방법으로 비트 클러스터링을 이용하는 방법이 있다. 우리는 apriori 연관규칙 보다 더 나은 성능을 나타내는 FP-Growth에 대해 살펴보고 FP-Growth의 문제점을 찾아 이를 해결하기 위한 방법으로 비트 클러스터링을 이용하여 해결할 수 있는지에 대해 연구하였다. 본 논문에서는 전체 데이터베이스를 비트 클러스터링을 통해 몇 개의 클러스터로 나누어 FP-Growth 방법에 사용할 것을 제안하였다. 이렇게 하면 기존의 FP-Growth 방법보다 더 나은 성능을 가질 수 있으며 이를 증명하기 위한 실험을 수행하였다. 실험은 패턴 마이닝 연구에서 사용하는 chess 데이터를 이용하였으며, 최소지지도를 다르게 적용하면서 FP-Tree를 생성하는 실험을 하였다. 최소지지도가 높은 경우에는 기존의 방법과 비슷한 결과를 얻었지만 그 외 경우에는 기존의 방법보다 본 논문에서 제안하는 방법이 더 우수한 결과를 얻을 수 있었다. 본 논문의 주요 결론으로서 비트 클러스터링을 이용한 방법이 상대적으로 우수한 데이터 마이닝 방법임을 정리하였으며, 아울러 GML 데이터를 위한 비트 클러스터링의 적용방법론에 대하여도 논의하였다.적 성분으로 평가된다. 이러한 잠재적 추적자들에 근거할 때, 한국 서남해에 발달하고 있는 니질 퇴적대의 전퇴적물은 한국과 중국의 혼합 기원으로 해석되나, 실트와 점토 구간의 퇴적물로 나누어 볼 때 그기원이 각각 다르게 나타났다. 즉, 점토 퇴적물은 한국과 중국의 혼합 기원으로, 실트 퇴적물은 한국 기원이 우세한 것으로 해석된다. 과립에 황금입자가 표지되었다. 따라서 1일 동안 배설되는 분비배설항원은 선모충 유충의 표피와 stichocyte의 ${\alpha}_0\;{\alpha}_1$ 과립에서 유도되는 반면에 3일 동안 배설되는 분비배설항원은 표피와 stichocyte의 ${\alpha}_0$ 과립에서 유도되고, 선모충유충 감염후 1주, 4주에 실험쥐에서 형성되는 감염항체는 선모충의 표피와 기저층 그리고 EIM에서 분비되는 항원에 의하여 생성된다. 이상의 결과로 선모충의 분비배설항원과 감염항원은 선모충 유충의 표피와 EIM및 stichocyte의 ${\alpha}_0\;{\alpha}_1$ 과립에서 유도되며 이들은 45 kDa 단백을 포함하고 있는 것으로 생각된다.성하고 있는 세포들에는 세포질이 어두운 세포와 밝은 세포가 있었으며, 세포질내에는 전자밀도가 높은 분비과립이 관찰되었다. 전체적인 특징은 눈물샘분비세포 중 장액세포의 것과 비슷하였으나, 과립의 크기는 작았다. 분비관을 구성하는 세포들 사이에도 연접복합체가 매우 잘 발달되어 있었다. 샘포에서 사이관으로 이행되는 곳에서도 샘포세포와 사이관세포 사이에서도 연접복합체가 관찰되었다. 분비관세포의 분비과립 가운데는 중심부분에 전자밀도가

  • PDF

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

Blotto 게임을 풀기위한 새로운 근사해법 절차 (New Fictitious Play Procedure For Solving Blotto Games)

  • 이재영;이문걸
    • 한국국방경영분석학회지
    • /
    • 제31권1호
    • /
    • pp.107-121
    • /
    • 2005
  • In this study, a new fictitious play (FP) procedure is presented to solve two-person zero-sum (TPZS) Blotto games. The FP solution procedure solves TPZS games by assuming that the two players take turns selecting optimal responses to the opponent's strategy observed so far. It is known that FP converges to an optimal solution, and it may be the only realistic approach to solve large games. The algorithm uses dynamic programming (DP) to solve FP subproblems. Efficiency is obtained by limiting the growth of the DP state space. Blotto games are frequently used to solve simple missile defense problems. While it may be unlikely that the models presented in this paper can be used directly to solve realistic offense and defense problems, it is hoped that they will provide insight into the basic structure of optimal and near-optimal solutions to these important, large games, and provide a foundation for solution of more realistic, and more complex, problem

교통사고 데이터의 패턴 분석과 Hybrid Model을 이용한 피해자 상해 심각도 예측 (Pattern Analysis of Traffic Accident data and Prediction of Victim Injury Severity Using Hybrid Model)

  • 주영지;홍택은;신주현
    • 스마트미디어저널
    • /
    • 제5권4호
    • /
    • pp.75-82
    • /
    • 2016
  • 우리나라의 경제 성장과 도로 환경의 변화를 통해 국내 자동차 시장이 성장하였으나, 이로 인해 교통사고율 또한 증가하였고, 인명 피해가 심각한 수준이다. 이에 따라, 정부에서는 교통사고 데이터를 개방하고 문제를 해결하기 위한 정책을 수립 및 추진 중이다. 본 논문에서는 교통사고 데이터를 이용하여 클래스의 불균형을 해소하고, Hybrid Model 구축을 통한 교통사고 예측을 위해 원본 교통사고 데이터와 Sampling을 수행한 데이터를 학습 데이터로 사용한다. 두 학습데이터에 연관규칙 학습기법인 FP-Growth 알고리즘을 이용하여 교통사고 상해 심각도와 연관된 패턴을 학습한다. 두 학습 데이터의 연관 패턴을 분석을 통해 같은 연관된 패턴을 추출하고 의사결정트리와 다항 로지스틱 회귀분석기법에 연관된 속성에 가중치를 부여하여 융합형 Hybrid Model을 구축하고 교통사고 피해자 상해 심각도를 예측하는 방법에 대해 제안한다.

민감한 빈발 항목집합 숨기기 위한 확장 빈발 패턴 트리 (An Extended Frequent Pattern Tree for Hiding Sensitive Frequent Itemsets)

  • 이단영;안형근;고재진
    • 정보처리학회논문지D
    • /
    • 제18D권3호
    • /
    • pp.169-178
    • /
    • 2011
  • 최근 기업 간 또는 기관 사이의 데이터 공유는 업무 협력을 위해서 필요한 사안이 되고 있다. 이 과정에서 기업이 데이터베이스를 계열회사에 공개했을 때 민감한 정보가 유출되는 문제점이 발행할 수도 있다. 이런 문제를 해결하기 위해서 민감한 정보를 데이터베이스로부터 숨기는 일이 필요하게 되었다. 민감한 정보를 숨기는 이전 연구들은 결과 데이터베이스의 품질을 유지하기 위해 다른 휴리스틱 알고리즘을 적용했다. 그러나 민감한 정보를 숨기는 과정에서 변경되는 항목집합에 대한 영향을 평가하거나 숨겨지는 항목을 최소화하는 연구들은 미흡하였다. 본 논문에서는 민감한 빈발 항목집합을 숨기기 위하여 FP-Tree(Frequent Pattern Tree)기반의 확장 빈발 패턴트리(Extended Frequent Pattern Tree, eFP-Tree)를 제안한다. eFP-Tree의 노드 구성은 기존과는 다르게 빈발 항목집합 생성단계에서 트랜잭션 정보와 민감 정보, 경계 정보를 모두 구성하며, 숨기는 과정에서 비민감한 빈발 항목집합의 영향을 최소화하기 위하여 경계를 사용하였다. 본 논문의 예시 트랜잭션 데이터베이스에 eFP-Tree를 적용한 결과, 손실 항목을 평균 10%이하로 최소화하여 기존 방법들에 비해 효과적임을 증명하였고, 데이터베이스의 품질을 최적으로 유지할 수가 있었다.

XML을 이용한 장외파생상품 전자거래시스템 구축방안에 관한 연구 (A Study on Building Electronic Trading System for OTC Derivatives Market Using XML)

  • 임병하
    • 통상정보연구
    • /
    • 제6권3호
    • /
    • pp.101-119
    • /
    • 2004
  • Since the early 1980's there has been explosive growth in the trading of financial derivatives, particularly in the OTC(over-the-counter) derivatives market. While the market has exploded in term; of growth, much of this activity is still conducted over the phone or fax. Currently, over 2,083 trillion Korean Wons are spent during 2003 by the OTC derivatives industry. XML provides an excellent framework for representing these highly structured products. FpML is the emerging XML-based tool for enabling e-Business in the OTC derivatives market. This paper discusses the application of FpML in building electronic platform designed to promote efficiencies for this market and propose the framework for STP(Straight Transaction Processing) system for OTC derivatives processing which can solve the problems with manual operations.

  • PDF