• 제목/요약/키워드: Association Rule Algorithm

검색결과 138건 처리시간 0.021초

빅데이터 플랫폼을 위한 SON알고리즘 기반의 효과적인 연관 룰 마이닝 (Efficient Association Rule Mining based SON Algorithm for a Bigdata Platform)

  • 뉘엔양쯔엉;뉘엔반퀴엣;뉘엔신응억;김경백
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권8호
    • /
    • pp.1593-1601
    • /
    • 2017
  • 빅데이터 플랫폼에서, 연관 룰 마이닝 응용프로그램은 여러 가치를 창출할 수 있다. 예를 들어, 농업 빅데이터 플랫폼에서 농가 소득을 높일 수 있는 농작물들을 농업인들에게 추천할 수 있다. 이 연관 룰 마이닝의 주요 절차는 빈발 아이템셋 마이닝으로, 이는 동시에 나타나는 아이템의 셋을 찾는 작업이다. Apriori를 비롯한 이전 연구에서는 대규모의 가능한 아이템 셋에 의한 메모리 오버로드의 이유로 만족할 만한 성능을 보일 수 없었다. 이를 개선하고자, 아이템 셋을 작은 크기로 분할하여 순차적으로 계산하도록 하는 SON 알고리즘이 제안되었다. 하지만, 단일 머신에서 SON 알고리즘을 돌릴 경우 많은 시간이 소요된다. 이 논문에서는 하둡기반의 빅데이터 플랫폼에서 SON 알고리즘 병렬처리 방식을 이용한 연관룰 탐색 기법을 소개한다. 연관 룰 마이닝을 위한 전처리, SON 알고리즘 기반 빈발 아이템셋 마이닝, 그리고 연관룰 검출 절차를 Hadoop기반의 빅데이터 플랫폼에 구현하였다. 실제 데이터를 활용한 실험을 통해 제안된 연관 룰 마이닝 기법은 Brute Force 기법의 성능을 압도하는 것을 확인하였다.

Enhancing Association Rule Mining with a Profit Based Approach

  • Li Ming-Lai;Kim Heung-Num;Jung Jason J.;Jo Geun-Sik
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (1)
    • /
    • pp.973-975
    • /
    • 2005
  • With the continuous growth of e-commerce there is a huge amount of products information available online. Shop managers expect to apply information techniques to increase profit and perfect service. Hence many e-commerce systems use association rule mining to further refine their management. However previous association rule algorithms have two limitations. Firstly, they only use the number to weight item's essentiality and ignore essentiality of item profit. Secondly, they did not consider the relationship between number and profit of item when they do mining. We address a novel algorithm, profit-based association rule algorithm that uses profit-based technique to generate 1-itemsets and the multiple minimum supports mining technique to generate N-items large itemsets.

  • PDF

Industrial Waste Database Analysis Using Data Mining Techniques

  • Cho, Kwang-Hyun;Park, Hee-Chang
    • Journal of the Korean Data and Information Science Society
    • /
    • 제17권2호
    • /
    • pp.455-465
    • /
    • 2006
  • Data mining is the method to find useful information for large amounts of data in database. It is used to find hidden knowledge by massive data, unexpectedly pattern, and relation to new rule. The methods of data mining are decision tree, association rules, clustering, neural network and so on. We analyze industrial waste database using data mining technique. We use k-means algorithm for clustering and C5.0 algorithm for decision tree and Apriori algorithm for association rule. We can use these outputs for environmental preservation and environmental improvement.

  • PDF

Industrial Waste Database Analysis Using Data Mining

  • 조광현;박희창
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 한국데이터정보과학회 2006년도 PROCEEDINGS OF JOINT CONFERENCEOF KDISS AND KDAS
    • /
    • pp.241-251
    • /
    • 2006
  • Data mining is the method to find useful information for large amounts of data in database It is used to find hidden knowledge by massive data, unexpectedly pattern, relation to new rule. The methods of data mining are decision tree, association rules, clustering, neural network and so on. We analyze industrial waste database using data mining technique. We use k-means algorithm for clustering and C5.0 algorithm for decision tree and Apriori algorithm for association rule. We can use these analysis outputs for environmental preservation and environmental improvement.

  • PDF

Analysis of Traffic Accident using Association Rule Model

  • Ihm, Sun-Young;Park, Young-Ho
    • Journal of Multimedia Information System
    • /
    • 제5권2호
    • /
    • pp.111-114
    • /
    • 2018
  • Traffic accident analysis is important to reduce the occurrence of the accidents. In this paper, we analyze the traffic accident with Apriori algorithm to find out an association rule of traffic accident in Korea. We first design the traffic accident analysis model, and then collect the traffic accidents data. We preprocessed the collected data and derived some new variables and attributes for analyzing. Next, we analyze based on statistical method and Apriori algorithm. The result shows that many large-scale accident has occurred by vans in daytime. Medium-scale accident has occurred more in day than nighttime, and by cars more than vans. Small-scale accident has occurred more in night time than day time, however, the numbers were similar. Also, car-human accident is more occurred than car-car accident in small-scale accident.

관세 정형 빅데이터를 활용한 우범공급망 거래패턴 선별 (Transaction Pattern Discrimination of Malicious Supply Chain using Tariff-Structured Big Data)

  • 김성찬;송사광;조민희;신수현
    • 한국콘텐츠학회논문지
    • /
    • 제21권2호
    • /
    • pp.121-129
    • /
    • 2021
  • 본 연구에서는 데이터마이닝(Data Mining) 기법 중 하나인 연관관계분석(Association Rule Mining)을 적용하여 위험화물 선별모델을 구축함으로써 관세위험을 최소화하고자 한다. 이를 위해 관세청 수입신고서 빅데이터를 활용하여 연관관계분석 알고리즘인 어프라이어리 알고리즘(Apriori Algorithm)을 적용하고 공급망 간의 위험정도를 계산한다. 대규모의 수입신고 데이터로부터 해외공급자와 수입업체 간의 세율관련(과세가격, 품목, 중수량 등), 원산지표시 위반 등에 관련한 적발결과 관한 규칙셋(Rule Set)과 이 규칙들의 신뢰도(Confidence)을 확보하여 우범공급망 간의 거래패턴을 예측할 수 있는 선별모델을 구축한다. 총 2년 6개월 치의 수입신고 데이터를 활용하여 5-겹 교차검증(5-fold cross validation)을 수행한 결과 16.6%의 Precision과 33.8%의 Recall을 보였다. 이는 빈도기반 방법보다 Precision 기준 약 3.4배 Recall 기준 약 1.5배 높은 결과이다. 이로써 논문에서 제안하고 있는 방법이 관세위험을 줄일 수 있는 효과적인 방법임을 확인하였다.

추천시스템을 이용한 이메일 효율성 제고에 관한 연구 (A study on email efficiency on recommendation system)

  • 김연형;이석원
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권6호
    • /
    • pp.1129-1143
    • /
    • 2009
  • 인터넷 쇼핑몰은 그 특성상 직접 상품을 살펴보기 힘들고 판매자와의 상호작용이 어렵다. 그래서 소비자들은 인터넷상품 구매 시 의사결정에 확신이 부족하거나 절차를 간소화하기 위하여 상품 평이나 추천을 고려한다. 추천의 정교화 및 성과를 높이기 위하여 수 많은 연구가 진행되었으나, 이러한 연구들은 목적을 선정하지 않고 상품간, 사용자간, 협업적 연관성을 바탕으로 진행되어 비슷한 유형을 나열하는 것에 그치고 있다. 그러므로 목적성을 가지는 기업의 캠페인에 바로 적용하기에는 어려움이 존재하였고, 부가적으로 정보를 가공하여 로지스틱회귀모형 등 모형 작업을 실시하는 것이 일반적이었다. 본 논문에서 제안하는 목적성을 고려한 추천은 개인마다 점수를 부여하여 개인화에 따른 추천이 가능토록 하였으며, S주식회사 쇼핑몰의 이메일 캠페인에 적용하여 개봉율, 클릭율, 구매율에 대하여 그 우수성을 증명하였다.

  • PDF

유전자 알고리즘을 이용한 주식투자 수익률 향상에 관한 연구 (A Study to Improve the Return of Stock Investment Using Genetic Algorithm)

  • 조희연;김영민
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제12권2호
    • /
    • pp.1-20
    • /
    • 2003
  • This paper deals with the application of the genetic algorithm to the technical trading rule of the stock market. MACD(Moving Average Convergence & Divergence) and the Stochastic techniques are widely used technical trading rules in the financial markets. But, it is necessary to determine the parameters of these trading rules in order to use the trading rules. We use the genetic algorithm to obtain the appropriate values of the parameters. We use the daily KOSPI data of eight years during January 1995 and October 2002 as the experimental data. We divide the total experimental period into learning period and testing period. The genetic algorithm determines the values of parameters for the trading rules during the teaming period and we test the performance of the algorithm during the testing period with the determined parameters. Also, we compare the return of the genetic algorithm with the returns of buy-hold strategy and risk-free asset. From the experiment, we can see that the genetic algorithm outperforms the other strategies. Thus, we can conclude that genetic algorithm can be used successfully to the technical trading rule.

  • PDF

Association Rule Mining Algorithm and Analysis of Missing Values

  • Lee, Jae-Wan;Bobby D. Gerardo;Kim, Gui-Tae;Jeong, Jin-Seob
    • Journal of information and communication convergence engineering
    • /
    • 제1권3호
    • /
    • pp.150-156
    • /
    • 2003
  • This paper explored the use of an algorithm for the data mining and method in handling missing data which had generated enhanced association patterns observed using the data illustrated here. The evaluations showed that more association patterns are generated in the second analysis which suggests more meaningful rules than in the first situation. It showed that the model offer more precise and important association rules that is more valuable when applied for business decision making. With the discovery of accurate association rules or business patterns, strategies could be efficiently planned out and implemented to improve marketing schemes. This investigation gives rise to a number of interesting issues that could be explored further like the effect of outliers and missing data for detecting fraud and devious database entries.

트랜잭션 연결 구조를 이용한 빈발 Closed 항목집합 마이닝 알고리즘 (An Efficient Algorithm for Mining Frequent Closed Itemsets Using Transaction Link Structure)

  • 한경록;김재련
    • 대한산업공학회지
    • /
    • 제32권3호
    • /
    • pp.242-252
    • /
    • 2006
  • Data mining is the exploration and analysis of huge amounts of data to discover meaningful patterns. One of the most important data mining problems is association rule mining. Recent studies of mining association rules have proposed a closure mechanism. It is no longer necessary to mine the set of all of the frequent itemsets and their association rules. Rather, it is sufficient to mine the frequent closed itemsets and their corresponding rules. In the past, a number of algorithms for mining frequent closed itemsets have been based on items. In this paper, we use the transaction itself for mining frequent closed itemsets. An efficient algorithm is proposed that is based on a link structure between transactions. Our experimental results show that our algorithm is faster than previously proposed methods. Furthermore, our approach is significantly more efficient for dense databases.