• Title/Summary/Keyword: 실시간 데이터 마이닝

Search Result 145, Processing Time 0.043 seconds

Real-time Data Mining application Model In Electronic Commerce (전자상거래 상에서의 실시간 데이터 마이닝 활용 모델)

  • Kim, Ko-Eun;Ok, Jee-Woong;Kim, Ung-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10c
    • /
    • pp.155-158
    • /
    • 2007
  • 현재 전자상거래는 우리의 생활과 밀접히 연관되어 있다. 최근 인터넷을 기반으로 전자조달, 수출입 브로커 등과 같은 유형의 B2B 전자상거래가 활발히 이루어지고 있으며, 소비자를 대상으로 하는 전자상거래 또한 점차 확산되는 시장을 형성하고 있다. 국제적으로도 전자상거래 시장 규모가 급속도로 증가할 것이라는 전망은 자명한 사실이다. 전자상거래에 대한 의존도가 높아지면서 관리해야 하는 데이터의 양 또한 급속도로 증가하고 있다. 본 논문에서는 실시간으로 유입되는 데이터를 효율적으로 활용하기 위챈 실시간 데이터 마이닝 활용 모델을 제안한다. 이 실시간 데이터 마이닝 모델은 지속적으로 유입되는 데이터의 규칙화를 통해 저장 공간의 효율성을 극대화하고 중요도 분석을 통한 총체적인 접근 방법을 시도함으로써 전자상거래 상에서 유용하게 쓰일 수 있는 활용 모델이다. 이 실시간 데이터 마이닝 모델의 바탕은 데이터 마이닝의 기법인 SEMMA를 따르며, 그 특징에 따라 규칙 추출과 의사 결정 나무 기법을 이용하여 전자상거래 상에서 유용하게 사용될 수 있는 모델을 제시하고자 한다.

  • PDF

Efficient real time intrusion detection using a rule set (규칙 Set 을 이용한 효율적인 실시간 침입탐지)

  • Choo, Hye-Yeon;Ok, Jee-Woong;Kim, Ung-Mo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.247-249
    • /
    • 2007
  • 데이터 마이닝은 데이터 속에 숨겨져 있는 의미 있는 패턴을 찾아내는 것이다. 이러한 패턴들을 찾아내는 것은 데이터 마이닝에서 중요한 부분을 차지한다. 그러나 기존의 데이터 마이닝 방법들에 사용되는 데이터는 시간의 흐름에 데이터가 변하지 않는다는 특징을 가지고 있다. 시간의 흐름에 따라 변화하는 데이터의 특성을 고려해볼 때 변하지 않는 데이터에서 패턴을 찾아내는 것은 의미가 없는 일이다. 따라서 실시간으로 변하는 데이터의 특성을 고려하고 더불어 적합한 실시간 침입 탐지 방법이 필요하다. 따라서, 본 연구에서는 시간의 흐름에 따라 변하는 데이터에서 규칙을 발견하여 규칙 Set 을 생성하는 실시간 데이터 마이닝 기법을 이용하여 시간의 흐름에 따라 변하는 데이터에 대한 침입을 감시하기 위해 실시간 침입 탐지 시스템에 적용함으로써 보다 효율적으로 침입을 탐지하기 위한 방법을 제시한다.

  • PDF

A Method of Realtime Mining for Summarization and Discovery of a Casual Relationship based on Multidimensional Stream Data (다차원 스트림 데이터 요약 및 인과 관계 탐사를 위한 실시간 데이터 마이닝 기법)

  • Song, Myung-Jin;Kim, Dae-In;Hwang, Bu-Hyun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.152-155
    • /
    • 2010
  • 실시간 데이터 마이닝 기법은 다양한 종류의 센서에서 수집된 다차원 스트림 데이터들 사이에 존재하는 의미있는 정보를 탐사할 수 있다. 전통적인 데이터베이스 시스템에서의 마이닝 기법은 정적인 데이터베이스에 기초하므로 실시간으로 수집되는 스트림 데이터는 시간 속성을 갖는 인터벌 이벤트로 요약되어야 한다. 이 논문은 다차원 스트림 데이터 환경에서 스트림 데이터를 요약하고 이들 사이에 존재하는 인과 관계를 탐사하는 실시간 데이터 마이닝 기법을 제안한다. 제안 기법은 센서에서 수집되는 데이터의 대부분이 객체의 정상적인 상태 데이터임을 고려하여 의미있는 이상 이벤트를 선별하여 전송한다. 그리고 스트림 데이터의 연속성을 고려하며 스트림 데이터를 세 가지 상태의 이벤트로 요약하고 인과 관계 규칙을 탐사한다. 인과 관계 규칙은 시간에 따라 이벤트 발생에 영향력을 미치는 원인 이벤트를 발견함으로써 이벤트의 발생을 미리 예측할 수 있다.

  • PDF

A Study of Data Mining Techniques for CEP (CEP를 위한 데이터 마이닝 기법 연구)

  • Kang, Donghyun;Hwang, Buhyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.1116-1117
    • /
    • 2012
  • 최근에 이슈가 되고 있는 빅 데이터 처리 방법중의 하나로 CEP가 있다. 그러나 CEP는 사전에 정의된 질의에 해당되는 이벤트만을 선별하여 패턴 매칭 등의 기능을 수행하므로, 새로이 발견되는 이벤트를 찾는데 제약이 있다. 또한 실시간으로 생산되는 빅 데이터에 기초한 다양한 패턴 탐사에 한계를 노출하고 있다. 이 논문에서는, CEP 환경에서 빅 데이터 사이에 존재하는 다양한 이벤트와 패턴 탐사를 위한 실시간 데이터 마이닝 기법을 제안한다. 제안 방법은 CEP 엔진을 위한 고급의 패턴 매칭을 개발하고, CEP를 위한 실시간 데이터 마이닝 기법을 개발한다. 마지막으로, 기존의 CQL을 확장하여 개발한다. 이라한 방법을 통하여 기존의 CEP의 기능적인 한계를 극복할 수 있다.

Data mining analysis for short-term water demand forecasting (물 수요예측을 위한 데이터 마이닝 기법 분석)

  • Shin, Gang-Wook;Hong, Sung-Taek
    • Proceedings of the KIEE Conference
    • /
    • 2009.07a
    • /
    • pp.1771_1772
    • /
    • 2009
  • 본 연구에서는 안정적인 물 공급과 에너지의 효율적 사용을 위한 단기 물 수요예측에 대하여 데이터 마이닝 기법의 적용성을 검토하고자 한다. 물 공급이 이루어진 요일과 특이일에 대한 시계열 분석을 통한 단기 물 수요예측과 데이터 마이닝 기법을 적용한 결과를 상호 비교하여 데이터 마이닝 기법의 적용성을 제시하고자 한다. 이를 통하여 단기 물 수요예측알고리즘의 실용화 가능성을 높일 뿐만 아니라 실시간 예측을 위한 기초 데이터 마이닝 체계를 구축하고자 한다.

  • PDF

Heterogeneous Lifelog Mining Model in Health Big-data Platform (헬스 빅데이터 플랫폼에서 이기종 라이프로그 마이닝 모델)

  • Kang, JI-Soo;Chung, Kyungyong
    • Journal of the Korea Convergence Society
    • /
    • v.9 no.10
    • /
    • pp.75-80
    • /
    • 2018
  • In this paper, we propose heterogeneous lifelog mining model in health big-data platform. It is an ontology-based mining model for collecting user's lifelog in real-time and providing healthcare services. The proposed method distributes heterogeneous lifelog data and processes it in real time in a cloud computing environment. The knowledge base is reconstructed by an upper ontology method suitable for the environment constructed based on the heterogeneous ontology. The restructured knowledge base generates inference rules using Jena 4.0 inference engines, and provides real-time healthcare services by rule-based inference methods. Lifelog mining constructs an analysis of hidden relationships and a predictive model for time-series bio-signal. This enables real-time healthcare services that realize preventive health services to detect changes in the users' bio-signal by exploring negative or positive correlations that are not included in the relationships or inference rules. The performance evaluation shows that the proposed heterogeneous lifelog mining model method is superior to other models with an accuracy of 0.734, a precision of 0.752.

Finding Frequent Itemsets based on Open Data Mining in Data Streams (데이터 스트림에서 개방 데이터 마이닝 기반의 빈발항목 탐색)

  • Chang, Joong-Hyuk;Lee, Won-Suk
    • The KIPS Transactions:PartD
    • /
    • v.10D no.3
    • /
    • pp.447-458
    • /
    • 2003
  • The basic assumption of conventional data mining methodology is that the data set of a knowledge discovery process should be fixed and available before the process can proceed. Consequently, this assumption is valid only when the static knowledge embedded in a specific data set is the target of data mining. In addition, a conventional data mining method requires considerable computing time to produce the result of mining from a large data set. Due to these reasons, it is almost impossible to apply the mining method to a realtime analysis task in a data stream where a new transaction is continuously generated and the up-to-dated result of data mining including the newly generated transaction is needed as quickly as possible. In this paper, a new mining concept, open data mining in a data stream, is proposed for this purpose. In open data mining, whenever each transaction is newly generated, the updated mining result of whole transactions including the newly generated transactions is obtained instantly. In order to implement this mechanism efficiently, it is necessary to incorporate the delayed-insertion of newly identified information in recent transactions as well as the pruning of insignificant information in the mining result of past transactions. The proposed algorithm is analyzed through a series of experiments in order to identify the various characteristics of the proposed algorithm.

Dummy Data Insert Scheme for Privacy Preserving Frequent Itemset Mining in Data Stream (데이터 스트림 빈발항목 마이닝의 프라이버시 보호를 위한 더미 데이터 삽입 기법)

  • Jung, Jay Yeol;Kim, Kee Sung;Jeong, Ik Rae
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.23 no.3
    • /
    • pp.383-393
    • /
    • 2013
  • Data stream mining is a technique to obtain the useful information by analyzing the data generated in real time. In data stream mining technology, frequent itemset mining is a method to find the frequent itemset while data is transmitting, and these itemsets are used for the purpose of pattern analyze and marketing in various fields. Existing techniques of finding frequent itemset mining are having problems when a malicious attacker sniffing the data, it reveals data provider's real-time information. These problems can be solved by using a method of inserting dummy data. By using this method, a attacker cannot distinguish the original data from the transmitting data. In this paper, we propose a method for privacy preserving frequent itemset mining by using the technique of inserting dummy data. In addition, the proposed method is effective in terms of calculation because it does not require encryption technology or other mathematical operations.

Real-Time Ransomware Infection Detection System Based on Social Big Data Mining (소셜 빅데이터 마이닝 기반 실시간 랜섬웨어 전파 감지 시스템)

  • Kim, Mihui;Yun, Junhyeok
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.7 no.10
    • /
    • pp.251-258
    • /
    • 2018
  • Ransomware, a malicious software that requires a ransom by encrypting a file, is becoming more threatening with its rapid propagation and intelligence. Rapid detection and risk analysis are required, but real-time analysis and reporting are lacking. In this paper, we propose a ransomware infection detection system using social big data mining technology to enable real-time analysis. The system analyzes the twitter stream in real time and crawls tweets with keywords related to ransomware. It also extracts keywords related to ransomware by crawling the news server through the news feed parser and extracts news or statistical data on the servers of the security company or search engine. The collected data is analyzed by data mining algorithms. By comparing the number of related tweets, google trends (statistical information), and articles related wannacry and locky ransomware infection spreading in 2017, we show that our system has the possibility of ransomware infection detection using tweets. Moreover, the performance of proposed system is shown through entropy and chi-square analysis.

A Study on Procurement Audit Integration Real Time Monitoring System Using Process Mining Under Big Data Environment (빅 데이터 환경하에서 프로세스 마이닝을 이용한 구매 감사 통합 실시간 모니터링 시스템에 대한 연구)

  • Yoo, Young-Seok;Park, Han-Gyu;Back, Seung-Hoon;Hong, Sung-Chan
    • Journal of Internet Computing and Services
    • /
    • v.18 no.3
    • /
    • pp.71-83
    • /
    • 2017
  • In recent years, by utilizing the greatest strengths of process mining, the various research activities have been actively progressed to use auditing work of business organization. On the other hand, there is insufficient research on systematic and efficient analysis of massive data generated under big data environment using process mining, and proactive monitoring of risk management from audit side, which is one of important management activities of corporate organization. In this study, we intend to realize Hadoop-based internal audit integrated real-time monitoring system in order to detect the abnormal symptoms in prevent accidents in advance. Through the integrated real-time monitoring system for purchasing audit, we intend to realize strengthen the delivery management of purchasing materials ordered, reduce cost of purchase, manage competitive companies, prevent fraud, comply with regulations, and adhere to internal control accounting system. As a result, we can provide information that can be immediately executed due to enhanced purchase audit integrated real-time monitoring by analyzing data efficiently using process mining via Hadoop-based systems. From an integrated viewpoint, it is possible to manage the business status, by processing a large amount of work at a high speed faster than the continuous monitoring, the effectiveness of the quality improvement of the purchase audit and the innovation of the purchase process appears.