• Title/Summary/Keyword: 스트림 데이터 마이닝

Search Result 61, Processing Time 0.028 seconds

Concept-Drifting Data Streams classification using Adapted IOLIN System (적응적 IOLIN시스템을 사용한 Concept Drift가 있는 데이터 스트림의 분류)

  • Kim, Jae-Woo;Lee, Ju-Hong;Hong, Jun-Sik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.485-488
    • /
    • 2007
  • 스트림 데이터를 분류하는 문제는 데이터 스트림 마이닝 분야에서 가장 넓게 연구되고 있는 항목이다. 실세계에서의 데이터 스트림을 분류하는데 있어서 본질적인 문제점들이 있다 : 1)많은 양의 데이터가 불규칙적으로 빠르게 입력되는 것과, 2)유동적 컨셉트로 알려진, 데이터의 분류가 시간에 따라서 유동적으로 변하는 문제이다. 본 논문에서는 위와 같은 문제를 해결하기 위해서 적응적 OLIN시스템을 제안한다. 제안된 시스템은 지역적인 유동적 컨셉트뿐만 아니라 전역적인 유동적 컨셉트 문제까지 고려하여, 기존의 시스템보다 향상된 성능을 보였다.

  • PDF

A Method of Frequent Structure Detection Based on Active Sliding Window (능동적 슬라이딩 윈도우 기반 빈발구조 탐색 기법)

  • Hwang, Jeong-Hee
    • Journal of Digital Contents Society
    • /
    • v.13 no.1
    • /
    • pp.21-29
    • /
    • 2012
  • In ubiquitous computing environment, rising large scale data exchange through sensor network with sharply growing the internet, the processing of the continuous stream data is required. Therefore there are some mining researches related to the extracting of frequent structures and the efficient query processing of XML stream data. In this paper, we propose a mining method to extract frequent structures of XML stream data in recent window based on the active window sliding using trigger rule. The proposed method is a basic research to control the stream data flow for data mining and continuous query by trigger rules.

Discovering Temporal Relation Considering the Weight of Events in Multidimensional Stream Data Environment (다차원 스트림 데이터 환경에서 이벤트 가중치를 고려한 시간 관계 탐사)

  • Kim, Jae-In;Kim, Dae-In;Song, Myung-Jin;Han, Dae-Young;Hwang, Bu-Hyun
    • The Journal of the Korea Contents Association
    • /
    • v.10 no.2
    • /
    • pp.99-110
    • /
    • 2010
  • An event means a flow which has a time attribute such as a symptom of patient. Stream data collected by sensors can be summarized as an interval event which has a time interval between the start-time point and the end-time point in multiple stream data environment. Most of temporal mining techniques have considered only the frequent events. However, these approaches may ignore the infrequent event even if it is important. In this paper, we propose a new temporal data mining that can find association rules for the significant temporal relation based on interval events in multidimensional stream data environment. Our method considers the weight of events and stream data on the sensing time point of abnormal events. And we can discover association rules on the significant temporal relation regardless of the occurrence frequency of events. The experimental analysis has shown that our method provide more useful knowledge than other conventional methods.

Sequence Pattern Mining Using Meaning-based Transaction Structure for USN system (USN 환경에서 의미 기반 트랜잭션 구조를 이용한 순차 패턴 탐사 기법)

  • Choi, Pilsun;Kang, Donghyun;Kim, Hwan;Kim, Daein;Hwang, Buhyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.1105-1108
    • /
    • 2012
  • 순차 패턴 탐사 기법은 순서를 갖는 패턴들의 집합 중에 빈발하게 발생하는 패턴을 찾아내는 기법이다. USN 환경에서 발생하는 스트림 데이터는 시간 속성을 갖는 이벤트들의 집합으로 표현할 수 있으며 순차 패턴 탐사 기법을 이용하여 유용한 정보를 탐사할 수 있다. 그러나 스트림 데이터 환경에서는 데이터가 무한하고 연속적으로 발생하기 때문에 모든 데이터를 저장하여 패턴을 탐사하는 기법을 적용하는 데는 문제가 있다. 이 논문에서는 향상된 데이터 처리방식을 사용하여 순차패턴을 탐사하는 스트림 데이터 마이닝 기법에 대하여 제안한다. 제안하는 기법은 의미 단위의 가변적 윈도우를 사용하여 스트림 데이터로부터 트랜잭션을 생성하고 이 트랜잭션들의 집합을 해시와 슬라이딩 윈도우를 사용하여 스트림 데이터의 순차 패턴을 탐사한다. 이를 이용한 제안 기법은 실시간 시스템에 적합하게 데이터 저장 공간 사용의 효율성을 높이고 신속하게 유용한 패턴을 탐사할 수 있다.

A Mining Method for Exploration of Causality on Data Stream System (데이터 스트림 시스템에서 인과관계 탐사를 위한 마이닝 방법)

  • Han, Dae-Young;Kim, Dae-In;Hwang, Bu-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.306-309
    • /
    • 2009
  • 일반적으로 이벤트는 발생 시점이라는 시간 속성을 갖는다. 그리고 고객 단위로 이벤트를 축적한 데이터베이스가 있다면 데이터 마이닝을 통하여 유용한 정보를 탐사할 수 있다. 특히 이벤트 발생의 원인과 결과에 대한 관계 규칙을 찾아낼 수 있다면 과거의 정보를 바탕으로 미래를 예측할 수 있는 예측 판단 정보로 사용할 수 있다. 본 연구에서는 데이터 스트림 시스템에서 시간 관계 규칙을 탐사하고 시간 관계 규칙을 구성하는 이벤트 간의 영향력을 측정하기 위한 SM-EC(data Stream Mining for Exploration of Causality)기법을 제안한다. 실험을 통하여 SM-EC가 제공하는 영향력 정보는 다양한 비상 상황에 대처하는 중요한 척도가 될 수 있음을 확인하였다.

Mining Association Rules in Multidimensional Stream Data (다차원 스트림 데이터의 연관 규칙 탐사 기법)

  • Kim, Dae-In;Park, Joon;Kim, Hong-Ki;Hwang, Bu-Hyun
    • The KIPS Transactions:PartD
    • /
    • v.13D no.6 s.109
    • /
    • pp.765-774
    • /
    • 2006
  • An association rule discovery, a technique to analyze the stored data in databases to discover potential information, has been a popular topic in stream data system. Most of the previous researches are concerned to single stream data. However, this approach may ignore in mining to multidimensional stream data. In this paper, we study the techniques discovering the association rules to multidimensional stream data. And we propose a AR-MS method reflecting the characteristics of stream data since make the summarization information by one data scan and discovering the association rules for significant rare data that appear infrequently in the database but are highly associated with specific event. Also, AR-MS method can discover the maximal frequent item of multidimensional stream data by using the summarization information. Through analysis and experiments, we show that AR-MS method is superior to other previous methods.

A Study of User Identification in Data Preprocessing for Web Usage Mining (웹 이용 마이닝을 위한 데이터 전처리에서 사용자 구분에 관한 연구)

  • 최영환;이상용
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10b
    • /
    • pp.118-120
    • /
    • 2001
  • 웹 이용 마이닝은 거대만 웹 데이터 저장소의 로그들을 이용하여 웹 사용자의 사용 패턴을 분석하는 데이터 마이닝 기술이다. 마이닝 기술을 적용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 웹 로그만으로는 사용자를 완전히 구분할 수 없다. 따라서 정확한 결과를 얻기 위해 사용자와 세션을 구분할 수 있는 모듈을 웹 서버에서 제공하거나, 각각의 페이지에 적당한 실행 필드를 삽입해야 한다. 사용자와 세션을 구분하는 데는 캐시 문제, 방화벽 문제. IP(ISP)문제, 프라이버시 문제, 쿠키 문제 등 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 이 논문은 참조 로그와 에이전트 로그, 그리고 액세스 로그 등 서버측 클릭스트림 데이터만을 이용하여 사용자와 세션을 구분하는 방법을 제안한다.

  • PDF

Customized Digital TV System for Individuals/Communities based on Data Stream Mining (데이터 스트림 마이닝 기법을 적용한 개인/커뮤니티 맞춤형 Digital TV 시스템)

  • Shin, Se-Jung;Lee, Won-Suk
    • The KIPS Transactions:PartD
    • /
    • v.17D no.6
    • /
    • pp.453-462
    • /
    • 2010
  • The switch from analog to digital broadcast television is extended rapidly. The DTV can offer multiple programming choices, interactive capabilities and so on. Moreover, with the spread of Internet, the information exchange between the communities is increasing, too. These facts lead to the new TV service environment which can offer customized TV programs to personal/community users. This paper proposes a 'Customized Digital TV System for Individuals/Communities based on Data Stream Mining' which can analyze user's pattern of TV watching behavior. Due to the characteristics of TV program data stream and EPG(electronic program guide), the data stream mining methods are employed in the proposed system. When a user is watching DTV, the proposed system can control the surrounding circumstances as using the user behavior profiles. Furthermore, the channel recommendation system on the smart phone environment is proposed to utilize the profiles widely.

Ubiquitous Data Mining Using Hybrid Support Vector Machine (변형된 Support Vector Machine을 이용한 유비쿼터스 데이터 마이닝)

  • Jun Sung-Hae
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.15 no.3
    • /
    • pp.312-317
    • /
    • 2005
  • Ubiquitous computing has had an effect to politics, economics, society, culture, education and so forth. For effective management of huge Ubiquitous networks environment, various computers which are connected to networks has to decide automatic optimum with intelligence. Currently in many areas, data mining has been used effectively to construct intelligent systems. We proposed a hybrid support vector machine for Ubiquitous data mining which realized intelligent Ubiquitous computing environment. Many data were collected by sensor networks in Ubiquitous computing environment. There are many noises in these data. The aim of proposed method was to eliminate noises from stream data according to sensor networks. In experiment, we verified the performance of our proposed method by simulation data for Ubiquitous sensor networks.