• Title/Summary/Keyword: Event Streams

검색결과 66건 처리시간 0.024초

An Efficient Complex Event Processing Algorithm based on Multipattern Sharing for Massive Manufacturing Event Streams

  • Wang, Jianhua;Lan, Yubin;Lu, Shilei;Cheng, Lianglun
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권3호
    • /
    • pp.1385-1402
    • /
    • 2019
  • Quickly picking up some valuable information from massive manufacturing event stream usually faces with the problem of long detection time, high memory consumption and low detection efficiency due to its stream characteristics of large volume, high velocity, many variety and small value. Aiming to solve the problem above for the current complex event processing methods because of not sharing detection during the detecting process for massive manufacturing event streams, an efficient complex event processing method based on multipattern sharing is presented in this paper. The achievement of this paper lies that a multipattern sharing technology is successfully used to realize the quick detection of complex event for massive manufacturing event streams. Specially, in our scheme, we firstly use pattern sharing technology to merge all the same prefix, suffix, or subpattern that existed in single pattern complex event detection models into a multiple pattern complex event detection model, then we use the new detection model to realize the quick detection for complex events from massive manufacturing event streams, as a result, our scheme can effectively solve the problems above by reducing lots of redundant building, storing, searching and calculating operations with pattern sharing technology. At the end of this paper, we use some simulation experiments to prove that our proposed multiple pattern processing scheme outperforms some general processing methods in current as a whole.

An Efficient Complex Event Processing Algorithm based on INFA-HTS for Out-of-order RFID Event Streams

  • Wang, Jianhua;Wang, Tao;Cheng, Lianglun;Lu, Shilei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권9호
    • /
    • pp.4307-4325
    • /
    • 2016
  • With the aim of solving the problems of long processing times, high memory consumption and low event throughput in the current processing approaches in out-of-order RFID event streams, an efficient complex event processing method based on INFA-HTS (Improved Nondeterministic Finite Automaton-Hash Table Structure) is presented in this paper. The contribution of this paper lies in the fact that we use INFA and HTS to successfully realize the detection of complex events for out-of-order RFID event streams. Specifically, in our scheme, to detect the disorder of out-of-order event streams, we expand the traditional NFA model into a new INFA model to capture the related RFID primitive events from the out-of-order event stream. To high-efficiently manage the large intermediate capturing results, we use the HTS to store and process them. As a result, these problems in the existing methods can be effectively solved by our scheme. The simulation results of our experiments show that our proposed method in this paper outperforms some of the current general processing approaches used to process out-of-order RFID event streams.

Flux of Dissolved Organic and Inorganic Constituents in Forested Headwater Streams

  • Choi, Byoung-Koo;Mangum, Clay N.;Hatten, Jeffery A.;Dewey, Janet C.;Ouyang, Ying
    • 한국환경과학회지
    • /
    • 제21권10호
    • /
    • pp.1171-1179
    • /
    • 2012
  • Headwaters initiate material export to downstream environments. A nested headwater study examined the flux of dissolved constituents and water from a perennial stream and four ephemeral/intermittent streams in the Upper Gulf Coastal Plain of Mississippi. Water was collected during storm and baseflow conditions. Multiple linear regression was used to model constituent concentration and calculate flux. Event was the major source of water discharged from the ephemeral and intermittent streams however, baseflow was the major source for water discharged by the perennial stream during events. The perennial stream had an area weighted average yields of 10.1, 0.01, 1.03, 0.65 kg/ha/yr of DON (dissolved organic nitrogen), $NO_3^-$-N, $NH_4^+$-N and $PO_4^{-3}$, respectively while large variabilities existed between the ephemeral and intermittent streams. These findings highlight the importance of headwaters in protecting the low order drainage basins as a key to water quality within perennial streams.

Development of an Event Stream Processing System for the Vehicle Telematics Environment

  • Kim, Jong-Ik;Kwon, Oh-Cheon;Kim, Hyun-Suk
    • ETRI Journal
    • /
    • 제31권4호
    • /
    • pp.463-465
    • /
    • 2009
  • In this letter, we present an event stream processing system that can evaluate a pattern query for a data sequence with predicates. We propose a pattern query language and develop a pattern query processing system. In our system, we propose novel techniques for run-time aggregation and negation processing and apply our system to stream data generated from vehicles to monitor unusual driving patterns.

컨텍스트 기반에서의 멀티미디어 스트림의 사건처리를 위한 Stream Reactor연구 (A Study on Stream Reactor for the event processing of multimedia streams in context-based)

  • 박용희;강태성;임영환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
    • /
    • pp.1166-1171
    • /
    • 2000
  • 기존의 멀티미디어 연구의 실현에 있어 가장 큰 문제라 할 수 있던 성능의 문제가 하드웨어의 급속한 발달로 해결되어 감에 따라 멀티미디어 및 제반 관련기술도 함께 발전되었으며 이에 기반한 multimedia stream에서의 event를 검출하기 위한 다양한 연구들이 진행되어 왔다. 그러나 지금까지의 연구는 주로 전송 및 저장, 검색에 집중되어 연구되어 왔으며 영상인식 등의 Vision관련 연구에서는 멀티미디어 스트리밍 기술과의 연동을 고려하지 않은 연구를 수행함에 따라 검출 가능한 event가 있다고 하더라도 응용영역에 종속적인 인테페이스만을 고려함에 따라 사용자가 이를 기술(記述, description)하거나, 사용자에게 검출 가능한 event를 제시하기 위해 일반화된 방법이 제시되어 있지 않았다. 본 연구에서는 사용자가 검출을 원하는 event를 기술하는 방법과, 시스템에서 검출 가능한 event를 제시하기 위한 방법을 제안하고, 제시되는 방법이 응용영역에 독립적이기 위해 요구되는 사항들과 객체 단위인 이벤트/행위와 처리기 사이의 인터페이스에 관하여 정의한 후 기본적인 동작방식을 제안한다.

  • PDF

연동형 데이터 방송 애플리케이션의 구조 (The Structure of Synchronized Data Broadcasting Applications)

  • 정문열;백두원
    • 방송공학회논문지
    • /
    • 제9권1호
    • /
    • pp.74-82
    • /
    • 2004
  • 디지털 방송에서 애플리케이션은 셋톱박스(TV 수신기)에서 수행되는 응용프로그램을 말하며, 연동형 애플리케이션은 비디오내의 특정 시각에 정해진 일을 수행하는 애플리케이션이다. 본 논문에서는 연동형 애플리케이션을 구현하는데 필요한 개념, 표준 및 기술을 분석하고, 이들을 통합하여 연동형 애플리케이션을 구현하는 방법을 제안한다. 본 논문은 특히 유럽식 데이터 방송 표준인 DVB-MHP를 염두에 두고 기술한다. DVB-MHP 규약에서는 비디오와 애플리케이션을 동기화 시키는 방법으로 스케줄드 스트림 이벤트 방법을 권장하고 있다. 이 방법은 방송중간에 스케줄드 스트림 이벤트를 전송하고 애플리케이션이 스트림 이벤트를 수신, 스트림 이벤트에 명시된 시각에 스트림 이벤트를 처리하는 방법이다. 현재 상용으로 사용되고 있는 전송 스트림 생성기, 즉, 다중화기는 스트림 이벤트를 사용할 수 있도록 전송 스트림을 생성해 주지 않기 때문에 본 논문에서는 본 연구팀이 개발한 실험실용 스트림 생성기를 이용하여 필요한 전송 스트림을 생성하였다. 그리고 실제로 하나의 연동형 애플리케이션을 구현하여 테스트했다. 그 결과 연동형 애플리케이션이 스트림 이벤트를 성공적으로 처리함을 확인하였다. 구현된 애플리케이션에서 스트림 이벤트들은 의도한 시점으로부터 240ms 이내에서 비디오와 동기화 되었는데, 이 시간은 비디오와 그래픽 이미지간의 동기화 오차에 대한 허용치이다.

스트림 데이터 처리를 위한 비트맵 인덱스 기반 복합 이벤트 검출 기법에 관한 연구 (A Study on The Complex Event Detection Methods Based on Bitmap Index for Stream data Processing)

  • 박용민;오영환
    • 대한전자공학회논문지TC
    • /
    • 제48권4호
    • /
    • pp.61-68
    • /
    • 2011
  • 이벤트 기반 서비스 기술은 실시간으로 발생하는 이벤트를 감지하고 분석하여 이에 대한 반응으로 서비스가 연동되는 기술로, 실시간 기업 환경 구축이나 유비쿼터스 서비스 환경 구축을 위한 핵심 기반 기술이다. 실시간 기업 환경에서 요구되고 있는 기업 내 업무 프로세스에서 발생하는 다양한 정보를 실시간 모니터링, 분석하여 변화에 대한 신속한 대응을 제공하거나, 유비쿼터스 서비스 환경에서 상황에 맞게 적시에 맞춤형서비스를 제공하기 위해서는 이벤트 기반의 서비스 기술이 요구된다. 최근 이벤트 중심의 비즈니스 프로세스로 복합 이벤트 처리(CEP : Complex Event Processing) 방식이 사용된다. 복합 이벤트 처리 방식은 여러 이벤트 소스로부터 발생한 이벤트를 대상으로 이벤트들의 영향을 분석하여 대응되는 액션을 처리하는 방식으로 가장 핵심이 되는 기술은 어떻게 사용자에게 의미있는 이벤트(복합 이벤트)를 검출하는가이다. 기존의 연구에서는 복합 이벤트를 구성하는 모든 이벤트가 발생하지 않아도 부분적으로 발생하는 이벤트에 대해 계속적으로 연산을 수행하여 많은 연산과 많은 메모리를 소비하는 문제점이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 대용량의 스트림 데이터에서 발생한 모든 이벤트를 처리하지 않고 응용 계층에서 등록한 복합 이벤트를 구성하는 모든 이벤트가 발생하면, 복합 이벤트를 처리하는 이벤트 검출 기법을 제안한다. 제안 하는 기법은 먼저 비트맵 인덱스를 이용하여 이벤트의 발생 유/무를 관리한다. 또한 복합 이벤트 질이의 마지막 이벤트를 트리거 이벤트로 정의하며, 이 트리거 이벤트가 발생하는 시점을 통해 이벤트의 발생을 표시한 비트맵 인덱스에 복합 이벤트를 구성하는 모든 이벤트의 발생 유/무를 검사하여 모든 이벤트가 발생하였다면, 연산을 수행할 수 있도록 제안한다. 제안하는 기법은 실험을 통해 복합 이벤트를 구성하는 이벤트의 검사를 매번 수행하지 않고 모든 이벤트가 발생하였을 때에만 연산을 수행함으로 불필요한 연산을 방지하고, 처리하는 이벤트의 수를 감소시켜 연산의 효율성을 증가 시켰다.

복합 이벤트 스트림 질의 처리 성능 개선을 위한 질의 전처리 도구 (A Query Preprocessing Tool for Performance Improvement in Complex Event Stream Query Processing)

  • 최중현;조은선;이강우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.513-523
    • /
    • 2015
  • 복합 이벤트 스트림 처리 시스템(Complex Event Processing System)은 연속적으로 발생하는 이벤트의 스트림을 효율적으로 처리하기 위한 시스템으로써, IoT 시스템에서 처리되는 센서 데이터 등 최근 생활 속에서 그 필요성이 많이 나타나고 있다. 그러나 아직은 질의 처리의 성능에 대해 개발자의 책임으로 돌리고 있는 부분이 있어 이용에 세심한 주의가 요구되고 있다. 그 중 한 예로, 향상된 성능을 가지는 동일한 의미의 질의를 선정하기 위한 충분할 만큼의 안내는 제공되고 있지 않은 상태이다. 본 논문에서는 이벤트 스트림 처리 시스템의 성능 개선을 위한 질의 전처리 도구를 제안한다. 이 도구는 입력된 질의를 분석하여 성능에 나쁜 영향을 미치는 패턴의 질의로 판정 되면, 성능을 향상시킬 수 있는 대안을 제시해줌으로써 개발자들의 스트림 질의 성능에 대한 부담을 덜어주게 된다. 결과적으로 디버깅, 테스팅, 성능 조정의 어려움을 해소하는 데에 도움을 줄 것으로 기대한다.

Clustering based on Dependence Tree in Massive Data Streams

  • Yun, Hong-Won
    • Journal of information and communication convergence engineering
    • /
    • 제6권2호
    • /
    • pp.182-186
    • /
    • 2008
  • RFID systems generate huge amount of data quickly. The data are associated with the locations and the timestamps and the containment relationships. It is requires to assure efficient queries and updates for product tracking and monitoring. We propose a clustering technique for fast query processing. Our study presents the state charts of temporal event flow and proposes the dependence trees with data association and uses them to cluster the linked events. Our experimental evaluation show the power of proposing clustering technique based on dependence tree.