• 제목/요약/키워드: Stream Processing

검색결과 720건 처리시간 0.029초

DISSECTION TECHNIQUE FOR EFFICIENT JOIN OPERATION ON SEMI-STRUCTURED DOCUMENT STREAM

  • Seo, Dong-Hyeok;Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.11-13
    • /
    • 2007
  • There has been much interest in stream query processing. Various index techniques and advanced join techniques have been proposed to efficiently process data stream queries. Previous proposals support rapid and advanced response to the data stream queries. However, the amount of data stream is increasing and the data stream query processing needs more speedup than before. In this paper, we proposed novel query processing techniques for large number of incoming documents stream. We proposed Dissection Technique for efficient query processing in the data stream environment. We focused on the dissection technique in join query processing. Our technique shows efficient operation performance comparing with the other proposal in the data stream. Proposed technique is applied to the sensor network system and XML database.

  • PDF

적외선 영상해석을 이용한 이중목적탄 자탄계수 계측기법연구 (DPICM subprojectile counting technique using image analysis of infrared camera)

  • 박원우;최주호;유준
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
    • /
    • pp.11-16
    • /
    • 1997
  • This paper describes the grenade counting system developed for DPICM submunition analysis using the infrared video streams, and its some video stream processing technique. The video stream data processing procedure consists of four sequences; Analog infrared video stream recording, video stream capture, video stream pre-processing, and video stream analysis including the grenade counting. Some applications of this algorithms to real bursting test has shown the possibility of automation for submunition counting.

  • PDF

XML 스트림 데이타에 대한 적응력 있는 질의 처리 시스템 (An Adaptive Query Processing System for XML Stream Data)

  • 김영현;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.327-341
    • /
    • 2006
  • 센서 네트워크, 모니터링, SDI (selective dissemination of information) 등과 같이 스트림 데이타를 생성하는 응용의 증가로 스트림 데이타에 대한 질의 처리를 효율적으로 지원하기 위한 연구가 활발히 수행되고 있다. 특히 SDI와 같은 웹 환경의 응용은 XML 스트림에 대한 질의 처리를 필요로 하는데, XML은 웹 환경에서 데이타 교환의 표준이므로 이에 대한 연구는 아주 중요하다. 그러나 현재까지 제시된 XML 스트림 질의 처리 시스템들은 정적인 질의 계획을 사용하기 때문에 동적으로 변하는 스트림 데이타에 대해 적응력 있게 대처하지 못하는 문제가 있다. 반면 관계 데이타 스트림에 대한 질의 처리 시스템들은 질의 연산자 라우팅 기법을 통해 동적인 질의 계획을 사용함으로써 적응력 있는 질의 처리를 지원한다. 본 논문에서는 관계 데이타 모델을 사용하는 시스템의 적응력 있는 질의 처리 모델을 적용하여XML 스트림에 대한 적응력 있는 질의 처리를 수행할 수 있는 시스템을 제안한다. 그리고 기존의 XML을 기반으로 하는 대표적인 시스템인 YFilter와 본 논문이 제안하는 시스템의 성능을 비교, 평가하여 본 논문이 제안하는 시스템의 효율성을 보인다.

Development of an Event Stream Processing System for the Vehicle Telematics Environment

  • Kim, Jong-Ik;Kwon, Oh-Cheon;Kim, Hyun-Suk
    • ETRI Journal
    • /
    • 제31권4호
    • /
    • pp.463-465
    • /
    • 2009
  • In this letter, we present an event stream processing system that can evaluate a pattern query for a data sequence with predicates. We propose a pattern query language and develop a pattern query processing system. In our system, we propose novel techniques for run-time aggregation and negation processing and apply our system to stream data generated from vehicles to monitor unusual driving patterns.

스트림 데이터를 위한 데이터 구동형 질의처리 기법 (A Data-Driven Query Processing Method for Stream Data)

  • 민미경
    • 디지털콘텐츠학회 논문지
    • /
    • 제8권4호
    • /
    • pp.541-546
    • /
    • 2007
  • 많은 양의 연속적인 스트림 데이터를 대상으로 하는 연속적인 질의처리의 경우는 전통적 방식의 요구구동형 질의처리 방식이 적합하지 않다. 본 논문에서는 자료구동형 방식을 도입하여 질의를 처리함으로써 스트림 데이터에 알맞은 질의처리 기법을 제안하고 질의계획의 구조와 질의실행 방식을 설명하였다. 제안된 질의처리 기법은 다중질의 처리가 가능하며, 질의 간에 공유가 가능하게 한다. 또한 부분질의의 실행결과가 저장됨으로써 실행시간을 단축할 수 있다. 본 질의처리 모델에 XML 데이터와 XQuery 질의를 적용하였다.

  • PDF

Query Processing based Branch Node Stream for XML Message Broker

  • Ko, Hye-Kyeong
    • International journal of advanced smart convergence
    • /
    • 제10권2호
    • /
    • pp.64-72
    • /
    • 2021
  • XML message brokers have a lot of importance because XML has become a practical standard for data exchange in many applications. Message brokers covered in this document store many users. This paper is a study of the processing of twig pattern queries in XML documents using branching node streams in XML message broker structures. This work is about query processing in XML documents, especially for query processing with XML twig patterns in the XML message broker structure and proposed a method to reduce query processing time when parsing documents with XML twig patterns by processing information. In this paper, the twig pattern query processing method of documents using the branching node stream removes the twigging value of the branch node that does not include the labeling value of the branch node stream when it receives a twig query from the client. In this paper, the leaf node discovery time can be reduced by reducing the navigation time of nodes in XML documents that are matched to leaf nodes in twig queries for client twig queries. Overall, the overall processing time to respond to queries is reduced, allowing for rapid question-answer processing.

이동 클라이언트에서 효율적인 XML 질의 처리를 위한 XML 조각 스트림 구성 기법 (Techniques of XML Fragment Stream Organization for Efficient XML Query Processing in Mobile Clients)

  • 류정훈;강현철
    • 한국전자거래학회지
    • /
    • 제14권4호
    • /
    • pp.75-94
    • /
    • 2009
  • XML이 웹에서 데이터 교환의 표준으로 부각된 이래 전자 거래의 핵심 요소로 자리 잡으며 유비쿼터스 컴퓨팅 환경에서도 XML 데이터에 대한 효율적인 질의 처리에 관한 연구가 발하게 이루어지고 있다. 최근에는 XML 문서를 XML 조각으로 분할하여 스트리밍하고 이동 클라이언트에서 이를 수신하면서 질의 처리하는 기법이 제안되었다. XML 조각 스트림에대한 질의 처리는 스트림을 구성하는 각 조각의 전송 순서에 따라 평균 접근 시간에서 큰 차이를 보인다. 따라서 질의 성능을 높이기 위한 효과적인 XML 조각 스트림 구성 방법이 요구되며, 튜닝 시간의 단축을 통해 에너지 효율적인 질의 처리를 가능하게 하는 인덱싱도 요구된다. 본 논문에서는 사용자 질의 빈도와 질의 처리 시 접근되는 XML 조각의 크기 및 중복에 기반을 둔 XML 조각 스트림 구성 및 능동 XML 형식의 인덱스 구성을 제안한다. 구현 및 성능 실험 결과 본 논문에서 제시한 기법이 다양한 사용자 질의 집합 및 빈도에 대해 기존의 XML 조각 스트림 구성 기법에 비해 접근 시간 및 튜닝 시간 양면에서 모두 우수함을 확인하였다.

  • PDF

WT-Heuristics: 스트림 데이터 환경에서의 효율적인 필터 연산자 순서화 기법 (WT-Heuristics: An Efficient Filter Operator Ordering Technology in Stream Data Environments)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권2호
    • /
    • pp.163-170
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리 (stream data processing) 와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 본 논문에서는 시간에 따라서 예측할 수 없게 특성이 바뀌는 데이터 스트림에 대한 처리에 대하여 다룬다. 특별히, 본 논문에서는 스트림 데이터에 대한 질의문을 구성하는 연산자들 간의 효율적인 수행 순서 생성 기법인 WT-Heuristics를 제안한다. WT-Heuristics 기법은 연산 실행 순서에서 인접한 두 연산자들의 연산 순서만을 고려함으로써 효율적으로 연산자 순서를 결정할 수 있다. 또한 본 논문에서 제안하는 방법은 시스템의 부담을 적게 주면서도 데이터의 변화에 따라 수행 순서를 변화시킨다.

Predictive Memory Allocation over Skewed Streams

  • Yun, Hong-Won
    • Journal of information and communication convergence engineering
    • /
    • 제7권2호
    • /
    • pp.199-202
    • /
    • 2009
  • Adaptive memory management is a serious issue in data stream management. Data stream differ from the traditional stored relational model in several aspect such as the stream arrives online, high volume in size, skewed data distributions. Data skew is a common property of massive data streams. We propose the predicted allocation strategy, which uses predictive processing to cope with time varying data skew. This processing includes memory usage estimation and indexing with timestamp. Our experimental study shows that the predictive strategy reduces both required memory space and latency time for skewed data over varying time.

Splash의 스트림 프로세싱 기능 구현 (Implementing stream processing functionalities of Splash)

  • 안재호;노순현;홍성수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.377-380
    • /
    • 2019
  • To accommodate for the difficult task of satisfying application's system timing constraints, we are developing Splash, a real time stream processing language for embedded AI applications. Splash is a graphical programming language that designs applications through data flow graph which, later automatically generates into codes. The codes are compiled and executed on top of the Splash runtime system. The Splash runtime system supports two aspects of the application. First, it supports the basic stream processing functions required for an application to operate on multiple streams of data. Second, it supports the checking and handling of the user configurated timing constraints. In this paper we explain the implementation of the first aspect of the Splash runtime system which is being developed using a real time communication middleware called DDS.

  • PDF