• 제목/요약/키워드: stream data processing

검색결과 447건 처리시간 0.028초

DISSECTION TECHNIQUE FOR EFFICIENT JOIN OPERATION ON SEMI-STRUCTURED DOCUMENT STREAM

  • Seo, Dong-Hyeok;Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.11-13
    • /
    • 2007
  • There has been much interest in stream query processing. Various index techniques and advanced join techniques have been proposed to efficiently process data stream queries. Previous proposals support rapid and advanced response to the data stream queries. However, the amount of data stream is increasing and the data stream query processing needs more speedup than before. In this paper, we proposed novel query processing techniques for large number of incoming documents stream. We proposed Dissection Technique for efficient query processing in the data stream environment. We focused on the dissection technique in join query processing. Our technique shows efficient operation performance comparing with the other proposal in the data stream. Proposed technique is applied to the sensor network system and XML database.

  • PDF

XML 스트림 데이타에 대한 적응력 있는 질의 처리 시스템 (An Adaptive Query Processing System for XML Stream Data)

  • 김영현;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.327-341
    • /
    • 2006
  • 센서 네트워크, 모니터링, SDI (selective dissemination of information) 등과 같이 스트림 데이타를 생성하는 응용의 증가로 스트림 데이타에 대한 질의 처리를 효율적으로 지원하기 위한 연구가 활발히 수행되고 있다. 특히 SDI와 같은 웹 환경의 응용은 XML 스트림에 대한 질의 처리를 필요로 하는데, XML은 웹 환경에서 데이타 교환의 표준이므로 이에 대한 연구는 아주 중요하다. 그러나 현재까지 제시된 XML 스트림 질의 처리 시스템들은 정적인 질의 계획을 사용하기 때문에 동적으로 변하는 스트림 데이타에 대해 적응력 있게 대처하지 못하는 문제가 있다. 반면 관계 데이타 스트림에 대한 질의 처리 시스템들은 질의 연산자 라우팅 기법을 통해 동적인 질의 계획을 사용함으로써 적응력 있는 질의 처리를 지원한다. 본 논문에서는 관계 데이타 모델을 사용하는 시스템의 적응력 있는 질의 처리 모델을 적용하여XML 스트림에 대한 적응력 있는 질의 처리를 수행할 수 있는 시스템을 제안한다. 그리고 기존의 XML을 기반으로 하는 대표적인 시스템인 YFilter와 본 논문이 제안하는 시스템의 성능을 비교, 평가하여 본 논문이 제안하는 시스템의 효율성을 보인다.

Predictive Memory Allocation over Skewed Streams

  • Yun, Hong-Won
    • Journal of information and communication convergence engineering
    • /
    • 제7권2호
    • /
    • pp.199-202
    • /
    • 2009
  • Adaptive memory management is a serious issue in data stream management. Data stream differ from the traditional stored relational model in several aspect such as the stream arrives online, high volume in size, skewed data distributions. Data skew is a common property of massive data streams. We propose the predicted allocation strategy, which uses predictive processing to cope with time varying data skew. This processing includes memory usage estimation and indexing with timestamp. Our experimental study shows that the predictive strategy reduces both required memory space and latency time for skewed data over varying time.

스트림 데이터를 위한 데이터 구동형 질의처리 기법 (A Data-Driven Query Processing Method for Stream Data)

  • 민미경
    • 디지털콘텐츠학회 논문지
    • /
    • 제8권4호
    • /
    • pp.541-546
    • /
    • 2007
  • 많은 양의 연속적인 스트림 데이터를 대상으로 하는 연속적인 질의처리의 경우는 전통적 방식의 요구구동형 질의처리 방식이 적합하지 않다. 본 논문에서는 자료구동형 방식을 도입하여 질의를 처리함으로써 스트림 데이터에 알맞은 질의처리 기법을 제안하고 질의계획의 구조와 질의실행 방식을 설명하였다. 제안된 질의처리 기법은 다중질의 처리가 가능하며, 질의 간에 공유가 가능하게 한다. 또한 부분질의의 실행결과가 저장됨으로써 실행시간을 단축할 수 있다. 본 질의처리 모델에 XML 데이터와 XQuery 질의를 적용하였다.

  • PDF

적외선 영상해석을 이용한 이중목적탄 자탄계수 계측기법연구 (DPICM subprojectile counting technique using image analysis of infrared camera)

  • 박원우;최주호;유준
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
    • /
    • pp.11-16
    • /
    • 1997
  • This paper describes the grenade counting system developed for DPICM submunition analysis using the infrared video streams, and its some video stream processing technique. The video stream data processing procedure consists of four sequences; Analog infrared video stream recording, video stream capture, video stream pre-processing, and video stream analysis including the grenade counting. Some applications of this algorithms to real bursting test has shown the possibility of automation for submunition counting.

  • PDF

WT-Heuristics: 스트림 데이터 환경에서의 효율적인 필터 연산자 순서화 기법 (WT-Heuristics: An Efficient Filter Operator Ordering Technology in Stream Data Environments)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권2호
    • /
    • pp.163-170
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리 (stream data processing) 와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 본 논문에서는 시간에 따라서 예측할 수 없게 특성이 바뀌는 데이터 스트림에 대한 처리에 대하여 다룬다. 특별히, 본 논문에서는 스트림 데이터에 대한 질의문을 구성하는 연산자들 간의 효율적인 수행 순서 생성 기법인 WT-Heuristics를 제안한다. WT-Heuristics 기법은 연산 실행 순서에서 인접한 두 연산자들의 연산 순서만을 고려함으로써 효율적으로 연산자 순서를 결정할 수 있다. 또한 본 논문에서 제안하는 방법은 시스템의 부담을 적게 주면서도 데이터의 변화에 따라 수행 순서를 변화시킨다.

센서 네트워크를 위한 PCA 기반의 데이터 스트림 감소 기법 (A PCA-based Data Stream Reduction Scheme for Sensor Networks)

  • 알렉산더 페도시브;최영환;황인준
    • 인터넷정보학회논문지
    • /
    • 제10권4호
    • /
    • pp.35-44
    • /
    • 2009
  • 데이터 스트림이란 새로운 개념과 기존의 단순 데이터 사이에 존재하는 개념적 차이를 극복하기 위해서는 많은 연구가 필요하다. 대표적인 예로써 센서 네크워크에서의 데이터 스트림 처리를 들 수 있는 데, 이를 위해서는 대역폭이나 에너지, 메모리와 같은 자원적 한계에서 부터 연속 질의를 포함하는 질의처리의 특수성까지 고려해야 할 대상이 광범위하다. 본 논문에서는 데이터 스트림 처리에서의 물리적 제약사항에 해당하는 한정된 메모리 문제를 해결하기 위해 PCA 기법을 기반으로 하는 데이터 스트림 축소 방안을 제안하다. PCA는 상호 관련된 다수의 변수들을 관련이 없는 적은 수의 변수로 변환해준다. 본 논문에서는 질의 처리 엔진의 협력을 가정하고서 센서 네크워크의 스트림 데이터 처리를 위해 PCA 기법을 적용하며, 다른 센서로부터 얻어진 많은 측정값 사이에 시공간적 관련성을 이용한다. 최종적으로 그러한 데이터 처리를 위한 프레임워크를 제시하고 다양한 실험을 통하여 기법의 성능을 분석한다.

  • PDF

빈발 패턴 트리 기반 XML 스트림 마이닝 (Frequent Patten Tree based XML Stream Mining)

  • 황정희
    • 정보처리학회논문지D
    • /
    • 제16D권5호
    • /
    • pp.673-682
    • /
    • 2009
  • 웹상에서 데이터 교환과 표현을 위한 표준으로 XML 데이터가 널리 사용되고 있으며 유비쿼터스 환경에서 XML 데이터의 형태는 연속적이다. 이와 관련하여 XML 스트림 데이터에 대한 빈발 구조 추출 및 효율적인 질의처리를 위한 마이닝 방법들이 연구되고 있다. 이 논문에서는 슬라이딩 윈도우 기반으로 하여 XML 스트림 데이터로부터 최근 윈도우 범위에 속하는 데이터에 대한 빈발 패턴 구조를 추출하기 위한 마이닝방법을 제안한다. 제안된 방법은 XML 스트림 데이터를 트리집합 모델, XFP_tree로 표현하고 이를 이용하여 최근의 데이터에 대한 빈발구조 패턴을 빠르게 추출한다.

실시간 헬스케어 서비스를 위한 스트림 데이터 시스템 프레임워크의 설계 (The Framework of Stream Data Processing System for Realtime Health Care Service)

  • 오택군;이연;배해영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2011년도 제44차 하계학술발표논문집 19권2호
    • /
    • pp.21-22
    • /
    • 2011
  • The growth of using smartphone and tablet pc has enabled variety kinds of realtime applications. In these applications, the data which we called data stream is multidimensional, continuous, rapid, and time-varying. However the traditional Database Management System (DBMS) suffers from processing the real time and complex application, in this paper we proposed the framework for CCR Data Stream Server's design and implementation that compiled with Data Stream Database Management System (DSMS) and DBMS in EMR system. The system enables users not only to query stored CCR information from DBMS, but also to execute continues query for the real-time CCR Data Stream.

  • PDF

범위 질의 인덱싱을 이용한 스트림 데이터의 다중 질의처리 기법 (A Multi-dimensional Query Processing Scheme for Stream Data using Range Query Indexing)

  • 이동언;이윤석
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권2호
    • /
    • pp.69-77
    • /
    • 2009
  • 스트림 서비스 환경에서는 지속적으로 입력되는 막대한 양의 데이터에 대해 원하는 조건을 탐색하는 실시간 질의처리가 요구된다. 기존의 R-tee기반 질의처리 기술은 각 이벤트에 대해 트리 전체에 대해 동일한 탐색과정을 반복해야 하므로 이를 효율적으로 감당할 수 없었다. 한편 센서 측정값을 비롯한 대부분의 스트림 데이터는 매우 높은 지역성을 가지며 이를 활용하여 탐색 공간을 크게 줄일 수 있다. 따라서 본 연구에서는 스트림 데이터의 지역성을 활용하여 스트림 환경에 적합한 질의처리 기법을 제안하였다. 또한 이 프레임웍을 활용하여 스트림 환경에서 어플리케이션이 요구하는 다양한 질의처리 서비스를 개발할 수 있을 것으로 기대된다. 본 연구에서 구현한 프로토타입 시스템을 스트림 환경에 적용해 얻은 실험 결과를 통해, 스트림 환경에서 기존질의처리 기법보다 더 적합하고 효율이 크게 개선됨을 확인할 수 있었다.