• 제목/요약/키워드: Stream Query Processing

검색결과 124건 처리시간 0.023초

Transformation of Continuous Aggregation Join Queries over Data Streams

  • Tran, Tri Minh;Lee, Byung-Suk
    • Journal of Computing Science and Engineering
    • /
    • 제3권1호
    • /
    • pp.27-58
    • /
    • 2009
  • Aggregation join queries are an important class of queries over data streams. These queries involve both join and aggregation operations, with window-based joins followed by an aggregation on the join output. All existing research address join query optimization and aggregation query optimization as separate problems. We observe that, by putting them within the same scope of query optimization, more efficient query execution plans are possible through more versatile query transformations. The enabling idea is to perform aggregation before join so that the join execution time may be reduced. There has been some research done on such query transformations in relational databases, but none has been done in data streams. Doing it in data streams brings new challenges due to the incremental and continuous arrival of tuples. These challenges are addressed in this paper. Specifically, we first present a query processing model geared to facilitate query transformations and propose a query transformation rule specialized to work with streams. The rule is simple and yet covers all possible cases of transformation. Then we present a generic query processing algorithm that works with all alternative query execution plans possible with the transformation, and develop the cost formulas of the query execution plans. Based on the processing algorithm, we validate the rule theoretically by proving the equivalence of query execution plans. Finally, through extensive experiments, we validate the cost formulas and study the performances of alternative query execution plans.

센서 네트워크를 이용한 질의 배분 기법 (The Scheme for Distributing the Query Constraints using the Sensor Networks)

  • 김동현
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.691-694
    • /
    • 2010
  • 센서 노드에서 수집되는 데이터는 지속적으로 삽입되는 스트림 데이터이기 때문에 효율적인 사용자 질의 처리를 위하여 노드별로 질의 색인을 구축해야 한다. 노드에서 최소 크기의 질의 색인을 구축하기 위해서는 질의 색인에 삽입되는 질의 조건을 수를 줄여야 할 필요가 있다. 이 논문에서는 삽입되는 질의 조건의 수를 줄이기 위하여 다차원 데이터 색인을 이용한 질의 조건 배분 기법에 대하여 제안한다.

  • PDF

데이터 스트림 처리를 위한 윈도우 메모리 재배치의 비용 분석 (Cost Analysis of Window Memory Relocation for Data Stream Processing)

  • 이상돈
    • 한국콘텐츠학회논문지
    • /
    • 제8권4호
    • /
    • pp.48-54
    • /
    • 2008
  • 본 논문에서는 데이터 스트림 환경에서 윈도우 기반 연산자를 대상으로 메모리와 연산 비용의 상대적인 이해득실 관계를 분석한다. 이를 위하여 기본적인 연산자 네트워크 구성 요소를 식별하고, 윈도우 메모리의 재배치를 통한 메모리 소요량의 감소 효과와, 이로 인한 추가적인 연산 비용의 규모를 산정하는 비용 모델을 수립한다. 이러한 비용 모델을 통해 윈도우 메모리의 재배치의 효용성을 확인하고, 이러한 접근 방법을 데이터 스트림 질의의 실행 계획 개선을 위해 효과적으로 활용할 수 있는 방법을 모색한다. 이를 통해 데이터 스트림 환경에서 질의 처리 및 최적화의 적용 영역을 확장시키고, 윈도우 메모리 재배치를 통한 질의최적화를 위한 비용 산정 모델의 토대를 제공한다.

공간 연속질의 처리에서 영역 기반의 저장 구조를 이용한 효율적인 디스크 접근 방법 (Efficient Disk Access Method Using Region Storage Structure in Spatial Continuous Query Processing)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제12권5호
    • /
    • pp.2383-2389
    • /
    • 2011
  • 유비쿼터스 응용은 실시간으로 입력되는 데이터 스트림과 저장된 공간 데이터를 동시에 처리하는 이중적인 공간 연속 질의 처리 기술이 요구된다. 이러한 공간 연속 질의 처리에서는 대용량 공간 데이터에 대한 디스크 접근 비용을 최소화가 요구되나 기존 공간색인 기법은 논리적 인접성을 공간 데이터의 물리적인 인접성을 보장할 수 없으므로 공간 데이터 탐색에 있어 비용이 증가한다. 또한 데이터 인접성 보장을 위한 공간 순서화 기법의 경우에도 빈번하게 접근되는 질의 공간 영역에 대한 클러스터링을 고려하지 않고 있다. 본 논문에서는 이중적인 공간 연속질의 처리에서 공간 데이터의 효율적인 접근을 위한 영역 기반 저장 구조를 제안한다. 제안 기법에서는 영역을 기반으로 데이터를 인접하게 저장하고 사용자 질의를 영역 기반으로 그룹 처리함으로써 질의 처리 비용을 감소시킬 수 있다.

비즈니스 이벤트 스트리밍 대한 연속 질의 처리 (Continuous Query over Business Event Streams in EPCIS Middleware)

  • 박영욱;홍봉희;박재관;김기홍
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.718-720
    • /
    • 2008
  • In this paper, the study focus on continuous query in EPC Information Services(EPCIS) middleware which is a component of RFID system. We can consider EPCIS as a data stream system with a repository. In our work continuous query is implemented in two query execution model. One is standing query model another is traditional query execution model in which continuous query run over database periodically. Furthermore a balance strategy is presented. It is used to determine which continuous query implementation model is suitable for the query. Finally we conclude our work and issue some research topic for future work.

데이터스트림 처리 시스템에 기반한 연속적인 헬스케어 데이터 관리 시스템 설계 (The Design and Implementation of Continuity Health Care Record Management System based on Data Stream System)

  • 오택군;이연;신숭선;김경배;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1218-1221
    • /
    • 2011
  • The development of the internet and information management has enabled new applications which include: Electronic medical record (EMR), intelligent transportation, environmental monitoring, etc. In this paper, we design and implement the Continuity Care Record(CCR) Data Stream management server that compiled with DSMS and DBMS in EMR system for processing, monitoring the incoming CCR data stream and storing the processed result with high-efficiency. The proposed system enables users not only to query stored CCR information from DBMS, but also enables to execute continue query for the real-time CCR Data Stream. By using of CCR Viewer Application users can view or update their personal health records even compare self health care records with standard health care records in order to monitor the healthy status, and the on line updating information would be minimized and medical error.

멀티미디어 상연그래프 질의언어와 대수를 이용한 질의처리방법 (A Query Language for Multimedia Presentation Graphs and Query Processing Techniques with Algebra)

  • 이태경
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제27권2호
    • /
    • pp.185-198
    • /
    • 2000
  • 최근 폭발적인 증가를 보이고 있는 멀티미디어 자료의 양과 그 자료들을 이용할 수 있는 하드웨어의 발전은 멀티미디어 상연물을 이용하는 여러 응용 분야에 대한 관심을 촉발시키고 있다. 이에 멀티미디어 상연물의 효과적인 이용을 위해서는 멀티미디어 상연물과 DBMS와의 통합이 필요하다. 이 논문에서는 내용(content)에 근거한 상연물 검색과 검색 처리 기술의 문제를 다룬다. 현재 멀티미디어 상연물 제작 도구(authoring tool)들은 멀티미디어 상연물을 상연 그래프(presentation graph)를 이용하여 표현하고 있으며 상연 그래프는 DAG(directed acyclic graph)이다. 각 노드는 같은 타입의 미디어 스트림을 나타내며 에지는 스트림간의 상연 순서와 동기화 (synchronization) 방법을 나타낸다. 각각의 스트럼에 포함된 정보, 이 정보들간의 순서, 그리고 스트럼간의 상연 순서는 상연의 내용을 구성한다. GCalculus/S(GCalculus with Set Operators)는 calculus에 바탕을 둔 검색언어이며 멀티미디어 자료들의 물리적 특정과 내용을 다룰 수 있다. 개개의 노드 안에서의 정보의 변화와 노드 사이의 순서는 시간 연산자(temporal operator) Next, Connected, Until을 이용하여 표현한다. 검색의 처리를 위하여 객체 대수(object algebra)인 O-Algebra를 확장한다.

  • PDF

대용량 위치 데이터에서 효율적인 k-최근접 질의 처리 기법 (Efficient k-Nearest Neighbor Query Processing Method for a Large Location Data)

  • 최도진;임종태;유승훈;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제17권8호
    • /
    • pp.619-630
    • /
    • 2017
  • 스마트 기기의 대중화로 다양한 위치 기반 서비스가 제공되고 있다. 최근에는 소셜 서비스와 결합한 위치 기반 소셜 서비스들이 생겨나고 있다. 이러한 위치 기반 소셜 네트워크 서비스에서는 사용자 중심의 가장 가까운 위치를 검색하는 k-최근접 질의 처리의 요구가 증가된다. 본 논문에서는 대규모 사용자 환경에서 질의를 효율적으로 처리하기 위한 근사 k-최근접 질의 처리 기법을 제안한다. 제안하는 기법은 빅데이터 분산 처리기술을 활용하여 효율적인 스트림 처리를 수행한다. 본 논문에서는 대량의 위치 데이터에 대한 색인을 위해 전통적인 그리드 색인 기법을 변형한 색인 기법을 제안한다. 제안하는 질의 처리기법은 사용자의 진행방향을 고려하여 해당 셀을 우선적으로 탐색한다. 이를 통해 k개의 근사 결과 집합을 생성할 수 있다. 제안하는 기법의 우수성을 입증하기 위해 기존 기법과 다양한 성능 평가를 수행한다.

다양한 응용의 스트림 데이터 모니터링을 위한 연속질의 모델링 (Continuous Query Modelling for Various Kinds of Monitoring Services for Stream Data)

  • 조대수
    • 한국정보통신학회논문지
    • /
    • 제15권7호
    • /
    • pp.1525-1530
    • /
    • 2011
  • 다양한 센서들로부터 실시간으로 수집되는 데이터를 분석, 처리해야하는 유비쿼터스 환경의 다양한 응용서비스(모니터링 서비스)를 개발하기 위해서는 반드시 연속질의 처리 방법이 요구된다. 기존 연구에서 연속질의는 대부분 간격질의와 영역질의만으로 표현되고, 이러한 질의에 대한 처리 기법들이 제시되었다. 그러나 연속질의의 종류는 매우 다양하며, 속성 조건, 공간 조건, 시간 조건의 결합을 통해 표현될 수 있다. 이 논문에서는 연속질의의 종류를 분류하고, 여러 조건들의 결합을 통해 표현 가능한 연속질의 모델을 제안하고자 한다. 이 논문은 연속질의를 표현하는 질의 모델을 제안함으로써, 연속질의 처리를 위한 다양한 후속 연구에 대한 방향을 제시하는데 기여하였다.

XML 레이블링을 이용한 XML 조각 스트림에 대한 질의 처리 기법 (A Query Processing Technique for XML Fragment Stream using XML Labeling)

  • 이상욱;김진;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.67-83
    • /
    • 2008
  • 유비쿼터스 컴퓨팅의 실현을 위해서는 이동 단말기의 자원 및 컴퓨팅 파워의 효율적 사용이 필수적이다. 특히, 이동 단말기에 내장된 소프트웨어의 수행에 있어 메모리 효율성 에너지 효율성, 그리고 처리 효율성이 요구된다. 본 논문은 자원이 제약되어 있는 이동 단말기에서의 XML 데이타에 대한 질의 처리에 관한 것이다. 메모리 용량이 크지 않은 단말기의 경우 대량의 XML 데이타에 대한 질의 처리를 수행하기 위해서는 XML 스트림 질의 처리 기술이 활용되어야 한다. 최근에 제시된 XFrag는 홀-필러 모델을 이용하여 XML 데이타를 XML 조각으로 분할하여 스트림으로 전송하고 처리할 수 있는 기법이다. 이는 메모리가 부족한 이동 단말기에서 조각 스트림으로부터 XML 데이타를 재구성하지 않고 질의 처리를 가능하게 한다. 그러나 홀-필러 모델을 사용할 경우 홀과 필러에 대한 부가적인 정보를 저장해야 하므로 메모리 효율성이 높지 못하다. 본 논문에서는 XML 데이타의 구조 정보를 표현하는 XML 레이블링 기법을 이용하여 XML 데이타를 조각으로 분할하여 처리하는 새로운 기법 XFLab을 제시한다. 구현 및 성능 실험 결과 XFLab이 XFrag보다 메모리 사용량과 처리 시간 양면 모두에서 우수한 것으로 나타났다.