• 제목/요약/키워드: 연속 조인 질의

검색결과 47건 처리시간 0.03초

데이터 스트림에서 다중 조인 질의의 최적화 기법 (Optimization of Multiple Join Queries over Data Streams)

  • 박연경;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.38-41
    • /
    • 2007
  • 최근 산업발달과 더불어 금융, 의료, 건설 등 다양한 산업분야에서는 대용량의 데이터 들이 실시간에 연속적으로 빠르게 발생되는 경우가 많다. 이런 스트림데이터 형태의 경우 전통적인 DBMS에서 처리하는 방식으로는 모든 데이터를 처리하는 것이 불가능하기 때문에 기존의 방식과 다른 데이터 처리방식이 요구된다. 본 논문에서는 데이터 스트림에 대한 다중 연속 질의들 사이에서 2개 이상의 스트림을 조인하는 다중 조인 연속 질의를 효율적으로 처리하는 방법을 연구하였다. 다중 조인 연속 질의에 사용되는 조인 조건들 가운데 공통으로 사용된 조인 조건을 공유해 불필요하게 반복되는 질의 수행을 최소화시키고 공통부분을 우선적으로 수행시킴으로써 그 조인 결과의 공유 최대화 및 질의 수행비용의 최소화 할 수 있는 질의 수행 최적화 기법을 제안하고 실험을 통해 제안된 공유 기반의 질의 수행 최적화 기법을 검증하고자 한다.

  • PDF

공통 조인 작업 공유를 통한 다중 연속 질의 처리 (Processing Multiple Continuous Queries by sharing common join operations)

  • 박홍규;이원석
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2008년도 추계학술대회
    • /
    • pp.187-190
    • /
    • 2008
  • 데이터 스트림이란 제한 없이 끊임없이 흘러 들어오는 일련의 많은 양의 데이터 객체들을 의미하며, 센서 데이터 처리, 인터넷 트래픽 분석, 웹 서버 로그와 같은 다양한 트랜잭션 로그 분석등과 관련된 수많은 응용 분야에 적용 가능하기 때문에 이들을 처리 하기 위해 많은 연구가 진행되었다. 데이트 스트림을 처리하기 위해서는 미리 등록된 질의들(연속 질의)을 새롭게 들어오는 스트림 데이터들로 계산하여 그 결과를 계속적으로 생성하여야 하므로 연속 질의들은 스트림 데이터가 들어올 때마다 반복적으로 수행되며, 데이터 스트림은 매우 빠르게 입력되는 특성을 가지고 있기 때문에 보다 빠르게 질의를 처리하여야만 한다. 본 논문에서는 다수의 조인 연속 질의들이 시스템에 등록되어 있을 때, 이들을 보다 빠르게 처리할 수 있도록 여러 개의 질의에 반복적으로 적용되는 조인 연산들을 공유함으로써 최적의 질의 계획을 생성하는 기법을 제안한다.

  • PDF

데이타와 질의의 이원성을 이용한 데이타스트림에서의 연속질의 처리 (Continuous Query Processing in Data Streams Using Duality of Data and Queries)

  • 임효상;이재길;이민재;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.310-326
    • /
    • 2006
  • 본 논문은 데이타스트림 환경에서 연속질의를 효율적으로 처리하는 방법을 다룬다. 먼저, 기존의 질의 처리 방법을 데이타 엘리먼트와 질의 중에서 어느 것을 먼저 선택하고 수행을 시작하느냐에 따라서, 서로 이원적인 두 가지 방법인 데이타-이니셔티브(data-initiative)와 질의-이니셔티브(query-initiative)로 분류한다. 이러한 분류는 기존의 질의 처리 연구에서 데이타와 질의를 서로 다르게(asymmetrically) 취급하였다는 것에 기인한다. 기존의 연속질의 처리에서는 이원적인 질의 처리 방법 중에서 데이타-이니셔티브 방법만이 사용되었기 때문에, 질의-이니셔티브 방법에서 얻을 수 있는 성능 상의 이점이 간과되었다. 이러한 문제를 해결하기 위해, 데이타와 질의를 동등하게(symmetrically) 볼 수 있다는 점에 착안한다. 본 논문에서는 데이타와 질의의 이원성 모델(Duality Model of Data and Queries)을 제안하고 이 모델에 기반하여 연속질의 처리 문제를 다차원 공간에서의 공간조인 문제로 변환하는 새로운 관점을 제시한다. 그리고, 공간조인 기반 연속질의 처리 알고리즘인 Spatial Join CQ를 제안한다. Spatial Join CQ는 다차원 공간상에 영역으로 표현된 데이타 엘리먼트들의 집합과 질의들의 집합으로부터 서로 겹치는 쌍을 찾음으로써 연속질의를 처리한다. 제안하는 알고리즘은 대칭적인(symmetric) 연산인 공간조인으로 겹치는 영역들을 찾아냄으로써 서로 이원적인 두 가지 질의 처리 방법의 효과를 동시에 얻는다. 성능 평가 결과, 제시하는 알고리즘은 기존의 방법에 비해서 단순 선택 연속질의는 최대 36배, 슬라이딩 윈도우 조인 연속질의는 최대 7배의 성능 향상을 보였다.

데이터 스트림에서 다중 조인 연속질의의 효과적인 처리를 위한 전처리 기법 (Preprocessing Method for Handling Multi-Way Join Continuous Queries over Data Streams)

  • 서기언;이주일;이원석
    • 인터넷정보학회논문지
    • /
    • 제13권3호
    • /
    • pp.93-105
    • /
    • 2012
  • 데이터 스트림이란 빠르게 연속적으로 무한히 발생하는 데이터 집합을 의미한다. 최근 다양한 산업의 발달로 인해 이러한 스트림 데이터의 효율적인 처리를 위한 요구 사항들이 늘어나고 있다. 특히 많은 연산 비용을 요구하는 조인 연산의 효율적인 처리는 데이터 스트림 관리 시스템의 성능 향상에 많은 영향을 미친다. 본 논문에서는 다중 조인 연속질의의 효율적인 처리를 위하여 최종 질의 결과에 포함되지 않는 불필요한 중간 조인 결과들을 사전에 제거함으로써 조인 연산의 비용을 감소시키는 방법을 제안한다. 이를 위해 스트림 데이터의 모니터링을 위한 매트릭스 기반의 구조체를 제안하고, 제안된 구조체를 이용한 매트릭스 연산을 통하여 최종 조인 결과의 투플 수를 예측함과 동시에 불필요한 중간 결과들을 만들어내는 투플들을 찾아낸다. 이를 통해 해당 투플을 이용한 조인 연산의 수행 여부를 결정하여 최종 조인 결과를 만들지 않는 투플을 조인 연산에서 배제함으로써 효율적으로 다중 조인 연속 질의를 처리한다.

데이터 스트림 환경에서의 조인 연속 질의의 그리디 질의 최적화 성능 분석 (Greedy Query Optimization Performance Analysis for Join Continuous Query over Data Streams)

  • 박홍규;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.361-364
    • /
    • 2006
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석 등과 관련된 데이터 스트림 처리에 더 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 질의 처리에 대한 관심이 증가하고 있다. 본 논문에서는 질의 중에서 2 개 이상의 스트림을 조인하는 조인 연속 질의를 처리하는 방법과 성능에 대해서 연구한다. 각 조인의 비용을 스트림의 입력 속도와 조인 선택도를 이용한 조인 비용 모델로 정의하고 그리디 알고리즘을 이용하여 최적화하는 기법을 제안하고 실험을 통해 다양한 스트림 환경에서 최적화 알고리즘이 어떤 성능을 보이는 지를 알아본다.

  • PDF

기호공간에서 이동객체 스트림 데이터의 연속 시공간 셀프조인 질의 (Continuous Spatio-Temporal Self-Join Queries over Stream Data of Moving Objects for Symbolic Space)

  • 황병주;이기준
    • Spatial Information Research
    • /
    • 제18권1호
    • /
    • pp.77-87
    • /
    • 2010
  • 시공간 조인은 이동객체와 같이 시공간의 특성을 가지는 데이터를 처리할 때 요구되는 중요한 연산자로, 이동객체들의 움직임을 분석하거나 이동객체들의 시공간적 패턴을 찾는 것과 같이 다양하게 활용된다. 현재까지 실외공간에서의 시공간 조인 질의에 관한 연구는 많이 진행되어왔다. 최근에는 실내측위기술이 발전함에 따라 실외뿐만 아니라 실내에서도 다양한 위치기반 서비스가 점진적으로 제공되고 있으며, 특히 이동객체를 중심으로 다양한 응용 서비스들을 필요로 하게 된다. 하지만 실내공간에서의 시공간 조인에 관한 연구는 아직 전무하다. 본 논문에서는 실내공간에서 실시간으로 갱신되는 이동객체에 대한 연속 시공간 셀프조인 질의와 질의처리 방법론을 제안하였다. 연속 시공간 셀프조인 질의는 주어지는 특정 시간과 공간의 조건을 만족하는 모든 쌍들을 시간이 지남에 따라 지속적으로 갱신하는 질의이다. 본 논문에서는 방이나 복도와 같이 특정한 기호를 중심으로 이동객체의 위치를 표현하며 이러한 특징을 가지는 공간을 기호공간이라 한다. 그리고 방대한 스트림데이터를 효과적으로 필터링하고 관리하기 위한 후보쌍 버퍼 테이블이라는 자료구조와 이를 활용한 질의처리 방법론을 제안하였으며 실험을 통해 타당성을 검증하였다.

전자상거래 데이터의 실시간 분석을 위한 데이터 스트림과 다수 릴레이션 간의 효율적인 연속 조인 처리 기법 (Efficient Processing of Continuous Join Queries between a Data Stream and Multiple Relations for Real-Time Analysis of E-Commerce Data)

  • 김해리;이기용
    • 한국전자거래학회지
    • /
    • 제18권3호
    • /
    • pp.159-175
    • /
    • 2013
  • 최근 들어 전자상거래 데이터의 실시간 공급이 가능해지면서, 전자상거래 데이터를 실시간으로 분석하고자 하는 요구가 급증하고 있다. 이를 위해서는 전자상거래 데이터 스트림과 디스크에 저장된 대규모 릴레이션 간의 연속 조인 질의를 효율적으로 처리하는 것이 매우 중요하다. 본 논문에서는 전자상거래 데이터 스트림과 디스크에 저장된 다수 릴레이션 간의 효율적인 연속 조인 질의 기법을 제안한다. 제안 방법은 기존 방법에 비해 서비스율을 크게 향상시키는 한편, 메모리 사용량을 크게 줄인다. 분석과 다양한 실험을 통해, 제안 방법은 기존 방법에 비해 서비스율과 메모리 사용량에서 더 효율적임을 보인다.

다양한 응용의 스트림 데이터 모니터링을 위한 연속질의 모델링 (Continuous Query Modelling for Various Kinds of Monitoring Services for Stream Data)

  • 조대수
    • 한국정보통신학회논문지
    • /
    • 제15권7호
    • /
    • pp.1525-1530
    • /
    • 2011
  • 다양한 센서들로부터 실시간으로 수집되는 데이터를 분석, 처리해야하는 유비쿼터스 환경의 다양한 응용서비스(모니터링 서비스)를 개발하기 위해서는 반드시 연속질의 처리 방법이 요구된다. 기존 연구에서 연속질의는 대부분 간격질의와 영역질의만으로 표현되고, 이러한 질의에 대한 처리 기법들이 제시되었다. 그러나 연속질의의 종류는 매우 다양하며, 속성 조건, 공간 조건, 시간 조건의 결합을 통해 표현될 수 있다. 이 논문에서는 연속질의의 종류를 분류하고, 여러 조건들의 결합을 통해 표현 가능한 연속질의 모델을 제안하고자 한다. 이 논문은 연속질의를 표현하는 질의 모델을 제안함으로써, 연속질의 처리를 위한 다양한 후속 연구에 대한 방향을 제시하는데 기여하였다.

STAT 조건을 지원하는 연속질의 모델의 설계 (Design of a Continuous Query Model for supporting STAT Conditions)

  • 조대수
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 춘계학술대회
    • /
    • pp.441-443
    • /
    • 2010
  • 다양한 센서들로부터 실시간으로 수집되는 데이터를 분석, 처리해야 하는 유비쿼터스 환경의 다양한 응용 서비스를 개발하기 위해서는 반드시 연속질의 처리 방법이 요구된다. 기존 연구에서 연속질의는 대부분 간격질의와 영역질의만으로 표현되고, 이러한 질의에 대한 처리 기법들이 제시되었다. 그러나 연속질의의 종류는 매우 다양하며, 속성 조건, 공간 조건, 시간 조건의 결합을 통해 표현될 수 있다. 이 논문에서는 연속질의의 종류를 분류하고, 여러 조건들의 결합을 통해 표현 가능한 연속질의 모델을 제안하고자 한다. 이 논문은 연속질의를 표현하는 질의 모델을 제안함으로써, 연속질의 처리를 위한 다양한 후속 연구에 대한 방향을 제시하는데 기여하였다.

  • PDF

데이터 스트림 윈도우 질의를 위한 다중의 연속 MJoin 연산자 공유 처리 (Sharing Multiple Continuous MJoins for Window Queries over Data Streams)

  • 이헌주;박석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.43-48
    • /
    • 2007
  • 데이터 스트림 관리 시스템에서 조인 연산자는 질의가 내포하는 여러 연산자들 가운데 상대적인 계산비용이 높은 연산자로, 센서 네트워크와 같이 한정적 정보들이 개별적으로 입력되는 환경에서는 필연적으로 요구된다. 데이터 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 하며, 종합적인 결과를 얻기 위해 조인 연산자가 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우 제약사항과 MJoin의 특성을 반영하여 전역적으로 공유된 질의 실행 계획 수립 및 처리에 관한 문제를 다룬다. 이러한 다중 MJoin에 대한 전역 공유 질의 실행 계획 수립 문제가 NP-Hard임을 증명하고, 근사화 접근 방법을 제안한다. 또한 전역적으로 공유된 질의 실행 계획을 올바르게 수행할 수 있는 처리 기법을 제안한다. 이러한 연구의 노력은 데이터 스트림 환경에서 효율적인 다중 질의 최적화 및 처리기법의 기초 연구로 활용될 수 있다.

  • PDF