• 제목/요약/키워드: 윈도우-조인

검색결과 71건 처리시간 0.022초

윈도우 조인에서 실행 주기에 따른 성능 비교 (Performance Comparison of Window Joins with Different Evaluation Periods)

  • 김현규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1173-1175
    • /
    • 2013
  • 윈도우 조인은 데이터 스트림 처리에서 중요한 역할을 차지한다. 많은 스트림 응용에서 시간-기반 윈도우를 이용하여 스트림을 분할하고 이를 바탕으로 조인을 수행한다. 본 논문에서는 윈도우가 업데이트되는 주기 내에서 조인을 자유로이 수행할 수 있으며, 이 경우 조인 결과의 정확성이 보장됨을 보여준다. 또한, 실험을 통해 조인 주기가 짧아질수록 윈도우 조인의 성능이 우수해짐을 보여준다.

중첩 윈도우를 가진 데이터 스트링을 위한 효율적인 조인 알고리즘 (An Efficient Join Algorithm for Data Streams with Overlapping Window)

  • 김현규;강우람;김명호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권5호
    • /
    • pp.365-369
    • /
    • 2009
  • 일반적으로 중첩 윈도우는 스트림 질의에서 흔히 이용된다. 그럼에도 불구하고, 기존의 연구에서는 범플링 윈도우나 튜플-드리븐 윈도우 등의 기본적인 윈도우만을 가정하고 조인 알고리즘을 다루었다. 본 논문에서는 보다 일반화된 윈도우의 형태인 중칩 윈도우상에서 조인을 효율적으로 처리하기 위한 알고리즘을 제안한다. 제안하는 알고리즘은 기본적으로 점증 조인 후 합병하는 방법을 이용한다. 그리고, 대량의 입력으로부터 메모리 오버플로우가 빈번하게 발생하는 상황에서 연속적으로 윈도우 조인 결과를 생성하는 방법에 중점을 두었다. 제안하는 방법은 (1) 점증 조인과 중복을 허용한 완전 조인을 선택적으로 이용하는 방법, (2) 조인 결과의 지연을 최소화하기 위한 필체 대상 선정 방법과 (3) 가용 시간 처리 방법 등을 포함한다. 그리고, 실험을 통해 점증 조인과 완전 조인을 선택적으로 이용하는 것이 하나만 이용하는 기존 방식에 비해 성능이 우수함을 보인다.

윈도우-초인: 이원성 기반 서브시퀸스 매칭을 위한 최적의 방법 (Window-Join: An Optimal Way to Process Duality-Based Subsequence Matchi)

  • 김상욱;박대현;이헌길;김만순;박정일
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.184-186
    • /
    • 2001
  • 본 논문에서는 시계열 데이터베이스에서 서브시퀸스 매칭을 효과적으로 처리하는 방안에 관하여 논의한다. 본 논문에서는 먼저, 기존의 이원성 기반 서브시퀸스 매칭 기법에서 발생하는 성능상의 문제점들을 지적하고, 이들을 해결할 수 있는 방법을 제시한다. 제안된 기법은 서브시퀸스 매칭 시 요구되는 인덱스 검색을 윈도우-조인이라는 일종의 공간 조인 문제로 새롭게 해석하는 것에서 출발한다. 제안된 기법에서는 효과적인 윈도우-조인의 처리를 위하여 질의 윈도우 점들을 위한 R*-트리를 주기억장치 내에 on-the-fly로 구성하는 방법을 사용한다. 또한, 데이터 윈도우 점들을 위한 디스크 상의 R*-트리와 질 윈도우 점들을 위한 주기억장치 상의 R*-트리를 효과적으로 조인할 수 있는 새로운 알고리즘을 제안한다. 제안된 기법은 R*-트리 페이지들을 착오 채택 없이 단 한번만 디스크로부터 액세스 측면에서 이원성 기반 서브시퀸스 매칭을 위한 최적의 기법이다.

  • PDF

데이터 스트림에서 그래프 기반 기법을 이용한 슬라이딩 윈도우 다중 조인 처리 (Processing Sliding Window Multi-Joins using a Graph-Based Method over Data Streams)

  • 장량;거준위;김경배;이순조;배해영;유병섭
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권2호
    • /
    • pp.25-34
    • /
    • 2007
  • 데이터 스트림 환경에서 셋 이상의 스트림들에 대한 조인연산을 위해 순서를 선택하는 기존 기법들은 항상 간단한 휴리스틱 방법을 이용하였다 그러나 기존 기법들은 조인 선택도나 데이터 수신 비율과 같은 것만 고려하여 일반적인 응용에서 비효율적이며 낮은 성능을 갖는다. 본 논문에서는 최적의 조인 순서로 그래프 기반의 슬라이딩 윈도우 다중 조인 알고리즘을 제안한다. 이 기법에서 슬라이딩 윈도우 조인 그래프를 먼저 생성하는데, 정점(vertex)은 조인 연산으로 표현되고 엣지(edge)는 슬라이딩 윈도우들 사이의 조인관계를 나타낸다. 그리고 정점 가중치(vertex weight)와 엣지 가중치(edge weight)는 각각의 조인의 비용과 조인 연산들의 상호관계를 표현한다. 이때 데이터 스트림은 빠른 처리를 해야 하므로 메모리 기반의 그래프 기법을 사용한다. 이를 이용하여 최대값만을 이용하여 조인 연산을 수행하는 MVP 알고리즘을 개선하고 이의 그래프에서 최적의 조인 순서를 찾는다. 이를 통한 최종 결과는 중첩-루프(nested loop) 조인 계획을 수행하여 얻어진다. 성능비교를 통하여 제안기법이 기존 기법들보다 우수함을 증명한다.

  • PDF

데이터 스트림 윈도우 질의를 위한 다중의 연속 MJoin 연산자 공유 처리 (Sharing Multiple Continuous MJoins for Window Queries over Data Streams)

  • 이헌주;박석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.43-48
    • /
    • 2007
  • 데이터 스트림 관리 시스템에서 조인 연산자는 질의가 내포하는 여러 연산자들 가운데 상대적인 계산비용이 높은 연산자로, 센서 네트워크와 같이 한정적 정보들이 개별적으로 입력되는 환경에서는 필연적으로 요구된다. 데이터 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 하며, 종합적인 결과를 얻기 위해 조인 연산자가 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우 제약사항과 MJoin의 특성을 반영하여 전역적으로 공유된 질의 실행 계획 수립 및 처리에 관한 문제를 다룬다. 이러한 다중 MJoin에 대한 전역 공유 질의 실행 계획 수립 문제가 NP-Hard임을 증명하고, 근사화 접근 방법을 제안한다. 또한 전역적으로 공유된 질의 실행 계획을 올바르게 수행할 수 있는 처리 기법을 제안한다. 이러한 연구의 노력은 데이터 스트림 환경에서 효율적인 다중 질의 최적화 및 처리기법의 기초 연구로 활용될 수 있다.

  • PDF

데이타 스트림 상에서 다중 연속 복수 조인 질의 처리 최적화 기법 (MMJoin: An Optimization Technique for Multiple Continuous MJoins over Data Streams)

  • 변창우;이헌주;박석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.1-16
    • /
    • 2008
  • 센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

스트리밍 XML 데이타에서 영역 윈도우를 사용한 조인 질의의 범위 최소화 기법 (Scope Minimization of Join Queries using a Range Window on Streaming XML Data)

  • 박석;김미선
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.224-238
    • /
    • 2006
  • XML이 인터넷 상에서 데이타 교환의 표준으로 자리매김하면서 스트리밍 환경의 XML 데이타에 대한 효과적인 조인 질의 처리도 증가하고 있다. 튜플 단위로 처리하는 기존의 데이타베이스 기법을 스트리밍 XML 데이타에 적용했을 때 제한된 메모리 사용에 따른 메모리 한계를 초과하는 문제가 발생한다. 또한 구조적인 특징을 가지는 XML 데이타에 대한 질의 경로 탐색 및 특정 부분 데이타에 대한 접근에 소모되는 처리 비용이 급격히 증가하는 문제가 발생하게 된다. 근본적으로 전체 데이타가 아닌 부분 데이타를 저장하고 질의 처리해야 하는 스트리밍 환경에 적용하기에는 부적절하다. 따라서 스트리밍 XML 데이타에 맞는 저장 기법으로 적은 메모리의 사용을 통해 빠르게 조인 프레디킷을 만족하는 부분 스트리밍 데이타를 검색할 수 있는 새로운 기법이 요구된다. 본 논문에서는 적은 메모리 사용을 위한 저장 기법을 위해 PCDATA와 CDATA에 해당되는 부분만을 추출하여 저장한다. 그리고 빠른 조인 프레디킷(Predicate) 비교를 위해 DTD의 구조정보 중 지시자(Cardinality) "*" 와 "+"를 기초하여 영역 윈도우(Range Window)를 설정하여 질의에 만족하는 윈도우만을 선택적으로 조인하는 기법을 제안하여 문제를 해결한다.

스트림 데이터에서 슬라이딩 윈도우를 사용한 조인 연산의 효율에 관한 연구 (A Study on the Efficiency of Join Operation On Stream Data Using Sliding Windows)

  • 양영휴
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권2호
    • /
    • pp.149-157
    • /
    • 2012
  • 이 논문은 슬라이딩 윈도우를 사용하는 스트림 데이터에서 모든 조인 연산의 상태를 저장하기에 메모리가 충분하지 않을 경우에, 연속적인 슬라이딩 윈도우 조인 연산의 근사치 답을 구하는 문제에 대한 연구이다. 근사치를 구하는 두 가지 방법으로는 최대 부분집합으로 근사치를 구하는 방법과 조인 결과에서 임의의 결과를 택하는 방법이 있다. 전자는 잃어버리는 튜플의 수를 최소화 하고, 후자는 조인의 결과가 집계로 나타날 때 사용된다. 이 논문에서는 임의의 입력 데이터에 슬라이딩 윈도우가 사용되는 경우 두 가지 방법으로 얻는 근사치 모두 효율적이지 못함을 보여준다. 기존의 최대 부분집합에 의해 근사치를 구하는 모델에서는 빈도-기반 모델을 사용하였는데. 샘플링이 문제가 되었다. 오히려 스트림 도착한 이후의 연령-기반 모델이 많은 응용분야에서 더 적절하게 사용 될 수 있음을 보여주고 있다. 이 논문에서는 최대 부분 집합과 임의의 결과라는 두 가지 근사치 측정법을 분석, 그 효율성을 비교하여 보여 준다. 또한, 메모리가 제한 되어있는 환경에서 다중 조인 연산이 수행 될 경우에, 어떤 경우에도 근사치 측정을 최적화할 수 있도록, 조인 연산 전체에 필요한 메모리를 적절하게 할당하는 알고리즘의 효율성을 분석한다.

시공간 슬라이딩윈도우기법을 이용한 데이터스트림의 인과관계 결합질의처리방법 (Causality join query processing for data stream by spatio-temporal sliding window)

  • 권오제;이기준
    • Spatial Information Research
    • /
    • 제16권2호
    • /
    • pp.219-236
    • /
    • 2008
  • 센서로부터 획득되는 데이터 스트림은 스트림 데이터 간의 인과관계와 같은 다양한 유용한 정보를 포함한다. 센서 스트림에 대한 인과관계 조인질의는 스트림으로부터 인과관계의 (원인, 결과) 쌍을 찾아내는 것이다. 하지만 센서로부터 DSMS로 데이터가 전송될 때 발생하는 지연과 제한된 윈도우 크기로 인해 일부의 인과관계 결과 쌍이 손실될 수 있다. 본 논문에서는 먼저 데이터 스트림에서 인과관계 조인질의를 처리할 때 고려해야할 시간적, 공간적 그리고 시공간적 관점에 대해 관찰하고 이러한 관찰들을 고려한 다양한 슬라이딩 윈도우 처리 방법들을 제안한다. 제안된 방법들의 성능은 다양한 실험들을 통해 평가되어지는데 실험 결과들은 본 논문에서 제안된 방법들이 기존의 FIFO 방법에 비해 인과관계 질의 처리 결과가 더 정확함을 보여준다.

  • PDF

일반적인 다각형 모양의 질의 윈도우를 이용한 공간 선택 질의의 정제 전략 (A Refinement Strategy for Spatial Selection Queries with Generally Shaped Query Window)

  • 유준범;정진완
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.52-54
    • /
    • 2001
  • 공간 선택 질의에 사용되는 질의 윈도우로는 직사각형이 주로 사용된다. 하지만, 최근에는 GIS 등과 같은 응용 프로그램들이 성능 향상으로 인해 보다 다양한 종류의 응용이 등장하고 있으므로, 직사각형뿐만 아니라 임의의 다각형 형태의 질의 윈도우에도 적합한 정제 단계 수행 전략에 대해 고려해 볼 필요가 있다. 이러한 전략으로는 기존의 공간 조인에서와 같이 plane-sweep 알고리즘을 이용하는 방법이 일반적이다. 하지만, 공간 데이터와 질의 위도우의 특성을 관찰해보면, 일반적으로 질의 윈도우가 공간 데이터보다 훨씬 간단한 모양으로 구성되어 있음을 알 수 있으므로, 본 논문에서는 이러한 상황에 보다 적합한 정제 단계 수행 방법을 제시하고 있으며, 실험을 통하여 제시한 방법의 우수성을 입증하고 있다.

  • PDF