• 제목/요약/키워드: 공간조인

검색결과 135건 처리시간 0.031초

데이터 스트림에서 그래프 기반 기법을 이용한 슬라이딩 윈도우 다중 조인 처리 (Processing Sliding Window Multi-Joins using a Graph-Based Method over Data Streams)

  • 장량;거준위;김경배;이순조;배해영;유병섭
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권2호
    • /
    • pp.25-34
    • /
    • 2007
  • 데이터 스트림 환경에서 셋 이상의 스트림들에 대한 조인연산을 위해 순서를 선택하는 기존 기법들은 항상 간단한 휴리스틱 방법을 이용하였다 그러나 기존 기법들은 조인 선택도나 데이터 수신 비율과 같은 것만 고려하여 일반적인 응용에서 비효율적이며 낮은 성능을 갖는다. 본 논문에서는 최적의 조인 순서로 그래프 기반의 슬라이딩 윈도우 다중 조인 알고리즘을 제안한다. 이 기법에서 슬라이딩 윈도우 조인 그래프를 먼저 생성하는데, 정점(vertex)은 조인 연산으로 표현되고 엣지(edge)는 슬라이딩 윈도우들 사이의 조인관계를 나타낸다. 그리고 정점 가중치(vertex weight)와 엣지 가중치(edge weight)는 각각의 조인의 비용과 조인 연산들의 상호관계를 표현한다. 이때 데이터 스트림은 빠른 처리를 해야 하므로 메모리 기반의 그래프 기법을 사용한다. 이를 이용하여 최대값만을 이용하여 조인 연산을 수행하는 MVP 알고리즘을 개선하고 이의 그래프에서 최적의 조인 순서를 찾는다. 이를 통한 최종 결과는 중첩-루프(nested loop) 조인 계획을 수행하여 얻어진다. 성능비교를 통하여 제안기법이 기존 기법들보다 우수함을 증명한다.

  • PDF

고정 그리드를 이용한 병렬 공간 조인의 태스크 할당에 관한 연구 (A Study on Task Allocation of Parallel Spatial Joins using Fixed Grids)

  • 김진덕;서영덕;홍봉희
    • 정보처리학회논문지D
    • /
    • 제8D권4호
    • /
    • pp.347-360
    • /
    • 2001
  • 공간 조인은 두 개의 데이터 집합으로부터 공간적인 조건을 만족하는 두 객체 쌍의 집합을 구하는 것으로 비용이 매우 큰 연산자이다. 지난 수년동안 공간 조인의 순차 수행 시간은 많이 향상되었지만, 그 응답시간은 사용자의 요구를 만족시키지 못하고 있다. 따라서 최근 병렬 시스템을 이용하여 이러한 문제를 해결하려는 연구가 진행되고 있다. 그렇지만 프로세서의 수가 증가할수록 병렬 처리에 의한 프로세서의 효율성은 급격히 떨어진다. 이것은 병렬 공간 조인을 수행할 경우 순차 공간 조인 보 다 디스크 병목 현상과 메시지 전송 오버헤드가 심하게 발생하기 때문이다. 이 논문에서는 공유 디스크 구조에서 다중 프로세서의 디스크 동시 접근으로 인한 병목 현상을 완화하고, 메시지 전송을 최소화하기 위한 태스크 할당 방법을 제안한다. 제안한 태스크 할당 방법을 두 가지 공간 조인 기법에 각각 적용하여 디스크 접근 횟수와 메시지 전송 횟수의 감소 효과를 실험으로 평가한다. MIMD 구조 및 공유디스크 방식의 병렬 시스템에서의 다양한 실험에서 이 논문에서 제안한 준동적 태스크 할당 방법이 정적 할당과 동적 할당 방법에 비해 우수함을 보였다.

  • PDF

TB-Tree 를 이용한 이동객체 조인 알고리즘 (Moving Objects Join Algorithms using TB-Tree)

  • 이재호;이성호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.125-128
    • /
    • 2005
  • 이동 객체 데이터베이스 시스템에서 시공간 조인 연산은 이동 객체들의 결합을 위한 중요한 연산이며 수행 시간은 이동 객체의 수가 증가함에 따라 기하급수적으로 증가한다. 그러므로 효과적인 시공간 조인 연산이 필수적이다. 본 논문에서는 기존의 공간 조인에서 활용되었던 기법들을 이동객체 조인에 적용하였다. 이동 객체의 궤적에 대한 정보를 잘 유지하고 있는 시공간 색인인 TB-Tree 를 이용한 깊이 우선 탐색 기반과 넓이 우선 탐색 기반 TB-Tree 조인에 대한 알고리즘들을 제시하고 구현한 알고리즘들의 성능 비교한 실험 결과를 제시한다.

  • PDF

공간 해쉬 조인 알고리즘을 이용한 편중 데이터 처리 기법 (A Skewed Data Handling Method using Spatial Hash Join Algorithm)

  • 심영복;이종연
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.19-21
    • /
    • 2004
  • 이 논문은 인덱스가 존재하지 않는 두 입력 테이블의 공간 조인 연산 과정 중 여과 단계 처리에 중점을 둔다. 관련 연구는 Spatial Hash Join(SHJ)과 Scalable Sweeping-Based Spatial Join(SSSJ) 알고리즘이 대표적이다. 하지만 조인을 위한 입력 테이블의 객체들이 편중 분포할 경우 성능이 급격히 저하되는 문제를 가지고 있다. 따라서, 이 논문에서는 이러한 문제를 해결하기 위해 기존 SHJ 알고리즘과 SSSJ 알고리즘의 특성을 이용한 Spatial Hash Strip Join(SHSJ) 알고리즘을 제안한다. 기존 SHJ 알고리즘과의 차이점은 입력 데이터 집합을 버킷에 할당할 때 버킷 용량에 제한을 두지 않는다는 점과 버킷의 조인 단계에서 I/O 성능의 향상을 위해 우수한 SSSJ 알고리즘을 사용한다는 것이다. 끝으로 이 논문에서 제안한 SHSJ 알고리즘의 성능은 실제 Tiger/line 데이터를 이용하여 실험한 결과 기존의 SHJ와 SSSJ 알고리즘 보다 편중된 입력 테이블의 조인 연산에 대해 월등히 우수함이 검증되었다.

  • PDF

공간 데이터베이스에서 방향과 거리 관계가 혼합된 질의어로부터 점진적으로 가까운 객체 추출에 대한 연구 (Combining direction and distance ioperations for querying incrementally close objects)

  • 권준희;윤종필
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.317-319
    • /
    • 1999
  • 공간 데이터베이스에서 공간 데이터간의 근접성을 알아보아야 할 필요가 많이 발생한다. 이를 위해, 본 연구에서는 방향 관계와 거리 관계가 혼합된 형태의 질의에서 공간적으로 가까운 객체를 순서적으로 추출해내는 방법을 제안한다. 점진적 거리 조인 알고리즘을 근간으로 섹터 기반 모델을 적용하여 객체들을 순서적으로 추출할 수 있도록 한다. 섹터의 분류와 섹터들간 정렬 순서에 따라 추출된 값을 필요에 따라 제한조건의 조절이 가능하다는 장점이 있다. 또한, 점진적 거리조인 알고리즘에 있어서의 데이터 크기에 따른 성능 저하 문제도 어느 정도 해결할 수 있음을 기술하고 있다.

  • PDF

공간 네트워크 데이터베이스에서 POI 기반 실체화 기법을 이용한 Closest Pairs 및 e-distance 조인 질의처리 알고리즘 (Closest Pairs and e-distance Join Query Processing Algorithms using a POI-based Materialization Technique in Spatial Network Databases)

  • 김용기;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권3호
    • /
    • pp.67-80
    • /
    • 2007
  • 최근 LBS(location-based service) 및 텔레매틱스(telematics) 응용의 효율적인 지원을 위해, 기존 유클리디언(Euclidean) 공간 대신, 실제 도로나 철도와 같은 공간 네트워크(network)를 고려한 다수의 연구가 수행되었다. 그러나 Closest Pairs 질의 및 e-distance 조인 질의는, 하나의 POI(Point Of Interest)를 다루는 대신 POI 집합에 대하여 질의처리를 수행하기 때문에 매우 비용이 많이 든다. 아울러, k 값 및 범위의 증가에 따라 질의처리에 필요한 노드 검색 및 거리 계산의 비용이 매우 크게 증가한다. 따라서 본 논문에서는 공간 네트워크를 위한 효율적인 Closest Pairs 질의 및 e-distance 조인 질의 처리를 위해, POI 기반의 실체화 기법을 이용한 효율적인 질의처리 알고리즘을 제안한다. 아울러 기존 질의처리 알고리즘과의 성능 비교를 통하여 제안하는 알고리즘이 검색 성능이 우수함을 보인다.

  • PDF

병렬 공간 조인 시 정적 부하 균등화를 위한 작업 생성 및 할당 방법 ((Task Creation and Allocation for Static Load Balancing in Parallel Spatial Join)

  • 박윤필;염근혁
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권3호
    • /
    • pp.418-429
    • /
    • 2001
  • 현재의 지리 정보 시스템(GIS : Geographical Information System)은 컴퓨터 응용 시스템의 중요한 분야로서 도시 정보 시스템, 교통 정보 시스템 등에 활용되고 있다. 이들 응용 분야 는 대용량의 공간 데이터를 다루기 때문에 효율적인 공간 연산 수행을 위한 기본 연산자를 필요로 한다. 특히, 기본 연산자 중에서 공간 조인은 연산에 참여하는 객체의 수가 증가함에 따라 수행 시간이 지수적으로 증가하는 특성을 가지고 있으므로 빠른 응답 시간을 요구하는 시스템에는 부적합하다. 따라서 이러한 요구 사항을 만족시키기 위해서는 공간 조인의 효율 적인 병렬 수행이 필요하다. 본 논문에서는 공간 조인의 효율적인 병렬수행을 위하여 정적 부하 균등화를 위한 작업 생성 및 할당 방법을 제시한다. 이 방법은 공간 지역성을 고려하 여 작업을 생성하고, 비용 모댈을 통하여 작업량을 예측하여 표현한 뒤 작업 그래프로 나타 낸다. 그리고 생성된 작업 그래프를 그래프 분할 알고리즘을 통하여 균등하게 할당한다. 본 논문에서 제시된 방법은 독일 Parsytec 사의 CC16 병렬머쉰에서 실험한 결과로 볼 때, 기 존의 정적 할당을 통한 작업 생성 및 할당 방법에 비하여 각 프로세서간의 작업 수행시간의 편차를 줄임으로써 부하 균등화의 효과를 가져온다.

  • PDF

데이타와 질의의 이원성을 이용한 데이타스트림에서의 연속질의 처리 (Continuous Query Processing in Data Streams Using Duality of Data and Queries)

  • 임효상;이재길;이민재;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.310-326
    • /
    • 2006
  • 본 논문은 데이타스트림 환경에서 연속질의를 효율적으로 처리하는 방법을 다룬다. 먼저, 기존의 질의 처리 방법을 데이타 엘리먼트와 질의 중에서 어느 것을 먼저 선택하고 수행을 시작하느냐에 따라서, 서로 이원적인 두 가지 방법인 데이타-이니셔티브(data-initiative)와 질의-이니셔티브(query-initiative)로 분류한다. 이러한 분류는 기존의 질의 처리 연구에서 데이타와 질의를 서로 다르게(asymmetrically) 취급하였다는 것에 기인한다. 기존의 연속질의 처리에서는 이원적인 질의 처리 방법 중에서 데이타-이니셔티브 방법만이 사용되었기 때문에, 질의-이니셔티브 방법에서 얻을 수 있는 성능 상의 이점이 간과되었다. 이러한 문제를 해결하기 위해, 데이타와 질의를 동등하게(symmetrically) 볼 수 있다는 점에 착안한다. 본 논문에서는 데이타와 질의의 이원성 모델(Duality Model of Data and Queries)을 제안하고 이 모델에 기반하여 연속질의 처리 문제를 다차원 공간에서의 공간조인 문제로 변환하는 새로운 관점을 제시한다. 그리고, 공간조인 기반 연속질의 처리 알고리즘인 Spatial Join CQ를 제안한다. Spatial Join CQ는 다차원 공간상에 영역으로 표현된 데이타 엘리먼트들의 집합과 질의들의 집합으로부터 서로 겹치는 쌍을 찾음으로써 연속질의를 처리한다. 제안하는 알고리즘은 대칭적인(symmetric) 연산인 공간조인으로 겹치는 영역들을 찾아냄으로써 서로 이원적인 두 가지 질의 처리 방법의 효과를 동시에 얻는다. 성능 평가 결과, 제시하는 알고리즘은 기존의 방법에 비해서 단순 선택 연속질의는 최대 36배, 슬라이딩 윈도우 조인 연속질의는 최대 7배의 성능 향상을 보였다.

적응적 다단계 거리 조인의 최적화 기법 (Optimization Methods of Adaptive Multi-Stage Distance Joins)

  • 신효섭;문봉기;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권3호
    • /
    • pp.373-383
    • /
    • 2001
  • 거리조인은 두 공간 데이터 집합 사이의 데이터쌍을 거리 상 가까운 순으로 검색하는 공간조인이다. 본 논문에서는 [1]에서 제시한 적응식 다단계 거리 조인 기법을 최적화하기 위한 기법들을 제안한다. 첫째, 평면 스위핑 축 선택을 위해 사용되는 스위핑 인덱스 공식을 최적화한다. 둘째, 노드쌍을 관리하는데 사용한 메인큐의 성능 향상을 위하여 노드쌍의 최대 거리값을 큐의 2차 우선 순위로 적용하는 기법을 제안한다. 또한, 균등 분포 및 비균등 분포 가정하의 한계 거리값 예측 기법의 장단점을 비교한다. 실험 결과는 제안하는 기법들을 통하여 알고리즘의 성능이 CPU 비용과 I/O 비용 면에서 크게 향상되었음을 보여준다.

  • PDF

플래쉬 메모리 SSD 기반 해쉬 조인 알고리즘의 성능 평가 (Performance Evaluation of Hash Join Algorithm on Flash Memory SSDs)

  • 박장우;박상신;이상원;박찬익
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권11호
    • /
    • pp.1031-1040
    • /
    • 2010
  • 데이터베이스 관리 시스템의 핵심 알고리즘인 해쉬 조인은 해싱을 위한 메모리가 부족한 경우(즉, 해쉬 테이블 오버플로우) 디스크 입출력를 유발하게 된다 하드디스크를 임시 저장공간으로 사용할 경우, 해쉬 조인의 probing 단계에서 과도한 임의 읽기로 인해 I/O 시간이 성능을 저하시키게 된다. 한편, 플래시메모리 SSD가 저장장치로 각광을 받고 있으며, 머지않아 엔터프라이즈 환경에서 하드디스크를 대체할 것으로 예상 된다 하드디스크와 달리, 기계적인 동작 장치가 없는 플래시메모리 SSD의 경우 임의 읽기에서 빠른 성능을 보이기 때문에 해쉬 조인의 성능을 크게 향상시킬 수 있다. 본 논문에서는 플래시 메모리 SSD를 해쉬 조인을 위한 임시 저장공간으로 사용할 경우의 몇 가지 중요하고 현실적인 이슈들을 다룬다. 우선, 해쉬 조인의 I/O 패턴을 자세히 설명하고, 하드디스크에 비해 플래시메모리 SSD가 수십 배에 가까운 성능 향상을 보이는 이유를 설명한다. 다음으로, 클러스터 크기(즉, 해쉬 조인 알고리즘에서 사용하는 I/O 단위)가 성능에 미치는 영향을 제시하고 분석한다. 마지막으로, 하드디스크의 경우, DBMS의 질의 최적화기가 산출하는 비용이 실 수행시간과 편차가 클 수 있는데 반해, 플래시메모리 SSD의 경우 비용 산출을 정확히 하게 됨을 실험적으로 보인다. 결론적으로, 플래시메모리 SSD를 해쉬 조인을 위한 임시 저장공간으로 사용할 경우, 빠른 성능과 더불어 질의 최적화기의 비용 산출이 훨씬 더 신뢰할 수 있음을 보인다.