• 제목/요약/키워드: Join

검색결과 1,152건 처리시간 0.028초

Transformation of Continuous Aggregation Join Queries over Data Streams

  • Tran, Tri Minh;Lee, Byung-Suk
    • Journal of Computing Science and Engineering
    • /
    • 제3권1호
    • /
    • pp.27-58
    • /
    • 2009
  • Aggregation join queries are an important class of queries over data streams. These queries involve both join and aggregation operations, with window-based joins followed by an aggregation on the join output. All existing research address join query optimization and aggregation query optimization as separate problems. We observe that, by putting them within the same scope of query optimization, more efficient query execution plans are possible through more versatile query transformations. The enabling idea is to perform aggregation before join so that the join execution time may be reduced. There has been some research done on such query transformations in relational databases, but none has been done in data streams. Doing it in data streams brings new challenges due to the incremental and continuous arrival of tuples. These challenges are addressed in this paper. Specifically, we first present a query processing model geared to facilitate query transformations and propose a query transformation rule specialized to work with streams. The rule is simple and yet covers all possible cases of transformation. Then we present a generic query processing algorithm that works with all alternative query execution plans possible with the transformation, and develop the cost formulas of the query execution plans. Based on the processing algorithm, we validate the rule theoretically by proving the equivalence of query execution plans. Finally, through extensive experiments, we validate the cost formulas and study the performances of alternative query execution plans.

PRAM 기반의 조인 알고리즘 성능 비교 연구 (A Comparative Study of PRAM-based Join Algorithms)

  • 최용성;온병원;최규상;이인규
    • 정보과학회 논문지
    • /
    • 제42권3호
    • /
    • pp.379-389
    • /
    • 2015
  • Phase Change Memory (PCM 또는 PRAM), Magneto Resistive RAM (MRAM)과 같은 차세대 비휘발성 메모리가 등장하면서, Dynamic Random-Access Memory (DRAM)을 PRAM으로 대체하는 연구가 활발히 진행되고 있다. 본 논문에서는 PRAM을 메인 메모리로 사용하는 시스템에서 지금까지 널리 사용되고 있는 기존의 조인 알고리즘(블록 네스티드 조인, 소트-머지 조인, 그레이스 해시 조인, 하이브리드 해시 조인)들을 사용했을 때 발생하는 내구성과 성능 문제를 비교, 분석한다. 본 연구의 실험결과에 의하면 기존의 조인 알고리즘들을 PRAM에 맞게 재설계해야 하는 필요성이 제기되었다. 특히, 본 연구는 조인 알고리즘들을 PRAM에 적용했을 때 발생하는 이슈들을 과학적으로 규명한 첫 시도이다. 그리고 기존의 조인 알고리즘들을 PRAM에 적용했을 때 발생하는 내구성과 성능을 비교하기 위한 PRAM 기반의 시스템을 모델링하고 시뮬레이터를 구현한 것에 연구의 의의를 둘 수 있다.

XML 데이터베이스에서 효율적인 경로처리를 위한 구조적 세미조인 기법 (Structural Semi-Join Operators for Efficient Path Processing in XML Databases)

  • 손석현;신효섭
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권2호
    • /
    • pp.252-256
    • /
    • 2010
  • 구조적 조인은 효율적인 XML 질의 처리를 위한 핵심 연산자 중의 하나이다. 구조적 조인은 대용량의 XML 노드들을 대상으로 계층관계(조상-자손 및 부모-자식관계)를 형성하는 쌍을 효율적으로 계산한다는 측면에서, 경로패턴으로 표현된 질의를 처리하는 데 주로 사용될 수 있다. 하지만 구조적 조인 알고리즘은 XML의 경로 처리과정에서 많은 오버헤드를 야기 시킨다. 이에 대한 개선된 연산자인 구조적 세미조인은 효율적인 처리를 위하여 XML 노드간의 조인 결과를 조상노드 혹은 자손노드로 한정시키는 새로운 연산자이다. 본 논문에서는 구조적 세미조인 알고리즘을 소개하고, 구조적 세미조인을 이용한 경로처리 알고리즘을 제시한다. 실험을 통하여 개선된 방식의 구조적 세미조인 알고리즘이 XML 경로처리에 있어서 매우 효율적임을 보여준다.

빠른 XML질의 처리를 위한 세그먼트 조인 기법 (Segment Join Technique for Processing in Queries Fast)

  • 배진옥;문봉기;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권3호
    • /
    • pp.334-343
    • /
    • 2005
  • XML 데이타를 대상으로 선형 질의나 가지모양 질의 같은 복잡한 질의가 많이 연구되고 있다. 이와 같은 질의를 처리하기 위해 XML 데이타를 구조정보에 의해 미리 인코딩한 후, 질의 처리시 구조정보를 이용하여 빠르게 질의를 수행하는 구조 조인 알고리즘들이 제안되었다. 그 중 최근에 제안된 TwigStack 알고리즘과 TSGeneric 알고리즘은 각각 인덱스가 없는 환경과 있는 환경에서 수행시간이 입력 데이타의 양과 비례하는 최적의 성능을 보여주었다. 하지만 이들 알고리즘은 질의의 길이(질의에 나타난 엘리먼트 개수)에 비례하여 입력데이타의 양이 증가하고, 따라서 수행시간이 길어진다는 제한점이 있다. 이 논문에서는 기존의 구조 조인 알고리즘들에 구조 인덱스를 결함한 세그먼트 조인 기법을 제안한다. 이 기법은 질의 노드와 노드 간의 구조 조인과는 달리, 구조 인덱스를 이용하여 일련의 질의 노드들을 하나의 세그먼트로 식별한 후 세그먼트와 세그먼트 사이의 조인을 수행한다. 그 결과 세그먼트마다 하나의 질의 노드만을 읽음에 의해 질의를 처리할 수 있게 되어 수행성능이 향상된다. 다양한 데이타셋에 대해 인덱스가 없는 환경에서 실험 결과, 세그먼트 조인 기법을 적용한 SegmentTwig 알고리즘은 TwigStack 알고리즘보다 우수한 성능을 보였다.

분산 환경에서 전역 XQuery 질의의 조인 선택치 추정 방법 (Estimating Join Selectivity of Global XQuery Queries in Distributed Environments)

  • 박종현;강지훈
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권6호
    • /
    • pp.564-571
    • /
    • 2007
  • 분산환경에 XML 데이타들을 통합하기 위한 한가지 방법은 XML 뷰를 사용하는 것이다. 사용자는 XML을 위한 표준 질의어인 XQuery를 사용하여 분산된 XML 뷰들을 대상으로 전역 XQuery질의를 생성할 수 있다. 이렇게 생성된 전역 XQuery 질의는 분산된 이종 데이타들을 통합하고 검색하기 위하여 자연스럽게 지역 시스템들 사이의 조인 연산들을 포함한다. 그러나 조인은 비용이 많이 드는 연산자이므로 조인 연산을 효율적으로 처리하는 것은 전역 질의의 처리 성능과 직결된다. 그러므로 조인 연산을 처리하기 위한 다양한 연구들이 존재하며, 그 가운데 하나는 조인의 선택치를 추정하여 최소의 비용을 갖는 조인 순서를 선택하는 것이다. SQL 질의의 경우, 이미 전역 질의의 조인 선택치를 추정하고 이를 기반으로 그 처리 순서를 결정하기 위한 연구가 존재한다. 그러나, 테이블 구조의 데이타를 검색하기 위한 SQL 질의의 조인 선택치 추정 방법을 구조적인 XML 데이타를 검색하기 위한 XQuery질의를 위해서 그대로 사용하기에는 데이타의 구조적인 차이로 인해 문제가 있다. 그러므로 본 논문에서는 질의의 대상이 되는 XML 뷰들의 정보를 이용하여 XQuery 질의의 특성을 고려한 조인 선택치 추정 방법을 제안한다. 본 논문의 기여는 다음과 같다. 첫째, SQL 질의의 조인 선택치 추정 방법과 XQuery 질의의 방법 사이에 차이점을 분석한다. 둘째, XML 뷰를 참조하여 XQuery 질의의 처리를 위한 조인 선택치 추정 방법을 제안한다. 마지막으로, 성능 평가를 수행하여 제안하는 조인 선택치 추정 방법의 효율성을 입증한다.

An Efficient Block Index Scheme with Segmentation for Spatio-Textual Similarity Join

  • Xiang, Yiming;Zhuang, Yi;Jiang, Nan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권7호
    • /
    • pp.3578-3593
    • /
    • 2017
  • Given two collections of objects that carry both spatial and textual information in the form of tags, a $\text\underline{S}patio$-$\text\underline{T}extual$-based object $\text\underline{S}imilarity$ $\text\underline{JOIN}$ (ST-SJOIN) retrieves the pairs of objects that are textually similar and spatially close. In this paper, we have proposed a block index-based approach called BIST-JOIN to facilitate the efficient ST-SJOIN processing. In this approach, a dual-feature distance plane (DFDP) is first partitioned into some blocks based on four segmentation schemes, and the ST-SJOIN is then transformed into searching the object pairs falling in some affected blocks in the DFDP. Extensive experiments on real and synthetic datasets demonstrate that our proposed join method outperforms the state-of-the-art solutions.

맵리듀스 기반 kNN join 질의처리 알고리즘의 설계 및 성능평가 (Design and Performance Analysis of MapReduce-based kNN join Query Processing Algorithm)

  • 김태훈;이현조;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.733-736
    • /
    • 2014
  • 최근 대용량 데이터에 대한 효율적인 데이터 분석 기법이 활발히 연구되고 있다. 대표적인 기법으로는 맵리듀스 환경에서 보로노이 다이어그램을 이용한 k 최근접점 조인(VkNN-join) 알고리즘이 존재한다. VkNN-join 알고리즘은 부분집합 Ri에 연관된 부분집합 Sj만을 후보탐색 영역으로 선정하여 질의를 처리하기 때문에 질의처리 시간을 감소시킨다. 그러나 VkNN-join은 색인 구축 비용이 높으며, kNN 연산 오버헤드가 큰 문제점이 존재한다. 이를 해결하기 위해, 본 논문에서는 대용량 데이터 분석을 위한 맵리듀스 기반 kNN join 질의처리 알고리즘을 제안한다. 제안하는 알고리즘은 시드 기반의 동적 분할을 통해 색인구조 구축비용을 감소시킨다. 또한 시드 간 평균 거리를 기반으로 후보 영역을 선정함으로써, 연산 오버헤드를 감소시킨다. 아울러, 성능 평가를 통해 제안하는 기법이 질의처리 시간 측면에서 기존 기법에 비해 우수함을 나타낸다.

개선된 공간 해쉬 조인 알고리즘을 이용한 편중 데이터 처리 기법 (Skewed Data Handling Technique Using an Enhanced Spatial Hash Join Algorithm)

  • 심영복;이종연
    • 정보처리학회논문지D
    • /
    • 제12D권2호
    • /
    • pp.179-188
    • /
    • 2005
  • 지난 수년 동안 공간 데이터의 조인 연산에 대한 많은 연구가 진행되어 왔다. 본 논문에서는 공간 조인연산 시 인덱스가 존재하지 않을 경우, 후보 객체의 여과 단계 처리에 중점을 둔다. 이 분야에 대한 여러 알고리즘들이 제안되었으며 대부분의 경우 공간 데이터의 조인 연산 시 우수한 성능을 나타내고 있다. 하지만, 조인을 위한 입력 테이블의 객체들이 편중되어 분포할 경우 조인 성능이 급격히 저하되는 문제점을 가지고 있으며 이 문제를 해결하려는 연구는 미흡한 실정이다. 따라서, 본 논문에서는 공간 데이터의 편중 문제를 개선하기 위해 기존의 공간 조인 알고리즘 중 Spatial Hash Join 알고리즘과 SSSJ 알고리즘의 장점을 결합한 Spatial Hash Sip Join 알고리즘을 제안한다. 이 알고리즘을 SHJ 알고리즘의 객체 분포에 기반한 공간 분할 특성과 공간 조인 시 SSSJ 알고리즘의 우수한 I/O 특성을 이용한다. 본 논문에서 제안한 SHSJ 알고리즘의 성능 평가를 위해 Tiger/line 데이터를 사용하여 기존 SHJ 알고리즘과 성능을 비교 평가 하였으며 평가 결과 인덱스가 존재하지 않는 입력 테이블에 대한 공간 조인 연산 시 모든 평가 파라미터에 대해 기존의 SHJ 알고리즘보다 우수함이 검증되었다.