• Title/Summary/Keyword: 조인 질의

Search Result 1,324, Processing Time 0.03 seconds

Estimating Join Selectivity of Global XQuery Queries in Distributed Environments (분산 환경에서 전역 XQuery 질의의 조인 선택치 추정 방법)

  • Park, Jong-Hyun;Kang, Ji-Hoon
    • Journal of KIISE:Databases
    • /
    • v.34 no.6
    • /
    • pp.564-571
    • /
    • 2007
  • One of the methods for integrating XML data in distributed environments is using XML view. User can query toward distributed local XML views by using global XQuery queries in XQuery which is a standard query language for searching XML data. The global XQuery queries naturally contain join operations because of integrating and searching distributed heterogeneous data. Since join operations are generally expensive for processing a query, its processing technique is very important for efficient processing of global XQuery queries. Therefore there are some studies on the efficient processing of join operations and one of these studies is that selects minimum join cost by estimating a join selectivity. In case of SQL, there are already some researches for estimating a join selectivity and join cost of global SQL queries. However we can not apply their methods for estimating the selectivity of join operations in SQL queries into XQuery queries because of the structural difference between relational data and XML data. Therefore this paper proposes a method for estimating a selectivity of join operations in XQuery queries using the information of XML views. Our contribution is three threefold. First, we define the difference point for estimating join selectivity between SQL and XQuery. Second, we estimate join selectivity in XQuery queries by referring XML views. Third, we evaluate our estimating method.

Conjunctive Boolean Query Optimization based on Join Sequence Separability in Information Retrieval Systems (정보검색시스템에서 조인 시퀀스 분리성 기반 논리곱 불리언 질의 최적화)

  • 박병권;한욱신;황규영
    • Journal of KIISE:Databases
    • /
    • v.31 no.4
    • /
    • pp.395-408
    • /
    • 2004
  • A conjunctive Boolean text query refers to a query that searches for tort documents containing all of the specified keywords, and is the most frequently used query form in information retrieval systems. Typically, the query specifies a long list of keywords for better precision, and in this case, the order of keyword processing has a significant impact on the query speed. Currently known approaches to this ordering are based on heuristics and, therefore, cannot guarantee an optimal ordering. We can use a systematic approach by leveraging a database query processing algorithm like the dynamic programming, but it is not suitable for a text query with a typically long list of keywords because of the algorithm's exponential run-time (Ο(n2$^{n-1}$)) for n keywords. Considering these problems, we propose a new approach based on a property called the join sequence separability. This property states that the optimal join sequence is separable into two subsequences of different join methods under a certain condition on the joined relations, and this property enables us to find a globally optimal join sequence in Ο(n2$^{n-1}$). In this paper we describe the property formally, present an optimization algorithm based on the property, prove that the algorithm finds an optimal join sequence, and validate our approach through simulation using an analytic cost model. Comparison with the heuristic text query optimization approaches shows a maximum of 100 times faster query processing, and comparison with the dynamic programming approach shows exponentially faster query optimization (e.g., 600 times for a 10-keyword query).

Efficient k-Nearest Neighbor Join Query Processing Algorithm using MapReduce (맵리듀스를 이용한 효율적인 k-NN 조인 질의처리 알고리즘)

  • Yun, Deulnyeok;Jang, Miyoung;Chang, Jaewoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.11a
    • /
    • pp.767-770
    • /
    • 2014
  • 대용량 데이터를 분석하기 위한 맵리듀스 기반 k-NN 조인 질의처리 알고리즘은 최근 데이터 마이닝 및 분석을 기반으로 하는 응용 분야에서 매우 중요하게 활용되고 있다. 그러나, 대표적인 연구인 보로노이 기반 k-NN 조인 질의처리 알고리즘은 보로노이 인덱스 구축 비용이 매우 크기 때문에 대용량 데이터에 적합하지 못하다. 아울러 보로노이 셀 정보를 저장하기 위해 사용하는 R-트리는 맵리듀스 환경의 분산 병렬 처리에 적합하지 않다. 따라서 본 논문에서는 새로운 그리드 인덱스 기반의 k-NN 조인 질의 처리 알고리즘을 제안한다. 첫째, 높은 인덱스 구축 비용 문제를 해결하기 위해, 데이터 분포를 고려한 동적 그리드 인덱스 생성 기법을 제안한다. 둘째, 맵리듀스 환경에서 효율적으로 k-NN 조인 질의를 수행하기 위해, 인접셀 정보를 시그니처로 활용하는 후보영역 탐색 및 필터링 알고리즘을 제안한다. 마지막으로 성능 평가를 통해 제안하는 기법이 질의 처리 시간 측면에서 기존 기법에 비해 최대 3배 높은 질의 처리 성능을 나타냄을 보인다.

An Efficient Inverted Index Technique based on RDBMS for Keyword Search (키워드 검색에 대한 RDBMS에 기반을 둔 효율적인 역색인 기법)

  • Shin, Yoonmi;Jeon, Minhyuk;Ahn, Jinhyun;Im, Dong-Hyuk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.357-359
    • /
    • 2019
  • RDBMS 상에서 문서에 포함된 키워드 검색을 위한 질의 시 병합 조인 방식을 통해 키워드 검색을 시도하게 된다. 그러나 대용량의 문서를 저장하고 있는 RDBMS 내에서 병합 조인을 사용 시 검색 키워드에 대해 불필요한 비교 연산으로 인하여 질의 문에 대한 검색시간이 길어질 수 있다. 본 논문은 행 지향 관계형 역 색인을 이용하여 키워드 검색 질의 시 병합 조인의 단점을 보완한 지그재그 병합 조인 알고리즘을 사용한다. 관계형 데이터베이스인 postgreSQL 에서 프로시저로 불필요한 비교 연산을 최소화한 지그재그 병합 조인 알고리즘을 구현하여 키워드 검색에 대한 질의 속도 향상을 확인하였다.

Structural join mechanism for efficient query in XML document (XML 문서에서 효율적인 질의를 위한 구조 조인 메커니즘)

  • Lee Myung-Jin;Kim Hee-Kyung;Chae Ki-Joon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06c
    • /
    • pp.100-102
    • /
    • 2006
  • 인터넷 환경에서 데이터 저장과 전송을 위한 표준으로 XML이 부각되고 있다. 이에 따라 XML자체에 대한 관심뿐 아니라 XML 질의 처리를 위한 연구도 활발하게 이루어지고 있다. 이러한 연구는 XML문서 자체의 내용 뿐 아니라 구조에 대한 질의에 대해서도 진행되고 있다. 구조에 대한 질의를 위해 경로 질의가 사용되고 있으며, 최근 경로 질의를 효과적으로 처리하기 위하여 여러 가지 색인 기법들이 연구되고 있다. 본 연구에서는 기존에 제안된 대표적인 두 가지 색인기법인, 경로 색인 기법과 구조 조인 기법에 대한 특징에 대해 살펴보고, 구조 조인 기법에 대한 기존연구의 알고리즘의 성능을 개선시킬 수 있는 메커니즘을 제안하였다. 기존 연구에서는 질의에 해당하는 모든 엘리먼트들을 비교하여 결과를 뽑아내지만 제안한 메커니즘은 입력 값의 형태를 변형하여 비교하는 엘리먼트의 수를 줄여 더 적은 조인연산을 수행함으로서 성능을 향상시킬 수 있었다. 이러한 결과를 4절에서 실험을 통해 검증하였다. 실험 결과 기존 방법에 비해 실험한 질의에 따라 최대 34%, 최소 7%의 성능 향상을 이룰 수 있었다.

  • PDF

Processing Multiple Continuous Queries by sharing common join operations (공통 조인 작업 공유를 통한 다중 연속 질의 처리)

  • Park, Hong-Kyu;Lee, Won-Suk
    • 한국IT서비스학회:학술대회논문집
    • /
    • 2008.11a
    • /
    • pp.187-190
    • /
    • 2008
  • 데이터 스트림이란 제한 없이 끊임없이 흘러 들어오는 일련의 많은 양의 데이터 객체들을 의미하며, 센서 데이터 처리, 인터넷 트래픽 분석, 웹 서버 로그와 같은 다양한 트랜잭션 로그 분석등과 관련된 수많은 응용 분야에 적용 가능하기 때문에 이들을 처리 하기 위해 많은 연구가 진행되었다. 데이트 스트림을 처리하기 위해서는 미리 등록된 질의들(연속 질의)을 새롭게 들어오는 스트림 데이터들로 계산하여 그 결과를 계속적으로 생성하여야 하므로 연속 질의들은 스트림 데이터가 들어올 때마다 반복적으로 수행되며, 데이터 스트림은 매우 빠르게 입력되는 특성을 가지고 있기 때문에 보다 빠르게 질의를 처리하여야만 한다. 본 논문에서는 다수의 조인 연속 질의들이 시스템에 등록되어 있을 때, 이들을 보다 빠르게 처리할 수 있도록 여러 개의 질의에 반복적으로 적용되는 조인 연산들을 공유함으로써 최적의 질의 계획을 생성하는 기법을 제안한다.

  • PDF

Hash Join Performance on Flash SSD in OLTP Environment (OLTP 환경에서의 플래시 SSD 기반 해시 조인 성능에 대한 고찰)

  • Koo, Dong-Hyun;Sim, Jun-Hyeon;Kim, Kang-Nyeon;Lee, Sang-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.1291-1293
    • /
    • 2011
  • OLTP(online transaction processing) 환경은 다수의 사용자의 질의 및 요청을 처리하기 위한 데이터베이스 환경으로서 신속하고 정확한 질의 처리가 요구된다. 조인 연산은 이러한 데이터베이스 관리 시스템에서 자주 처리하게 되는 질의 가운데 하나이며, 그 중에서도 해시 조인은 현재 가장 좋은 성능을 보인다고 알려진 조인 알고리즘이다. 이 논문에서는 직접 해시 조인을 구현하여 읽기 및 쓰기 버퍼의 크기가 제한되었을 때 SSD와 하드디스크에서 해시 조인의 성능을 비교하고, 나아가 다수의 사용자가 동시에 여러 개의 조인 연산을 요청했을 때의 상황을 시뮬레이션 하여 SSD에서의 최적화 방안을 생각해본다.

Analysis of Parallel and Sequential processing for integrated XQuery query (통합 XQuery 질의의 병렬처리와 순차처리 성능분석)

  • Kang, Soon-Jong;Park, Jong-Hyun;Kang, Ji-Hoon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.214-217
    • /
    • 2006
  • XML 문서의 검색을 위한 질의 언어인 XQuery는 다양한 데이터 소스로부터 가져온 고유한 구조를 가진 질의 결과로 구성할 수 있도록 설계되어 XML질의 언어의 표준이 되었다. XQuery를 이용해 특별히, 분산 환경에서 다중 XML문서 를 대상으로 하는 통합 질의의 경우, 질의 처리 계획을 결정하는 것은 처리 효율과 직결된다. 따라서 질의 처리 계획을 결정하는 요소 중 하나인 조인 처리 방법의 연구는 중요하다. 그러나 통합 질의에서 조인구조를 기준으로 단일 XML문서에 대한 질의 처리방법을 결정하는 것은 쉽지 않다. 본 논문에서는 분산환경에서 다중 XML문서를 대상으로 하는 조인을 포함한 다양한 통합 질의를 대상으로 실험을 통해 병렬처리 방법과 순차처리 방법 그리고 두 가지 처리방법을 조합한 하이브리드 방법을 적용하여 처리 시간을 비교 분석하고, 다중 문서에 대한 효율적인 조인방법과 순서를 모색한다.

  • PDF

Sharing Multiple Continuous MJoins for Window Queries over Data Streams (데이터 스트림 윈도우 질의를 위한 다중의 연속 MJoin 연산자 공유 처리)

  • Lee, Hun-Joo;Park, Seog
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06c
    • /
    • pp.43-48
    • /
    • 2007
  • 데이터 스트림 관리 시스템에서 조인 연산자는 질의가 내포하는 여러 연산자들 가운데 상대적인 계산비용이 높은 연산자로, 센서 네트워크와 같이 한정적 정보들이 개별적으로 입력되는 환경에서는 필연적으로 요구된다. 데이터 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 하며, 종합적인 결과를 얻기 위해 조인 연산자가 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우 제약사항과 MJoin의 특성을 반영하여 전역적으로 공유된 질의 실행 계획 수립 및 처리에 관한 문제를 다룬다. 이러한 다중 MJoin에 대한 전역 공유 질의 실행 계획 수립 문제가 NP-Hard임을 증명하고, 근사화 접근 방법을 제안한다. 또한 전역적으로 공유된 질의 실행 계획을 올바르게 수행할 수 있는 처리 기법을 제안한다. 이러한 연구의 노력은 데이터 스트림 환경에서 효율적인 다중 질의 최적화 및 처리기법의 기초 연구로 활용될 수 있다.

  • PDF

An Energy-Efficient In-Network Join Query Processing using Synopsis and Encoding in Sensor Network (센서 네트워크에서 시놉시스와 인코딩을 이용한 에너지 효율적인 인-네트워크 조인 질의 처리)

  • Yeo, Myung-Ho;Jang, Yong-Jin;Kim, Hyun-Ju;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.11 no.2
    • /
    • pp.126-134
    • /
    • 2011
  • Recently, many researchers are interested in using join queries to correlate sensor readings stored in different regions. In the conventional algorithm, the preliminary join coordinator collects the synopsis from sensor nodes and determines a set of sensor readings that are required for processing the join query. Then, the base station collects only a part of sensor readings instead of whole readings and performs the final join process. However, it has a problem that incurs communication overhead for processing the preliminary join. In this paper, we propose a novel energy-efficient in-network join scheme that solves such a problem. The proposed scheme determines a preliminary join coordinator located to minimize the communication cost for the preliminary join. The coordinator prunes data that do not contribute to the join result and performs the compression of sensor readings in the early stage of the join processing. Therefore, the base station just collects a part of compressed sensor readings with the decompression table and determines the join result from them. In the result, the proposed scheme reduces communication costs for the preliminary join processing and prolongs the network lifetime.