• 제목/요약/키워드: query index

검색결과 411건 처리시간 0.023초

CONTINUOUS QUERY PROCESSING IN A DATA STREAM ENVIRONMENT

  • Lee, Dong-Gyu;Lee, Bong-Jae;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.3-5
    • /
    • 2007
  • Many continuous queries are important to be process efficiently in a data stream environment. It is applied a query index technique that takes linear performance irrespective of the number and width of intervals for processing many continuous queries. Previous researches are not able to support the dynamic insertion and deletion to arrange intervals for constructing an index previously. It shows that the insertion and search performance is slowed by the number and width of interval inserted. Many intervals have to be inserted and searched linearly in a data stream environment. Therefore, we propose Hashed Multiple Lists in order to process continuous queries linearly. Proposed technique shows fast linear search performance. It can be utilized the systems applying a sensor network, and preprocessing technique of spatiotemporal data mining.

  • PDF

Query Optimization on Large Scale Nested Data with Service Tree and Frequent Trajectory

  • Wang, Li;Wang, Guodong
    • Journal of Information Processing Systems
    • /
    • 제17권1호
    • /
    • pp.37-50
    • /
    • 2021
  • Query applications based on nested data, the most commonly used form of data representation on the web, especially precise query, is becoming more extensively used. MapReduce, a distributed architecture with parallel computing power, provides a good solution for big data processing. However, in practical application, query requests are usually concurrent, which causes bottlenecks in server processing. To solve this problem, this paper first combines a column storage structure and an inverted index to build index for nested data on MapReduce. On this basis, this paper puts forward an optimization strategy which combines query execution service tree and frequent sub-query trajectory to reduce the response time of frequent queries and further improve the efficiency of multi-user concurrent queries on large scale nested data. Experiments show that this method greatly improves the efficiency of nested data query.

QUISIS: Interval Skip List를 활용한 질의 색인 기법 (QUISIS: A Query Index Method Using Interval Skip List)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권3호
    • /
    • pp.297-304
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리(stream data processing)와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 스트림 데이터 환경에서는 복수 개의 질의들이 미리 등록되고 후에 도착되는 데이터는 등록된 질의들에 의하여 평가된다. 따라서 질의 성능을 향상시키기 위하여, 스트림 데이터 처리 시스템을 위한 다양한 연속성 질의 색인 방법들이 제안되었다. 본 논문에서는 스트림 데이터를 위한 질의 색인에 대하여 다룬다. 일반적으로, 스트림 질의는 간격 조건식을 포함하고 있다. 따라서, 간격 조건식을 이용하여, 질의들을 색인화할 수 있다. 이 논문에서, 탐색 속도를 향상시키기 위하여, Interval Skip List를 수정한 효율적인 질의 색인 방법, QUISIS를 제안한다. QUISIS는 최근 데이터 값이 근 미래에 도착하는 값과 비슷하다는 지역성을 활용한다. 성능 평가를 통하여, 본 논문에서 제안하는 기법의 효율성을 보인다.

RFID 태그 데이타의 연속질의 처리를 위한 질의 색인 (A Query Index for Processing Continuous Queries over RFID Tag Data)

  • 석수욱;박재관;홍봉희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권2호
    • /
    • pp.166-178
    • /
    • 2007
  • RFID 기술 표준화를 추진하고 있는 EPCglobal의 ALE(Application Level Event)는 응용 애플리케이션과 RFID 미들웨어 사이의 인터페이스로서 ECSpec(Event Cycle Specification)과 ECReports(Event Cycle Reports)를 정의하고 있다. ECSpec은 애플리케이션이 원하는 태그 데이타에 대한 명세이며, ECReports는 ECSpec이 제시한 조건에 적합한 결과를 보고하기 위한 것이다. ECSpec은 애플리케이션이 미들웨어에 등록하는 이벤트 여과를 위한 명세로서 일정 시간 동안 반복적으로 수행되는 연속질의(continuous query)와 유사한 특성을 가진다. ECSpec을 연속질의로 변환할 때 해당 질의가 가지는 술어(Predicate)는 매우 긴 길이를 가지는 간격이 된다. 기존 질의색인들은 긴 간격 데이타에 의해 삽입과 검색 성능이 저하되는 문제점이 있다. 이 논문에서는 ECSpec을 연속질의의 형태로 변환하고 해당 질의가 가지는 술어인 2차원 간격의 특성을 반영한 새로운 질의 색인 구조로써 TLC-Index를 제안한다. 색인 구조는 그리드 방식의 큰 크기를 가지는 셀 분할 구조와 선분 모양의 가상 분할 구조를 병행하는 하이브리드 구조이다. TLC-index는 긴 간격을 큰 크기를 가지는 셀 분할 구조로 분할 삽입함으로써 저장 공간의 소모를 줄이고 삽입 성능을 향상 시킨다. 또한 짧은 간격들을 짧은 길이를 가지는 가상 분할 구조들로 분할 삽입함으로써 그리드 방식이 가질 수 있는 부분적 겹침을 제거하여 검색 성능을 향상시킨다.

공간 네트워크상의 이동객체를 위한 궤적기반 색인구조의 설계 및 구현 (Design and Implementation of a Trajectory-based Index Structure for Moving Objects on a Spatial Network)

  • 엄정호;장재우
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권2호
    • /
    • pp.169-181
    • /
    • 2008
  • 대부분의 이동객체들은 공간 네트워크상을 움직이기 때문에, 그들의 궤적을 효과적으로 색인 검색할 수 있는 궤적 기반 색인 구조가 필요하다. 하지만 도로와 같은 공간 네트워크상의 궤적 기반 색인 구조에 대한 연구는 FNR-트리나 MON-트리와 같은 연구가 진행되었을 뿐 연구가 많이 진행되어 있지 않다. 하지만, FNR-트리나 MON-트리 또한 이동객체의 세그먼트만을 저장할 뿐 전체 궤적을 유지하지 못하여, 궤적 질의에 대해 비효율적이다. 따라서 본 논문에서는 공간 네트워크상의 이동객체를 위한 궤적기반 색인 구조인 TMN -Tree(Trajectory of Moving objects on Network-Tree)를 제안한다. 이를 위해, 이동객체를 공간과 시간 특성으로 분류하고, 궤적을 유지함으로써 영역질의와 궤적질의를 동시에 처리할 수 있는 색인 구조를 설계한다. 아울러, 사용자 질의를 시공간영역 내 궤적 질의, 시간영역 내 유사궤적 질의, k-최근접 질의로 분류하고, 이들을 처리하기 위한 질의 처리 알고리즘을 제안한다. 마지막으로 본 논문에서 제안한 궤적 기반 색인 구조가 기존의 색인구조인 FNR-Tree, MON-Tree보다 성능이 향상되었음을 보여준다.

공간 순서화 곡선을 이용한 다차원 영역 질의 처리 (A Multi-dimensional Range Query Processing using Space Filling Curves)

  • 백현;원정임;윤지희
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권2호
    • /
    • pp.13-38
    • /
    • 2006
  • 다차원 공간 객체를 위한 영역 질의는 다차원 공간상에서 질의 영역과 교차 또는 포함되는 객체들을 검색하는 가장 기본적인 공간 연산이다. 영역 질의 처리를 위한 인덱스 기법으로서 공간 순서화 곡선을 이용하여 다차원 공간 객체의 MBR 정보를 1차원 값으로 변환하여 저장하는 DOT(DOuble Transformation) 인덱스 기법이 알려져 있다. 이 기법은 데이터베이스 시스템의 주색인 기법을 그대로 적용할 수 있는 장점을 갖으나, 중간 공간에 설정된 다차원 질의 영역을 최종 공간상의 1차원 값의 집합으로 변환하는 공간 변환 연산에 대한 오버헤드가 매우 크다는 문제점이 있으며, 원 공간을 2차원 이상으로 확장하여 적용할 수 있는 구체적인 영역 질의 방법이 연구된 바 없다. 본 논문에서는 다차원 공간 질의 영역 상의 공간 순서화 곡선의 규칙성을 분석함으로써 공간 변환 연산의 횟수를 대폭 감소시킨 효율적인 다차원 공간 영역 질의 처리 기법을 제안한다. 제안된 기법에서는 공간 변환 연산의 비용을 감소시키기 위하여 질의 영역을 공간 순서화 곡선이 연속 운행되는 최대 크기의 쿼터로 분할하는 쿼터 분할 기법을 사용한다. 제안된 기법에 의한 다차원 영역 질의 처리 과정을 시각적으로 확인할 수 있는 시뮬레이터를 구현하였으며, 이를 이용한 성능평가 결과를 보였다.

  • PDF

짧은 구간을 갖는 범위 질의의 효율적인 질의 색인 기법 (Efficient Query Indexing for Short Interval Query)

  • 김재인;송명진;한대영;김대인;황부현
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.507-516
    • /
    • 2009
  • 데이터 스트림 환경에서는 지속적으로 입력되는 데이터에 대한 실시간 처리를 수행하기 위하여 범위를 갖는 다수의 질의를 시스템에 미리 등록한다. 등록된 질의를 입력 스트림에 따라 빠르게 검색하기 위해 질의 색인 기법을 사용하는데, 질의 색인은 메인 메모리 기반에서 동작하기 위해 색인 정보의 저장 비용이 낮아야 하고 빠른 질의 탐색을 실시해야 한다. 본 논문에서는 다수의 범위 질의에 대하여 색인 정보의 저장 비용이 낮고 빠른 질의 탐색을 실시하는 질의 색인 기법으로 LVC-based(Limited Virtual Construct-based) 기법을 제안한다. 해시기반으로 동작하는 LVC-based 색인 기법은 입력 스트림의 범위를 가상의 분할 구조로 나눈 LVC를 이용한다. 각 LVC는 식별자가 할당되고 각 LVC에 구간에 해당하는 범위 질의를 저장하며 색인을 실시한다. LVC-based 기법은 입력 스트림의 범위가 길고 범위가 짧은 다수의 질의를 색인할 때 저장비용과 탐색 비용에서 좋은 효율을 보이며 이는 기 제안된 CEI-based 색인 기법과의 비교를 통하여 입증하였다.

효율적인 XML 질의 처리를 위한 적응형 경로 인덱스 (Adaptive Path Index for Efficient U Query Processing)

  • 민준기;심규석;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권1호
    • /
    • pp.61-71
    • /
    • 2004
  • XML은 정형적(regular) 구조로부터 비정형적(irregular) 구조, 평탄한(flat) 구조로부터 깊게 내포된(deeply nested) 구조에 이르기까지 다양한 형태의 자료를 표현할 수 있다. 따라서, 현재 XML은 효율적인 데이타 교환 및 통합 기능을 제공하면서 웹 문서 표준으로 부각되고 있다. 또한, XML로 표현되어 있는 정보를 검색하기 위한 다양한 질의 언어들이 제안되었다. XPath와 XQuery같은 XML 질의 언어들은 XML 엘리먼트(element)로 이루어진 비정형적 구조를 탐색하기 위하여 경로 표현식(path expression)을 기반으로 한다. 이러한 경로 표현식을 효율적으로 처리하기 위하여 다양한 경로 인덱스들이 제안되었으나, 기존의 경로 인덱스들은 XML 데이타의 구조 정보만을 이용하여 생성된다. 따라서, 본 논문에서는 XML 데이타의 구조 정보와 질의 부하(workload)를 이용한 적응형 경로 인덱스를 제안한다. 본 논문에서 제안하는 적응형 경로 인덱스는 질의 성능을 향상하기 위하여 해쉬 트리와 그래프 구조를 이용하여 자주 사용되는 경로 정보와 XML 데이타의 구조 요약을 관리한다. 실험 결과로서, 적응형 경로 인덱스가 기존의 경로 인덱스들에 비하야 평균적으로 2배에서 69배 좋은 성능을 보였다.

Developing a Dynamic Materialized View Index for Efficiently Discovering Usable Views for Progressive Queries

  • Zhu, Chao;Zhu, Qiang;Zuzarte, Calisto;Ma, Wenbin
    • Journal of Information Processing Systems
    • /
    • 제9권4호
    • /
    • pp.511-537
    • /
    • 2013
  • Numerous data intensive applications demand the efficient processing of a new type of query, which is called a progressive query (PQ). A PQ consists of a set of unpredictable but inter-related step-queries (SQ) that are specified by its user in a sequence of steps. A conventional DBMS was not designed to efficiently process such PQs. In our earlier work, we introduced a materialized view based approach for efficiently processing PQs, where the focus was on selecting promising views for materialization. The problem of how to efficiently find usable views from the materialized set in order to answer the SQs for a PQ remains open. In this paper, we present a new index technique, called the Dynamic Materialized View Index (DMVI), to rapidly discover usable views for answering a given SQ. The structure of the proposed index is a special ordered tree where the SQ domain tables are used as search keys and some bitmaps are kept at the leaf nodes for refined filtering. A two-level priority rule is adopted to order domain tables in the tree, which facilitates the efficient maintenance of the tree by taking into account the dynamic characteristics of various types of materialized views for PQs. The bitmap encoding methods and the strategies/algorithms to construct, search, and maintain the DMVI are suggested. The extensive experimental results demonstrate that our index technique is quite promising in improving the performance of the materialized view based query processing approach for PQs.

RFID 태그 데이타 색인의 질의 성능 향상을 위한 불균형 삽입 정책 (Disproportional Insertion Policy for Improving Query Performance in RFID Tag Data Indices)

  • 김기홍;홍봉희;안성우
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권5호
    • /
    • pp.432-446
    • /
    • 2008
  • RFID 기술을 기반으로 한 자동화 제조, 재고 관리, 공급망 관리와 같은 응용에서 RFID 태그를 부착한 객체의 위치를 추적하는 질의는 가장 중요한 요구사항 중의 하나이다. 태그의 위치추적 질의를 지원하기 위해서 기존의 연구에서는 태그 아이디, 리더 아이디, 시간을 도메인으로 하는 색인을 제시하고 있으며 이는 이동체 색인을 기반으로 한다. 이동체 색인에서와 달리 RFE 태그를 위한 색인의 도메인은 도메인간의 크기 차이가 매우 크며 질의 영역이 차지하는 크기의 비율이 리더 아이디 도메인에 편중되는 특징이 있다. 그러나, 기존의 RFB 태그를 위한 색인에서는 이동체 색인과는 다른 도메인의 특징을 고려하지 않음으로써 질의 영역과 색인 노드간의 불필요한 겹침을 유발시키며 이로 인해 태그 객체 검색 시 많은 노드 접근이 발생하게 되는 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 R*-tree를 기반으로 한 RFID 태그 데이타 색인의 불균형 삽입정책과 분할 정책을 제안한다. 제안된 방법은 각 도메인의 가중치와 노드의 가장자리 정보를 사용하여 가중치가 적용된 가장자리 값을 구한다. 데이타를 삽입할 때 이를 사용함으로써 데이타가 삽입될 하위트리를 선택하며 노드 분할 방법을 선택한다. 제안된 불균형 삽입 정책은 질의 영역과 MBR 간의 겹침을 줄임으로써 영역질의 수행 시 노드 접근 비용을 감소시켜 준다. 실험 결과 이 논문에서 제안된 불균형 삽입 정책을 적용한 색인은 기존의 삽입 정책을 사용하는 색인에 비하여 우수한 질의 성능을 보여줌을 확인할 수 있다.