• 제목/요약/키워드: Query processing

검색결과 1,426건 처리시간 0.035초

맵리듀스에서 집계 질의 스트림의 효율적인 처리 기법 (Efficient Processing of an Aggregate Query Stream in MapReduce)

  • 최현진;이기용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권2호
    • /
    • pp.73-80
    • /
    • 2014
  • 맵리듀스는 빅데이터 분석 및 처리에 널리 사용되는 프로그래밍 모델이다. 빅데이터 분석을 위해 흔히 사용되는 질의 중 하나는 집계 질의(aggregate query)이다. 본 논문에서는 여러 사용자가 동시에 여러 집계 질의를 계속해서 요청하는 경우, 맵리듀스를 사용하여 이들 질의를 효율적으로 처리하는 방법을 제안한다. 제안 방법은 각 집계 질의를 개별적으로 처리하지 않고, 여러 집계 질의를 묶어 하나의 최적화된 맵리듀스 잡(job)으로 만들어 일괄 처리한다. 그 결과로 제안 방법은 단순 방법에 비해 시간당 처리하는 질의 수를 크게 증가시킨다. 성능 평가를 통해, 제안 방법은 단순 방법에 비해 질의 처리 속도를 크게 향상시킴을 보인다.

도로망에서 움직이는 k-최원접 이웃 질의를 위한 일괄 처리 알고리즘 (Batch Processing Algorithm for Moving k-Farthest Neighbor Queries in Road Networks)

  • 조형주
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.223-224
    • /
    • 2021
  • Recently, k-farthest neighbor (kFN) queries have not as much attention as k-nearest neighbor (kNN) queries. Therefore, this study considers moving k-farthest neighbor (MkFN) queries for spatial network databases. Given a positive integer k, a moving query point q, and a set of data points P, MkFN queries can constantly retrieve k data points that are farthest from the query point q. The challenge with processing MkFN queries in spatial networks is to avoid unnecessary or superfluous distance calculations between the query and associated data points. This study proposes a batch processing algorithm, called MOFA, to enable efficient processing of MkFN queries in spatial networks. MOFA aims to avoid dispensable distance computations based on the clustering of both query and data points. Moreover, a time complexity analysis is presented to clarify the effect of the clustering method on the query processing time. Extensive experiments using real-world roadmaps demonstrated the efficiency and scalability of the MOFA when compared with a conventional solution.

  • PDF

이동객체의 궤적에 대한 연속 최근접 질의에 관한 연구 (Study on Continuous Nearest Neighbor Query on Trajectory of Moving Objects)

  • 정지문
    • 한국디지털정책학회:학술대회논문집
    • /
    • 한국디지털정책학회 2005년도 춘계학술대회
    • /
    • pp.517-530
    • /
    • 2005
  • Researches for NN(nearest neighbor) query which is often used in LBS system, have been worked. However, Conventional NN query processing techniques are usually meaningless in moving object management system for LBS since their results may be invalidated as soon as the query and data objects move. To solve these problems, in this paper we propose a new nearest neighbor query processing technique, called CTNN, which is possible to meet continuous trajectory nearest neighbor query processing. The proposed technique consists of Approximate CTNN technique which has quick response time, and Exact CTNN technique which makes it possible to search accurately nearest neighbor objects. Experimental results using GSTD datasets showed that the Exact CTNN technique has high accuracy, but has a little low performance for response time. They also showed that the Approximate CTNN technique has low accuracy comparing with the Exact CTNN, but has high response time.

  • PDF

CONTINUOUS QUERY PROCESSING IN A DATA STREAM ENVIRONMENT

  • Lee, Dong-Gyu;Lee, Bong-Jae;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.3-5
    • /
    • 2007
  • Many continuous queries are important to be process efficiently in a data stream environment. It is applied a query index technique that takes linear performance irrespective of the number and width of intervals for processing many continuous queries. Previous researches are not able to support the dynamic insertion and deletion to arrange intervals for constructing an index previously. It shows that the insertion and search performance is slowed by the number and width of interval inserted. Many intervals have to be inserted and searched linearly in a data stream environment. Therefore, we propose Hashed Multiple Lists in order to process continuous queries linearly. Proposed technique shows fast linear search performance. It can be utilized the systems applying a sensor network, and preprocessing technique of spatiotemporal data mining.

  • PDF

이동객체의 궤적에 대한 연속 최근접 질의에 관한 연구 (Study on Continuous Nearest Neighbor Query on Trajectory of Moving Objects)

  • 정지문
    • 디지털융복합연구
    • /
    • 제3권1호
    • /
    • pp.149-163
    • /
    • 2005
  • Researches for NN(nearest neighbor) query which is often used in LBS system, have been worked. However. Conventional NN query processing techniques are usually meaningless in moving object management system for LBS since their results may be invalidated as soon as the query and data objects move. To solve these problems, in this paper we propose a new nearest neighbor query processing technique, called CTNN, which is possible to meet continuous trajectory nearest neighbor query processing. The proposed technique consists of Approximate CTNN technique which has quick response time, and Exact CTNN technique which makes it possible to search accurately nearest neighbor objects. Experimental results using GSTD datasets shows that the Exact CTNN technique has high accuracy, but has a little low performance for response time. They also shows that the Approximate CTNN technique has low accuracy comparing with the Exact CTNN, but has high response time.

  • PDF

디클러스터된 공간 데이터베이스에서 다중 질의의 병렬 처리 (Parallel Processing of Multiple Queries in a Declustered Spatial Database)

  • 서영덕;박영민;전봉기;홍봉희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권1호
    • /
    • pp.44-57
    • /
    • 2002
  • 다중 공간 질의는 동시에 2개 이상 수행되는 영역 질의로 정의되며 인터넷 기반 지도 보기 응용의 주요 연산이 되므로, 질의 처리 속도의 개선을 위해서 병렬로 처리되어야 하고 질의 처리 비용 중 큰 비중을 차지하는 디스크 입출력 시간을 최대한 줄일 필요가 있다. 그런데 다중 CPU/다중 디스크 구조상에서 디클러스터링을 수행하더라고, 다중 공간 질의를 처리하는 도중 질의 간 임의 탐색이 발생하여 디스크 입출력 시간이 증가하는 문제점이 있다. 이 논문에서는 디클러스터된 공간 데이터베이스에서 다중 공간 질의를 처리할 때 발생하는 문제점인 질의 간 임의 탐색을 분석하고, 해결 방안으로 질의 스케줄링 기법을 제시하였다. 질의 스케줄링 기법은 질의 간 관련성을 이용해서 질의 우선 순위를 조정해서 질의 간 임의 탐색을 해결하는 방법으로써, 질의간의 공간 및 시간 관련성 부여를 위해 질의 간 위치 관련성과 질의 대기 시간을 이용하였다. 실험 결과, 질의 스케줄링을 수행하면 디스크 캐쉬의 적중률이 최대 34% 향상되어 디스크 입출력 비용을 최대 6%까지 줄일 수 있어 다중 공간 질의 처리 시의 성능을 개선할 수 있는 것으로 나타났다.

무선 환경에서 XML 조각 스트림 질의 처리를 위한 효율적인 레이블링 기법 (Efficient Labeling Scheme for Query Processing over XML Fragment Stream in Wireless Computing)

  • 고혜경
    • 정보처리학회논문지D
    • /
    • 제17D권5호
    • /
    • pp.353-358
    • /
    • 2010
  • 전통적인 데이터베이스와 달리, XML 스트림에 대한 질의는 실시간 처리와 메모리 사용량에 제한이 있다. 이 논문에서는 XML 조각들 사이의 구조적인 관계를 빠르게 확인할 수 있는 강력한 레이블링 기법을 제안한다. 제안된 레이블링 기법은 많은 중복된 작업과 처리해야 하는 조각들의 수를 최소화하여 효율적인 질의 처리를 제공한다. 실험 결과, 제안된 레이블링 기법은 효율적으로 질의를 처리하고 메모리 사용량을 최소화 할 수 있다.

데이타와 질의의 이원성을 이용한 데이타스트림에서의 연속질의 처리 (Continuous Query Processing in Data Streams Using Duality of Data and Queries)

  • 임효상;이재길;이민재;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.310-326
    • /
    • 2006
  • 본 논문은 데이타스트림 환경에서 연속질의를 효율적으로 처리하는 방법을 다룬다. 먼저, 기존의 질의 처리 방법을 데이타 엘리먼트와 질의 중에서 어느 것을 먼저 선택하고 수행을 시작하느냐에 따라서, 서로 이원적인 두 가지 방법인 데이타-이니셔티브(data-initiative)와 질의-이니셔티브(query-initiative)로 분류한다. 이러한 분류는 기존의 질의 처리 연구에서 데이타와 질의를 서로 다르게(asymmetrically) 취급하였다는 것에 기인한다. 기존의 연속질의 처리에서는 이원적인 질의 처리 방법 중에서 데이타-이니셔티브 방법만이 사용되었기 때문에, 질의-이니셔티브 방법에서 얻을 수 있는 성능 상의 이점이 간과되었다. 이러한 문제를 해결하기 위해, 데이타와 질의를 동등하게(symmetrically) 볼 수 있다는 점에 착안한다. 본 논문에서는 데이타와 질의의 이원성 모델(Duality Model of Data and Queries)을 제안하고 이 모델에 기반하여 연속질의 처리 문제를 다차원 공간에서의 공간조인 문제로 변환하는 새로운 관점을 제시한다. 그리고, 공간조인 기반 연속질의 처리 알고리즘인 Spatial Join CQ를 제안한다. Spatial Join CQ는 다차원 공간상에 영역으로 표현된 데이타 엘리먼트들의 집합과 질의들의 집합으로부터 서로 겹치는 쌍을 찾음으로써 연속질의를 처리한다. 제안하는 알고리즘은 대칭적인(symmetric) 연산인 공간조인으로 겹치는 영역들을 찾아냄으로써 서로 이원적인 두 가지 질의 처리 방법의 효과를 동시에 얻는다. 성능 평가 결과, 제시하는 알고리즘은 기존의 방법에 비해서 단순 선택 연속질의는 최대 36배, 슬라이딩 윈도우 조인 연속질의는 최대 7배의 성능 향상을 보였다.

자원 효율적인 XML 조각 스트림 질의 처리를 위한 XML 분할 (XML Fragmentation for Resource-Efficient Query Processing over XML Fragment Stream)

  • 김진;강현철
    • 정보처리학회논문지D
    • /
    • 제16D권1호
    • /
    • pp.27-42
    • /
    • 2009
  • 유비쿼터스 컴퓨팅의 실현을 위해서는 이동 디바이스 등 클라이언트의 제약된 자원을 효율적으로 사용하는 기법이 요구된다. 메모리 용량이 크지 않은 이동 디바이스의 경우, 대용량 XML 데이터에 대한 질의 처리를 수행하기 위해서는 XML 스트림 질의 처리 기술의 활용이 필수적이다. 최근에 서버에서 XML 문서를 XML 조각(XML fragment)으로 분할하여 스트리밍하고 클라이언트에서 이 조각 스트림을 받아 질의를 처리하는 기법들이 제안되었다. XML 조각 스트림 질의 처리에 있어 XML 문서가 분할되는 방법에 따라 자원 사용(질의 처리 시간 및 메모리 사용량) 면에서 큰 차이가 날 수 있기 때문에 효율적인 XML 문서 분할 방법이 요구된다. 본 논문에서는 클라이언트의 질의 처리 시 자원 사용 효율을 높이기 위한 XML 문서 분할 기법을 제시한다. 이를 위하여 먼저 XML 조각 스트림 질의 처리의 비용 모델을 제시하고, 자원 효율적인 XML 문서 분할 알고리즘을 제시한다. 구현 및 성능 평가 결과 본 논문에서 제시한 기법이 기존 기법들에 비해 질의 처리 시간 및 메모리 사용량 양면 모두에서 우수한 것으로 나타났다. 본 논문의 기여는 XML 조각 스트림 질의 처리 기술의 실용화 가능성을 기존 기술에 비해 한 층더 높였다는 데 있다.

Development of an Event Stream Processing System for the Vehicle Telematics Environment

  • Kim, Jong-Ik;Kwon, Oh-Cheon;Kim, Hyun-Suk
    • ETRI Journal
    • /
    • 제31권4호
    • /
    • pp.463-465
    • /
    • 2009
  • In this letter, we present an event stream processing system that can evaluate a pattern query for a data sequence with predicates. We propose a pattern query language and develop a pattern query processing system. In our system, we propose novel techniques for run-time aggregation and negation processing and apply our system to stream data generated from vehicles to monitor unusual driving patterns.