• Title/Summary/Keyword: Data Query

검색결과 1,545건 처리시간 0.189초

공간 데이터 스트림 질의 정확도 향상을 위한 다단계 부하제한 기법 (Multi-level Load Shedding Scheme to Increase Spatial Data Stream Query Accuracy)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.8370-8377
    • /
    • 2015
  • 공간 데이터 스트림 관리 시스템에 실시간으로 입력되는 공간 데이터 스트림은 제한된 주기억장치의 용량을 초과할 수 있으므로 부하를 제한할 필요가 있다. 그러나 기존의 연구에서는 부하 제한을 위해 공간 데이터 스트림을 생성하는 데이터 소스의 특성이나 입력 변화, 그리고 공간 데이터 이용 정도를 효율적으로 적용하지 못함으로써 질의 처리의 정확도와 성능을 감소시키는 문제를 갖고 있다. 이에 본 연구에서는 공간 데이터 스트림 질의 관리 시스템에서 발생할 수 있는 부하를 제한하고 공간 질의 처리의 성능과 정확도를 높이기 위한 다단계 부하제한 기법을 제안한다. 제안 기법에서는 먼저 데이터를 수집하는 단계에서 데이터의 수량과 입력 빈도 변화를 이용하여 부하를 제한하고, 과부하 발생시 공간 이용도에 따라 질의 참여 확률이 낮은 데이터를 대상으로 추가적인 부하제한을 수행한다. 실험 결과에서 제안 기법은 기존 부하제한 기법에 비해 11% 이상의 부하 제한 발생 빈도를 감소시키면서 입력 데이터 스트림의 증가와 질의 영역에 증가에 따른 질의 처리 결과의 정확도는 0.04% 이상의 우위를 보였다. 또한, 질의 처리 성능에서도 기존 기법에 비해 3% 이상의 향상을 나타냈다.

A Spatial Structural Query Language-G/SQL

  • Fang, Yu;Chu, Fang;Xinming, Tang
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2002년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.860-879
    • /
    • 2002
  • Traditionally, Geographical Information Systems can only process spatial data in a procedure-oriented way, and the data can't be treated integrally. This method limits the development of spatial data applications. A new and promising method to solve this problem is the spatial structural query language, which extends SQL and provides integrated accessing to spatial data. In this paper, the theory of spatial structural query language is discussed, and a new geographical data model based on the concepts and data model in OGIS is introduced. According to this model, we implemented a spatial structural query language G/SQL. Through the studies of the 9-Intersection Model, G/SQL provides a set of topological relational predicates and spatial functions for GIS application development. We have successfully developed a Web-based GIS system-WebGIS-using G/SQL. Experiences show that the spatial operators G/SQL offered are complete and easy-to-use. The BNF representation of G/SQL syntax is included in this paper.

  • PDF

Spatio-temporal Sensor Data Processing Techniques

  • Kim, Jeong-Joon
    • Journal of Information Processing Systems
    • /
    • 제13권5호
    • /
    • pp.1259-1276
    • /
    • 2017
  • As technologies related to sensor network are currently emerging and the use of GeoSensor is increasing along with the development of Internet of Things (IoT) technology, spatial query processing systems to efficiently process spatial sensor data are being actively studied. However, existing spatial query processing systems do not support a spatial-temporal data type and a spatial-temporal operator for processing spatialtemporal sensor data. Therefore, they are inadequate for processing spatial-temporal sensor data like GeoSensor. Accordingly, this paper developed a spatial-temporal query processing system, for efficient spatial-temporal query processing of spatial-temporal sensor data in a sensor network. Lastly, this paper verified the utility of System through a scenario, and proved that this system's performance is better than existing systems through performance assessment of performance time and memory usage.

SparQLing : SparkSQL 기반 대용량 트리플 데이터를 위한 SPARQL 질의 시스템 구축 (SPARQL Query Processing System over Scalable Triple Data using SparkSQL Framework)

  • 전명중;홍진영;박영택
    • 정보과학회 논문지
    • /
    • 제43권4호
    • /
    • pp.450-459
    • /
    • 2016
  • 매년 RDFS 데이터는 대용량화 되어 가며, 빠른 질의를 위한 SPARQL 처리방식에 대한 변화가 필요하게 되었다. 이를 위해 대용량 분산 처리 프레임워크를 활용한 SPARQL의 질의 처리방식이 많이 연구되고 있다. 기존의 연구 중 대용량 분산 처리 프레임워크인 Hadoop(MapReduce) 기반 질의 엔진은 반복적인 작업으로 인한 잦은 I/O 발생으로 실시간 질의 처리가 불가능하며, 인메모리 기반 분산 질의 엔진 역시 낮은 단계의 언어 수준에서 분산 구조를 고려한 구현이 필요하기 때문에 질의 엔진 구축이 어렵다. 본 논문에서는 인메모리 기반 분산 질의 처리 프레임워크인 SparkSQL을 활용하여 대용량 트리플 데이터에 대한 SPARQL 질의문 처리 속도를 향상시킬 수 있는 질의 처리 엔진 구축 방법을 제안한다. SparkSQL 은 Spark 기반의 고수준 분산 질의 엔진으로서 기존의 SQL문을 활용한 질의가 가능하다. 따라서 SPARQL 질의문을 처리하기 위해서는 Jena를 이용하여 Algebra Tree를 생성한 후 이를 Spark 시스템에 적용하기 위한 Spark Algebra Tree로 변환해야 한다. 그리고 이를 이용하여 SparkSQL 질의문을 생성하는 시스템을 구축하였다. 또한 Spark 인메모리 시스템에서 보다 효율적인 질의 처리를 위한 DataFrame기반의 트리플 Property 테이블 설계를 제안하고 SparkSQL 프레임워크에 활용하였다. 마지막으로 기존의 분산처리 프레임워크를 사용한 질의 엔진과 비교 평가를 통하여 연구의 타당성을 검증한다.

분산 환경에 질의 최적화를 위한 XQuery 질의 재작성 (XQuery Query Rewriting for Query Optimization in Distributed Environments)

  • 박종현;강지훈
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권3호
    • /
    • pp.1-11
    • /
    • 2009
  • XQuery가 XML 데이터를 위한 표준 질의어로 제안되면서, XQuery를 효율적으로 처리하기 위한 연구는 새로운 연구의 주제가 되었고, 몇몇 연구자들은 XQuery 질의를 최적화하기 위한 방법을 제안하고 있다. 그러나 앞선 대부분의 연구들은 XML 데이터 관리 시스템에 특화된 최적화 규칙만을 정의하고 있을 뿐 어떠한 시스템에서도 일반적으로 사용할 수 있는 최적화 방법과는 거리가 멀다. 또한 앞선 몇몇 연구에서는 XML 스키마 또는 DTD와 같은 미리 정의된 XML데이터의 구조정보를 이용하여 최적화하는 방법을 제안하고 있다. 그러나 현재 모든 응용이 XML 데이터를 위한 구조정보를 포함하고 있지는 않은 것이 현실이다. 그러므로 본 논문에서는 XQuery 질의의 특성을 파악하고 XQuery 질의 자체만을 이용한 최적화 방법들을 제안한다. 본 논문에서는 XQuery질의의 특성들을 고려한 세 가지 XQuery질의를 최적화 방법을 제안한다. 첫 번째 방법은 XQuery질의에 존재하는 불필요한 표현을 제거하는 것이고, 두 번째 방법은 질의 재배치를 이용한 최적화 방법이다. 마지막으로 세 번째 방법은 XQuery가 For절에 의해서 중첩된다는 점을 고려하여 For절에 의해서 발생하는 불필요한 반복을 최소화하는 방법이다. 성능 평가를 통해 논문에서 제안한 방법들에 의해 재작성 된 질의의 처리시간은 원본 질의의 처리 시간보다 뛰어나다는 것을 알 수 있다. 또한 각 방법들은 독립적으로 수행될 수 있으므로 XQuery 엔진의 필요에 따라 개별적으로 사용이 가능하다.

센서 네트워크에서 질의 처리 시스템 (Query Processing Systems in Sensor Networks)

  • 김정준;정성택
    • 한국인터넷방송통신학회논문지
    • /
    • 제17권4호
    • /
    • pp.137-142
    • /
    • 2017
  • 최근 IoT 기술의 발전과 더불어 센서 노드, RFID, CCTV, 스마트폰 등에서 다양한 데이터를 Sensing하는 기술과 무선 통신 기술이 급격히 발전하면서 여러 응용 분야에서 센서 네트워크 관련 기술을 활용하기 위한 다양한 연구가 활발히 추진되고 있다. 따라서, GeoSensor 활용이 증가함에 따라 공간 센서 데이터와 같은 2차원 데이터를 효율적으로 처리하기 위한 질의 처리 시스템이 활발히 연구되고 있다. 하지만 기존 질의 처리 시스템들은 시공간 센서 데이터와 같은 다차원 데이터를 처리하기 위한 데이터 타입과 연산자를 지원하지 않기 때문에 이와 같은 다차원 데이터를 처리하기에 미흡하다. 따라서, 본 논문은 이러한 센서 네트워크에서 다차원 데이터를 효율적으로 처리하기 위하여 질의 처리 시스템을 연구 개발하였다.

내용기반 질의 처리를 위한 동영상 질의 처리기의 설계 및 구현 (Design and Implementation of the Video Query Processing Engine for Content-Based Query Processing)

  • 조은희;김용걸;이훈순;정영은;진성일
    • 한국정보처리학회논문지
    • /
    • 제6권3호
    • /
    • pp.603-614
    • /
    • 1999
  • As multimedia application services on high-speed information network have been rapidly developed, the need for the video information management system that provides an efficient way for users to retrieve video data is growing. In this paper, we propose a video data model that integrates free annotations, image features, and spatial-temporal features for video purpose of improving content-based retrieval of video data. The proposed video data model can act as a generic video data model for multimedia applications, and support free annotations, image features, spatial-temporal features, and structure information of video data within the same framework. We also propose the video query language for efficiently providing query specification to access video clips in the video data. It can formalize various kinds of queries based on the video contents. Finally we design and implement the query processing engine for efficient video data retrieval on the proposed metadata model and the proposed video query language.

  • PDF

Efficient Query Retrieval from Social Data in Neo4j using LIndex

  • Mathew, Anita Brigit
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권5호
    • /
    • pp.2211-2232
    • /
    • 2018
  • The unstructured and semi-structured big data in social network poses new challenges in query retrieval. This requirement needs to be met by introducing quality retrieval time measures like indexing. Due to the huge volume of data storage, there originate the need for efficient index algorithms to promote query processing. However, conventional algorithms fail to index the huge amount of frequently obtained information in real time and fall short of providing scalable indexing service. In this paper, a new LIndex algorithm, which is a heuristic on Lucene is built on Neo4jHA architecture that holds the social network Big data. LIndex is a flexible and simplified adaptive indexing scheme that ascendancy decomposed shortest paths around term neighbors as basic indexing unit. This newfangled index proves to be effectual in query space pruning of graph database Neo4j, scalable in index construction and deployment. A graph query is processed and optimized beyond the traditional Lucene in a time-based manner to a more efficient path method in LIndex. This advanced algorithm significantly reduces query fetch without compromising the quality of results in time. The experiments are conducted to confirm the efficiency of the proposed query retrieval in Neo4j graph NoSQL database.

이동 객체를 위한 시공간 궤적의 질의 처리 (Query Processing of Spatio-temporal Trajectory for Moving Objects)

  • 오병우
    • Journal of Platform Technology
    • /
    • 제11권1호
    • /
    • pp.52-59
    • /
    • 2023
  • 최근 전염성이 높은 COVID-19 바이러스의 영향으로 접촉자 추적에 사용할 수 있는 시공간 궤적에 대한 중요성이 커지고 있다. 시공간 궤적은 객체가 이동한 시간 및 공간 데이터를 저장한다. 본 논문에서는 이동 객체의 시공간 궤적에 대한 질의 처리를 제안한다. 이동 객체의 시공간 궤적 모델은 위치를 저장하기 위하여 포인트 형태의 공간 데이터를 가지고 타임스탬프 형태의 시간 데이터를 가진다. 궤적 질의는 같은 버스에 탑승하여 서로 밀접하게 접촉한 사용자들의 쌍을 검색하는 질의이다. 궤적 질의를 처리하기 위하여 데이터셋으로는 마이크로소프트의 Geolife 데이터를 사용한다. 제안된 궤적 질의 처리는 궤적 데이터를 날짜별로 나누고 각 날짜에 대해 사용자의 궤적들이 근처에 있었는지 검사하고 접촉자들에 대한 정보를 결과로 생성한다.

  • PDF

데이터 접근 패턴 은닉을 지원하는 암호화 인덱스 기반 kNN 질의처리 알고리즘 (kNN Query Processing Algorithm based on the Encrypted Index for Hiding Data Access Patterns)

  • 김형일;김형진;신영성;장재우
    • 정보과학회 논문지
    • /
    • 제43권12호
    • /
    • pp.1437-1457
    • /
    • 2016
  • 데이터베이스 아웃소싱 환경에서, 클라우드는 인증된 사용자에게 아웃소싱된 데이터베이스를 기반으로 질의 서비스를 제공한다. 그러나 금융, 의료 정보와 같은 민감한 데이터는 클라우드에 아웃소싱 되기 전에 암호화되어야 한다. 한편, kNN 질의는 다양한 분야에서 폭넓게 사용되는 대표적인 질의 타입이며, kNN 질의 결과는 사용자의 관심사 및 선호도와 밀접하게 연관된다. 따라서 데이터 보호와 질의 보호를 동시에 고려하는 kNN 질의 처리 알고리즘에 대한 연구가 진행되어 왔다. 그러나 기존 연구는 높은 연산 비용이 요구되거나, 탐색한 인덱스의 노드 및 반환된 질의 결과가 드러나기 때문에 데이터 접근 패턴이 노출되는 문제점이 존재한다. 이러한 문제를 해결하기 위해 본 논문에서는 암호화 데이터베이스 상에서의 kNN 질의처리 알고리즘을 제안한다. 제안하는 알고리즘은 데이터 보호 및 질의 보호를 지원한다. 또한, 제안하는 알고리즘은 데이터 접근 패턴을 보호하는 동시에 효율적인 질의처리를 지원한다. 이를 위해, 데이터 접근 패턴 노출 없이 데이터 필터링을 지원하는 암호화 인덱스 탐색 기법을 제안한다. 성능 분석을 통해, 제안하는 알고리즘이 기존 기법에 비해 질의처리 시간 측면에서 우수한 성능을 보임을 검증한다.