• 제목/요약/키워드: Query Optimization

검색결과 124건 처리시간 0.031초

Developing a Dynamic Materialized View Index for Efficiently Discovering Usable Views for Progressive Queries

  • Zhu, Chao;Zhu, Qiang;Zuzarte, Calisto;Ma, Wenbin
    • Journal of Information Processing Systems
    • /
    • 제9권4호
    • /
    • pp.511-537
    • /
    • 2013
  • Numerous data intensive applications demand the efficient processing of a new type of query, which is called a progressive query (PQ). A PQ consists of a set of unpredictable but inter-related step-queries (SQ) that are specified by its user in a sequence of steps. A conventional DBMS was not designed to efficiently process such PQs. In our earlier work, we introduced a materialized view based approach for efficiently processing PQs, where the focus was on selecting promising views for materialization. The problem of how to efficiently find usable views from the materialized set in order to answer the SQs for a PQ remains open. In this paper, we present a new index technique, called the Dynamic Materialized View Index (DMVI), to rapidly discover usable views for answering a given SQ. The structure of the proposed index is a special ordered tree where the SQ domain tables are used as search keys and some bitmaps are kept at the leaf nodes for refined filtering. A two-level priority rule is adopted to order domain tables in the tree, which facilitates the efficient maintenance of the tree by taking into account the dynamic characteristics of various types of materialized views for PQs. The bitmap encoding methods and the strategies/algorithms to construct, search, and maintain the DMVI are suggested. The extensive experimental results demonstrate that our index technique is quite promising in improving the performance of the materialized view based query processing approach for PQs.

맵리듀스에서 빅데이터 분석을 위한 다중 Group-by 질의의 효율적인 처리 기법 (Efficient Processing of Multiple Group-by Queries in MapReduce for Big Data Analysis)

  • 박은주;박소정;오소현;최혜진;이기용;심준호
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권5호
    • /
    • pp.387-392
    • /
    • 2015
  • 맵리듀스(MapReduce)는 대용량의 데이터를 다수의 컴퓨터로 병렬 처리하기 위해 사용되는 프레임워크이다. Group-by 질의는 데이터를 지정된 애트리뷰트들의 값에 따라 그룹화하고, 각 그룹에 대해 지정된 집계 함수 값을 구하는 질의이다. 본 논문에서는 둘 이상의 group-by 질의가 동시에 요청되었을 때, 이들을 맵리듀스를 사용하여 효율적으로 처리하는 기법을 제안한다. 제안 기법은 각 group-by 질의를 독립적으로 계산하는 대신, 총 수행비용을 줄이기 위해 하나 이상의 맵리듀스 잡을 통해 단계적으로 계산한다. 성능 평가 실험을 통해, 제안 기법이 각 group-by 질의를 독립적으로 계산하는 단순 방법에 비해 좋은 성능을 가짐을 보인다.

Design of Solving Similarity Recognition for Cloth Products Based on Fuzzy Logic and Particle Swarm Optimization Algorithm

  • Chang, Bae-Muu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권10호
    • /
    • pp.4987-5005
    • /
    • 2017
  • This paper introduces a new method to solve Similarity Recognition for Cloth Products, which is based on Fuzzy logic and Particle swarm optimization algorithm. For convenience, it is called the SRCPFP method hereafter. In this paper, the SRCPFP method combines Fuzzy Logic (FL) and Particle Swarm Optimization (PSO) algorithm to solve similarity recognition for cloth products. First, it establishes three features, length, thickness, and temperature resistance, respectively, for each cloth product. Subsequently, these three features are engaged to construct a Fuzzy Inference System (FIS) which can find out the similarity between a query cloth and each sampling cloth in the cloth database D. At the same time, the FIS integrated with the PSO algorithm can effectively search for near optimal parameters of membership functions in eight fuzzy rules of the FIS for the above similarities. Finally, experimental results represent that the SRCPFP method can realize a satisfying recognition performance and outperform other well-known methods for similarity recognition under considerations here.

공간 데이터베이스에서 질의 결과 크기 추정을 위한 공간 분할 (Spatial Partitioning for Query Result Size Estimation in Spatial Databases)

  • 황환규
    • 전자공학회논문지CI
    • /
    • 제41권2호
    • /
    • pp.23-32
    • /
    • 2004
  • 질의 최적화기의 중요 기능 중에 하나는 질의가 주어졌을 때 질의 조건을 만족하는 입력 레코드의 개수를 추정하는 일이다. 관계 데이터베이스와 마찬가지로 공간 데이터베이스에서 질의 결과 크기 추정은 입력 데이터 공간을 버켓으로 불리는 작은 영역으로 분할한 후 분할된 영역에 대해서 질의 결과 ■기를 추정한다. 추정의 정확도는 작은 영역으로 분할할 때 근사 계산한 데이터와 실제 데이터의 차이에 의해서 결정되며 이것은 공간 분할을 어떻게 분할하는가에 달려 있다. 기존의 방법은 일차원에 많이 사용되는 데이터의 범위를 균일하게 하는 너비 균등 방법과 빈도수의 합을 일정하게 하는 높이 균등 방법을 공간상의 이차원에 적용한 면적 균등 분할과 개수 균등 분할 방법에 기초를 두고 있다. 본 논문에서 제안한 방법은 공간을 분할할 때 데이터의 범위와 빈도수의 곱을 면적으로 나타낸 후 면적 값의 차이가 가장 큰 순서로 버켓을 정하는 방법으로 데이터 범위와 빈도수를 동시에 고려하여 최적의 버켓을 결정한다. 본 논문에서는 제안한 방법과 기존의 방법을 실제 데이터와 인위데이터를 사용하여 질의 크기, 버켓수, 데이터 개수, 데이터 크기의 변화에 대해서 질의 결과 추정에 대한 정확도를 비교, 분석하여 제안한 방법의 성능 우수성을 확인한다.

프로그램 분석을 통한 RDF 질의 최적화 기법 (RDF Query Optimization Technique based on Program Analysis)

  • 최낙민;조은선
    • 전자공학회논문지CI
    • /
    • 제47권4호
    • /
    • pp.54-62
    • /
    • 2010
  • 시맨틱 웹 프로그래밍은 아직 발전 과정 상 초기 단계로서 API에 의존하고 있어, 컴파일 시 에러 검출이 어려우며 프로그래밍 생산성이나 실행 효율성이 낮다. 이를 극복하기 위한 여러 연구 중 하나로 기존 프로그래밍 언어를 확장하여 시맨틱 웹데이터 처리를 위한 전용 프로그래밍 언어를 만드는 작업들이 진행되어 왔다. 본 연구에서는 RDF (Resource Description Framework) 전용 프로그래밍 언어인 Jey로 작성된 프로그램의 효율성을 높이기 위한 방법으로 Jey의 SPARQL 지원 구조에 캐싱 기법을 추가하여 성능을 높이는 방법을 제안한다. 프로그램 정적 분석을 바탕으로 캐시 대상이 판별되므로 정확도를 높이며 성능향상에 기여하게 된다.

DTD를 이용한 XML 데이타에 대한 질의 최적화 기법 (The Query Optimization Techniques for XML Data using DTDs)

  • 정태선;김형주
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권4호
    • /
    • pp.723-731
    • /
    • 2001
  • XML이 웹상에서 정보 교환의 표준으로 채택되면서 XML을 데이타베이스의 데이타로 보고 정보를 추출하는 분야가 주목받고 있다. XML은 그래프 기반의 비정형 데이타(semistructured data) 모델 과 매우 비슷하기 때문에 XML 데이타를 그래프 기반의 비정형 데이타 모델로 매핑한 후, 이에 대하여 질의를 처리할 수 있다. 본 논문에서는 XML 데이타에 대하여 스키마 정보를 가지는 DTB(Document Type Definition)를 이용한 질의 최적화 기법을 제안한다. 제안하는 기법은 인덱싱 효과를 내면서도 기존 방법에 비하여 부가의 메모리를 적게 필요로하고, 입력 데이타의 구조를 그대로 유지하기 때문에 다양한 형태의 질의를 효율적으로 처리할 수 있다. 간단한 예제 데이타베이스에 대하여 제안하는 기법의 실험 결 과를 보였다.

  • PDF

다중 이기종 센서를 보유한 Nano-Q+ 기반 센서네트워크에서 메타데이타 라우팅 테이블을 이용한 질의 최적화 (Query Optimization with Metadata Routing Tables on Nano-Q+ Sensor Network with Multiple Heterogeneous Sensors)

  • 남영광;최귀자;이병대;곽광웅;이광용;마평수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권1호
    • /
    • pp.13-21
    • /
    • 2008
  • 일반적으로 센서노드간의 데이타통신은 내부처리나 센싱 작업보다 더 많은 에너지 소모를 요구한다. 본 논문에서는, 내용인지(context-aware) 라우팅 테이블(routing table)을 이용하여 인접한 노드간의 질의 송수신을 위해 필요한 패킷 송신 수를 줄여 질의 최적화를 수행하는 새로운 아이디어를 제안한다. 내용인지 라우팅 테이블에는 현재 노드로부터 도달 가능한 하위노드에서 측정할 수 있는 센서의 종류에 관한 정보가 저장되어 있다. 내용인지 라우팅 정보를 이용하여 각 노드는 자식노드에게 불필요한 질의 송신이나 결과 전달을 차단함으로써 불필요한 패킷 송신의 수를 줄일 수 있다. 본 논문에서 제안한 방법을 바탕으로 한 시뮬레이션에서 최대 약 80%의 성능 효과를 보였다.

그리드 데이터베이스에서 전송비용 최적화를 위한 복제본 갱신 전파 기법 (Replica Update Propagation Method for Cost Optimization of Request Forwarding in the Grid Database)

  • 장용일;백성하;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권11호
    • /
    • pp.1410-1420
    • /
    • 2006
  • 본 논문에서는 복제본을 갱신할 때 동시성을 유지하기 위해 발생하는 질의 전달비용을 최적화하는 갱신 전파 기법을 제안한다. 그리드 데이터베이스에서는 일반적으로 데이터를 처리 성능과 가용성 향상을 위해 서로 다른 위치에 복제하여 저장한다. 복제본이 수정되는 경우 다른 복제본으로 최신 데이터를 전송하고 반영하는 갱신 전파 과정이 수행된다. 갱신 전파 과정은 질의 전파와 로그 전파 기법으로 구분된다. 그러나 각각의 기법은 갱신 질의의 특성 및 환경에 따라 전송비용이 증가하는 문제를 갖는다. 이러한 문제의 해결을 위해 제안 기법은 기존의 두 가지 갱신 전파 기법의 비용 모델을 정의하였으며, 이를 통해 갱신 질의의 적용 환경에 따라 나타날 수 있는 세 가지 클래스를 얻는다. 또한 각각의 클래스에 따라 산출되는 비용 모델을 기준으로 최적의 갱신 전파 기법을 선택할 수 있는 갱신 전파 기법을 설계한다. 제안 기법은 성능평가를 통해 질의의 특성과 환경이 변화되는 환경에서 최소의 전송비용으로 최적의 성능을 유지함을 보인다.

  • PDF

NoSQL 기반 연관 콘텐츠 추천 시스템의 설계 및 구현 (Design and Implementation of a System for Recommending Related Content Using NoSQL)

  • 고은정;김호준;박효주;전영호;이기훈;신사임
    • 한국멀티미디어학회논문지
    • /
    • 제20권9호
    • /
    • pp.1541-1550
    • /
    • 2017
  • The increasing number of multimedia content offered to the user demands content recommendation. In this paper, we propose a system for recommending content related to the content that user is watching. In the proposed system, relationship information between content is generated using relationship information between representative keywords of content. Relationship information between keywords is generated by analyzing keyword collocation frequencies in Internet news corpus. In order to handle big corpus data, we design an architecture that consists of a distributed search engine and a distributed data processing engine. Furthermore, we store relationship information between keywords and relationship information between keywords and content in NoSQL to handle big relationship data. Because the query optimizer of NoSQL is not as well developed as RDBMS, we propose query optimization techniques to efficiently process complex queries for recommendation. Experimental results show that the performance is improved by up to 69 times by using the proposed techniques, especially when the number of requested related keywords is small.

이동 객체의 실시간 연속 질의를 위한 모바일 클라이언트-서버 시스템 (Mobile Client-Server System for Realtime Continuous Query of Moving Objects)

  • 주해종;박영배;최창훈
    • 한국컴퓨터정보학회논문지
    • /
    • 제11권6호
    • /
    • pp.289-298
    • /
    • 2006
  • 무선 네트워크(Wireless Network)의 약한 연결성 및 접속단절, 모바일 클라이언트의 이동성. 모바일 클라이언트의 휴대성으로 인해 발생하는 모바일 데이터베이스 시스템(Mobile Database System) 관련 이슈들과 이 문제들을 해결하기 위한 연구들이 한창이다. 이동 컴퓨팅은 언제 어디서나 원하는 모든 정보를 이용할 수 있는 사용자의 편의성이나 성능 면에서의 요구를 만족시키고 있지만, 데이터 관리 측면에서는 해결되어야만 하는 많은 문제점들을 안고 있다. 본 논문은 모바일 클라이언트-서버(Mobile Client-Server) 환경에서 모바일 데이터베이스 시스템 특성상 가질 수 있는 무선 네트워크의 약한 연결성 및 접속성 단절로 인한 데이터베이스 비축(Database Hoarding)과 관련된 문제 공유 데이터(Shared Data)의 일관성(Consistency)유지 문제, 그리고 로그 최적화 문제를 해결하기 위한 모바일 연속 질의 처리 시스템(MCQPS : Mobile Continuous Query Processing System)을 포함하는 새로운 모바일 클라이언트-서버 시스템을 설계하는데 목적이 있다. 또한. MCQPS의 효율성 증명을 위해 C-I-S(Client-Intercept -Server) 모델과의 성능비교를 통해 제안한 시스템이 우수하다는 것을 입증한다. 그리고 실시간 연속 질의를 위해 제안한 색인 구조와 기법의 효율성을 입증하기 위해 다양한 실험을 수행한다.

  • PDF