• 제목/요약/키워드: Multiple Query Optimization

검색결과 20건 처리시간 0.029초

데이터 스트림 상에서 다중 연속 질의 처리를 위한 속성기반 접근 기법 (Attribute-based Approach for Multiple Continuous Queries over Data Streams)

  • 이현호;이원석
    • 정보처리학회논문지D
    • /
    • 제14D권5호
    • /
    • pp.459-470
    • /
    • 2007
  • 데이터 스트림은 빠르게 연속적으로 발생하는 무제한의 데이터 튜플의 집합이다. 이러한 데이터 스트림에 대한 질의 처리 또한 연속적이고 신속해야 하며 엄격한 시공간적 제약이 요구된다. 대부분의 데이터 스트림 관리시스템(DSMS)에서는 시공간적 제약사항을 효과적으로 지키기 위해서 등록된 연속 질의들의 선택 조건(selection predicate)들을 그룹화하거나 색인처리 한다. 본 논문에서는 연속 질의들의 선택 조건들을 속성별로 그룹화한 새로운 구조체인 속성 선택체(Attribute Selection Construct)를 제안한다. 속성 선택체에는 해당 속성이 특정 질의조건에 사용되는지 여부, 부분적으로 미리 계산된 질의결과 정보, 그리고 해당 속성의 선택률 통계 등 효율적인 질의 처리를 위한 유용한 정보들이 포함된다. 또한, 대상 질의집합을 구현한 속성 선택체들 간의 처리 순서는 전체적인 질의성능에 많은 영향을 미칠 수 있기 때문에 효과적으로 속성 선택체 처리 순서를 결정할 수 있는 전략도 함께 제안된다. 마지막으로, 기존의 방법들이 포함된 다양한 실험을 통하여 제안된 방법론의 성능을 여러 각도에서 비교 검증한다.

데이타 스트림에서의 다중 조인 질의 최적화 방법 (Optimizing Multi-way Join Query Over Data Streams)

  • 박홍규;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권6호
    • /
    • pp.459-468
    • /
    • 2008
  • 데이타 스트림이란 실시간에 연속적으로 빠르게 생성되는 데이타 집합을 의미한다. 이러한 데이타 스트림들은 최근 사회가 발달과 더불어 정보 환경도 급속도로 발전함에 따라 센서 데이타, 교통상황 수집 자료, 웹 클릭 모니터링 등과 같은 많은 응용 분야에서 적용되고 있다. 이러한 형태의 데이트 스트립을 처리하기 위해서는 미리 등록된 질의에 대하여 새롭게 들어오는 스트림 데이타의 결과를 계속적으로 생성하게 된다. 이와 같은 이유로 끊임없이 들어오는 스트링 데이타들을 빠르게 처리하는 것이 이 분야에서 주된 이슈가 되었으며, 이를 위한 방법으로 등록된 질의들을 효율적으로 처리하기 위한 질의 최적화분야에 많은 연구가 있었다. 그러므로 본 논문에서는 기존 연구에서 사용되었던 그리디 방법을 기반으로 비용 모델을 이용하여 최소의 비용을 갖는 질의 계획을 선택하는 확장된 그리디 방법(EGA)을 제시한다. 화장된 그리디 방법은 알고리즘의 정확성이 떨어지는 그리디 알고리즘의 단점을 극복하기 위하여 비용이 가장 작은 연산하나를 선택하는 대신 비용이 자은 연산들의 집합을 선택한다. 이 연산들의 집합의 크기는 알고리즘의 정확성과 수행 시간에 영향을 끼치며, 투 개의 변수에 의해서 적응적으로 조절 수 있다. 실험에서는 다양한 스트림 환경에서 대부분 그리디 알고리즘보다 향상된 성능을 보장하고, 두 변수에 의한 알고리즘의 성능 및 수행 시간 차이를 보여줌으로써 본 알고리즘의 효율성을 검증하였다.

다중 이기종 센서를 보유한 Nano-Q+ 기반 센서네트워크에서 메타데이타 라우팅 테이블을 이용한 질의 최적화 (Query Optimization with Metadata Routing Tables on Nano-Q+ Sensor Network with Multiple Heterogeneous Sensors)

  • 남영광;최귀자;이병대;곽광웅;이광용;마평수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권1호
    • /
    • pp.13-21
    • /
    • 2008
  • 일반적으로 센서노드간의 데이타통신은 내부처리나 센싱 작업보다 더 많은 에너지 소모를 요구한다. 본 논문에서는, 내용인지(context-aware) 라우팅 테이블(routing table)을 이용하여 인접한 노드간의 질의 송수신을 위해 필요한 패킷 송신 수를 줄여 질의 최적화를 수행하는 새로운 아이디어를 제안한다. 내용인지 라우팅 테이블에는 현재 노드로부터 도달 가능한 하위노드에서 측정할 수 있는 센서의 종류에 관한 정보가 저장되어 있다. 내용인지 라우팅 정보를 이용하여 각 노드는 자식노드에게 불필요한 질의 송신이나 결과 전달을 차단함으로써 불필요한 패킷 송신의 수를 줄일 수 있다. 본 논문에서 제안한 방법을 바탕으로 한 시뮬레이션에서 최대 약 80%의 성능 효과를 보였다.

다중 연속질의에서 슬라이딩 윈도우 집계질의 최적화를 위한 선형 자원공유 기법 (Linear Resource Sharing Method for Query Optimization of Sliding Window Aggregates in Multiple Continuous Queries)

  • 백성하;유병섭;조숙경;배해영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권6호
    • /
    • pp.563-577
    • /
    • 2006
  • 스트림 처리기는 다수의 연속질의에서 제한된 자원을 효율적으로 이용하기 위하여 자원공유 기법을 이용한다. 기존의 기법은 계층구조를 유지하여 집계질의를 처리한다. 그래서 삽입연산은 계층구조 재구성 비용이 필요하다. 또한 검색연산은 서로 다른 슬라이딩 윈도우 크기에 속하는 집계정보 검색비용이 필요하다. 그래서 본 논문에서는 보다 빠른 질의 처리를 위해 선형 자료구조를 사용한다. 제안기법은 팬(Pane)크기 결정단계와 팬 생성단계, 팬 삭제단계로 구성된다. 팬 크기 결정단계는 정확한 집계정보를 유지하기 위한 최적 팬 크기를 결정하는 단계이며, 팬 생성단계는 스트림 버퍼로부터 팬 크기만큼의 데이타에 대한 집계정보를 저장하는 단계이다. 팬 삭제단계는 더 이상 연속질의가 사용하지 않는 팬을 삭제하는 단계이다. 제안 기법은 선형 자료 구조를 이용하므로 계층구조를 이용하는 자료 구조에 비해 자원을 적게 사용한다. 또한 스트림 데이타가 입력되어도 팬 크기에 해당하는 집계정보만 계산하면 되므로 집계정보 삽입비용이 감소하고, 서로 다른 슬라이딩 윈도우 크기에 대해서도 선형검색으로 집계정보 검색비용이 감소한다. 성능평가를 통하여 제안기법이 적은 메모리 사용 결과를 보였으며, 질의 처리 속도가 증가하였다.

무선 센서 네트워크 환경에서 그리드 구조를 이용한 다중 질의 처리 기법 (Multi -Query Processing using the Grid Structure in Wireless Sensor Networks)

  • 강광구;성동욱;유재수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권11호
    • /
    • pp.1086-1090
    • /
    • 2010
  • 최근 센서 네트워크의 활용 분야가 증가함에 따라 시스템을 효율적으로 운용하기 위한 다양한 연구들이 진행되고 있다. 대표적인 연구로 센서가 에너지를 소모하는 데 있어서 큰 비중을 차지하는 데이터 전송 비용을 줄이기 위해서 질의 최적화 기법이 연구되고 있다. 본 논문에서는 무선 센서 네트워크 환경에서 다수의 영역 질의가 발생하였을 때 질의들 간의 부분 결과를 공유함으로써 에너지 효율적인 다중 질의 처리 기법을 제안하였다. 제안하는 기법은 그리드 구조를 이용하여 직관적인 위치 판별을 가능케하여 주변 노드들과의 불필요한 메시지 전송을 줄이고, 중복된 영역을 인지함으로써 효율적인 데이터 공유가 가능하다. 제안하는 기법의 우수성을 보이기 위해 기존에 제안된 기법과 시뮬레이션을 통해 성능을 비교평가 하였다. 그 결과, 다중 질의 처리 시 발생하는 에너지 소모가 기존 기법에 비해 약 65% 감소되었다.

시계열 데이터베이스에서 서브시퀀스 매칭을 위한 후처리 과정의 최적화 (Optimization of Post-Processing for Subsequence Matching in Time-Series Databases)

  • 김상욱
    • 정보처리학회논문지D
    • /
    • 제9D권4호
    • /
    • pp.555-560
    • /
    • 2002
  • 서브시퀀스 매칭은 주어진 질의 시퀀스와 변화의 추세가 유사한 서브시퀀스들을 시계열 데이터베이스로부터 검색하는 연산이며, 인덱스 검색 과정과 후처리 과정으로 구성된다. 본 논문에서는 서브시퀀스 매칭을 위한 후처리 과정의 최적화 방안에 관하여 논의한다. 기존의 서브시퀀스 매칭 기법들의 후처리 과정에서 발생하는 공통적인 문제점은 인덱스 검색 과정에서 각 후보 서브시퀀스가 반환될 때마다 이들이 최종 결과에 포함되는가에 대한 여부를 판별하기 위하여 질의 시퀀스와 비교한다는 것이다. 이러한 처리 방식은 후보 서브시퀀스들을 포함하는 동일한 시퀀스를 디스크로부터 여러 번 액세스되도록 할 뿐만 아니라 동일한 후보 서브시퀀스를 질의 시퀀스와 여러 번 비교하도록 한다. 따라서 이러한 중복 작업은 서브시퀀스 매칭의 처리 성능을 심각하게 저하시키는 중요한 원인이 된다. 본 연구에서는 이러한 문제점을 해결하는 새로운 최적의 기법을 제안한다. 제안된 기법은 인덱스 검색 과정에서 반환되는 모든 후보 서브시퀀스들을 이진 탐색 트리 내에 저장하고, 인덱스 검색 과정이 완료된 후에 일괄 처리 방식으로 후처리 작업을 수행한다. 이와 같은 일괄 처리 방식을 채택함으로써 제안된 기법은 위에서 언급한 중복 작업을 완전히 제거할 수 있다. 제안된 기법의 성능 개선 효과를 검증하기 위하여 실제 주식 데이터를 위한 다양한 실험을 수행한다. 실험 결과에 의하면, 제안된 기법은 기존의 기법과 비교하여 55배에서 156배까지의 성능 개선 효과가 있는 것으로 나타났다.

일반화된 누적밀도 히스토그램을 이용한 공간 선택율 추정 (Selectivity Estimation using the Generalized Cumulative Density Histogram)

  • 지정희;김상호;류근호
    • 정보처리학회논문지D
    • /
    • 제11D권4호
    • /
    • pp.983-990
    • /
    • 2004
  • 누적밀도 히스토그램은 사각형 객체의 네 점에 대응하는 4개의 서브 히스토그램을 유지함으로써 사각형 객체가 여러 버켓에 걸쳐질 경우 발생하는 다중 계산 문제를 해결하고 있다. 이 기법은 빠른 추정시간과 정확한 결과를 제공하고 있지만, 질의 윈도우가 그리드 셀의 경계와 일치해야 한다는 제약사항을 기반으로 수행하므로, 실제 응용에 적용시 많은 에러를 초래하게 된다. 따라서, 이 논문에서는 기존 누적밀도 히스토그램에서 질의 윈도우의 제약사항에 관한 영향을 줄이기 위해, 두가지 확률모델을 기반으로 일반화된 누적밀도 히스토그램을 사용한 선택율 추정 기법을 제안하였다. 제안된 두가지 확률 모델은 \circled1질의 영역 비율을 고려한 확률모델과, \circled2교차 영역 정보를 고려한 확률모델이다. 우리는 실제 데이터 셋을 사용하여 제안된 기법을 실험하였다 실험 결과는 이 논문에서 제안된 기법이 기존의 다른 선택율 추정 기법보다 성능이 뛰어남을 보여주고 있다 더구나, 교차 영역 정보를 기반으로 하는 확률모델의 경우 20% 질의 윈도우에서 5% 미만의 낮은 에러율을 보였다. 이 논문에서 제안된 기법은 사각형 객체의 공간 범위 질의의 선택율을 정확하게 추정하는데 사용될 수 있다.

Enabling Efficient Verification of Dynamic Data Possession and Batch Updating in Cloud Storage

  • Qi, Yining;Tang, Xin;Huang, Yongfeng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권6호
    • /
    • pp.2429-2449
    • /
    • 2018
  • Dynamic data possession verification is a common requirement in cloud storage systems. After the client outsources its data to the cloud, it needs to not only check the integrity of its data but also verify whether the update is executed correctly. Previous researches have proposed various schemes based on Merkle Hash Tree (MHT) and implemented some initial improvements to prevent the tree imbalance. This paper tries to take one step further: Is there still any problems remained for optimization? In this paper, we study how to raise the efficiency of data dynamics by improving the parts of query and rebalancing, using a new data structure called Rank-Based Merkle AVL Tree (RB-MAT). Furthermore, we fill the gap of verifying multiple update operations at the same time, which is the novel batch updating scheme. The experimental results show that our efficient scheme has better efficiency than those of existing methods.

무선 데이타 방송 환경에서 읽기-전용 트랜잭션 처리 기법 (Read-only Transaction Processing in Wireless Data Broadcast Environments)

  • 이상근;김성석;황종선
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권5호
    • /
    • pp.404-415
    • /
    • 2002
  • 본 논문에서는, 무선 데이타 방송 환경에서 여러 데이타 항목을 지정된 순서에 의해 접근해야 하는 읽기-전용 트랜잭션의 일관성 유지와 관련된 주제를 다룬다. 데이타 방송 환경에서 사용자는 항상 순차적으로 데이타에 접근하게 된다. 이러한 속성을 가진 환경에서, 본 논문은 기선언-기반 질의 최적화 방식을 제안하며, 이를 이용하여 지역 캐쉬와 관련된 두 가지 트랜잭션 실행 기법을 개발하였다. 또한 제안된 기법들을 수학적으로 분석함으로써 성능을 평가하였다. 평가 결과에 의해, 본 논문에서 제안한 기선언 방식이 응답 시간을 상당히 단축시켰으며, 작업량이 동적으로 변하더라도 훨씬 더 잘 적응될 수 있음을 알 수 있다.

중첩된 버킷을 사용하는 다차원 히스토그램에 대한 개선된 알고리즘 (An Improved Algorithm for Building Multi-dimensional Histograms with Overlapped Buckets)

  • 문진영;심규석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권3호
    • /
    • pp.336-349
    • /
    • 2003
  • 히스토그램은 최근들어 많은 관심을 끌고 있다. 히스토그램은 주로 상용 데이타베이스 관리 시스템에서 질의 최적화를 위해 속성의 값에 대한 데이타 분포를 추정하는데 사용되었다. 최근에는 근사 질의와 스트림 데이타에 대한 연구 분야에서 히스토그램에 대한 관심이 커지고 있다. 관계형 데이타베이스에서 두 개 이상의 속성에 대한 결합 데이타 분포를 근사시키는 가장 간단한 방법은 각 속성의 데이타 분포가 결합 데이타 분포에 독립적이라고 가정하는 속성 값 독립(Attribute Value Independence: AVI) 가정하 에서 각각의 속성에 대해서 히스토그램을 만드는 것이다 그러나 실제 데이타에서 이 가정은 잘 맞지 않는다. 따라서 이 문제를 해결하기 위해서 웨이블릿, 랜덤 샘플링, 다차원 히스토그램과 같은 기법들이 제안되 었다. 그 중에서 GENHIST는 실수형 속성에 대한 데이타 분포를 근사시키기 위해 고안된 다차원의 히스토그램이다. GENHIST는 데이타 분포를 좀 더 효과적으로 근사시키기 위해서 중첩되는 버킷을 사용한다. 본 논문에서는 SSE(Sum Squared Error)를 최소화시키는 중첩되는 버킷들의 최적 빈도를 결정하는 OPT 알고리즘을 제안한다. 처음에 GENHIST에 의해 중첩되는 버킷으로 구성되는 히스토그램을 만든 후에 OPT 알고리즘에 의해서 각 버킷의 빈도를 다시 계산해서 GENHIST를 개선시킬 수 있다. 실험 결과는 OPT 알고리즘이 GENHIST에 의해 만들어진 히스토그램의 정확도를 크게 개선시킴을 보여준다.