• 한국컴퓨터정보학회논문지
• /
• 제15권4호
• /
• pp.27-36
• /
• 2010

본 논문에서는 센서 네트워크에서 효율적인 조인 처리를 수행하여 통신비용을 최소화할 수있는인-네트워크 조인 전략인 RFB(Record Filtering using Bit-vector) 조인 전략을 제안하였다. 제안하는 조인 전략은 통신비용을 감소하기 위하여 데이터의 크기를 줄이기 위해 비트 벡터(Bit-vector)를 이용한다. 또한, 센서 네트워크의 특성상 조인을 위해 중앙의 서버로 모든 데이터를 전송하기가 어렵기 때문에 본 논문의 조인 전략은 조인 처리의 이른 단계에서 조인 결과에 해당되지 않는 데이터를 제거하여 불필요한 통신비용을 감소시켜 통신비용을 최소화하기 위한 네트워크 내에서 효율적인 조인 질의 수행 전략이다. 본 논문에서는 시뮬레이션을 통하여 기존의 대표적인 조인 전략인 시놉시스를 전송하여 조인을 수행하는 시놉시스 조인(Synopsis Join, SNJ)과 비교하여 통신비용 효율적임을 보였다.

• 한국정보과학회논문지:데이타베이스
• /
• 제37권3호
• /
• pp.165-170
• /
• 2010

본 논문에서는 센서 네트워크에서 효율적인 조인 처리를 수행하여 통신비용을 최소화할 수 있는 인-네트워크 조인 기법인 SBJ(Semi & Bloom Join)를 제안하였다. SBJ는 하이브리드 기법으로 배터리 소모를 줄이기 위하여 송, 수신하는 데이터의 크기를 줄이는 방법으로 블룸 필터(Bloom Filter)를 이용하여 데이터의 내용을 필터링하도록 하였다. 기존 데이터 대신 작은 크기의 필터링 된 값을 전송함으로써 배터리 소모를 줄이게 된다. SBJ는 조인 처리의 이른 단계에서 조인 결과에 해당되지 않는 데이터를 제거하여 불필요한 통신비용을 감소하여 통신비용을 최소화하기 위한 네트워크 내에서 효율적인 조인 질의 수행 방법이다. 시뮬레이션을 통하여 기존의 조인 기법들과 비교한 결과 SBJ 기법은 블룸 필터를 이용하여 데이터를 필터링 함으로서 센서 노드 배터리 소모량을 크게 줄였으며, 통신 반경에 대한 통신비용도 훨씬 효과적이었다.

• Journal of Computing Science and Engineering
• /
• 제1권2호
• /
• pp.177-194
• /
• 2007

Index selection is one of the most important decisions to take in the physical design of relational data warehouses. Indices reduce significantly the cost of processing complex OLAP queries, but require storage cost and induce maintenance overhead. Two main types of indices are available: mono-attribute indices (e.g., B-tree, bitmap, hash, etc.) and multi-attribute indices (join indices, bitmap join indices). To optimize star join queries characterized by joins between a large fact table and multiple dimension tables and selections on dimension tables, bitmap join indices are well adapted. They require less storage cost due to their binary representation. However, selecting these indices is a difficult task due to the exponential number of candidate attributes to be indexed. Most of approaches for index selection follow two main steps: (1) pruning the search space (i.e., reducing the number of candidate attributes) and (2) selecting indices using the pruned search space. In this paper, we first propose a data mining driven approach to prune the search space of bitmap join index selection problem. As opposed to an existing our technique that only uses frequency of attributes in queries as a pruning metric, our technique uses not only frequencies, but also other parameters such as the size of dimension tables involved in the indexing process, size of each dimension tuple, and page size on disk. We then define a greedy algorithm to select bitmap join indices that minimize processing cost and verify storage constraint. Finally, in order to evaluate the efficiency of our approach, we compare it with some existing techniques.

• Journal of Computing Science and Engineering
• /
• 제3권1호
• /
• pp.27-58
• /
• 2009

Aggregation join queries are an important class of queries over data streams. These queries involve both join and aggregation operations, with window-based joins followed by an aggregation on the join output. All existing research address join query optimization and aggregation query optimization as separate problems. We observe that, by putting them within the same scope of query optimization, more efficient query execution plans are possible through more versatile query transformations. The enabling idea is to perform aggregation before join so that the join execution time may be reduced. There has been some research done on such query transformations in relational databases, but none has been done in data streams. Doing it in data streams brings new challenges due to the incremental and continuous arrival of tuples. These challenges are addressed in this paper. Specifically, we first present a query processing model geared to facilitate query transformations and propose a query transformation rule specialized to work with streams. The rule is simple and yet covers all possible cases of transformation. Then we present a generic query processing algorithm that works with all alternative query execution plans possible with the transformation, and develop the cost formulas of the query execution plans. Based on the processing algorithm, we validate the rule theoretically by proving the equivalence of query execution plans. Finally, through extensive experiments, we validate the cost formulas and study the performances of alternative query execution plans.

• 정보처리학회논문지D
• /
• 제19D권1호
• /
• pp.1-14
• /
• 2012

데이터 웨어하우스는 크기가 방대하기 때문에 인덱스의 선택은 질의어 처리의 효율성에 상대한 영향을 준다. 인덱스는 질의 처리 비용을 줄이지만, 그것이 차지하는 기억 영역과 데이터베이스의 변경에 따른 보수라는 비용이 수반된다. 데이터 웨어하우스에서 하나의 사실 테이블과 여러 개의 차원 테이블 사이의 조인을 행하는 스타 조인 질의어와 차원 테이블의 선택을 최적화하기 위해서 비트맵 조인 인덱스가 잘 적용된다. 비트맵 조인 인덱스는 이진수로 표현되기 때문에 저장 비용은 적게 들지만 인덱스 할 후보 속성들이 많이 생성되기 때문에 그 중에서 인덱스 할 속성들을 선택하는 일은 어려운 과제가 된다. 인덱스 선택은 일단 후보 속성들의 개수를 축소하고, 그 중에서 인덱스를 선택하게 된다. 본 논문에서는 데이터 마이닝 방법을 사용해서 비트 맵 조인 인덱스 선택 문제에서 후보 속성들의 개수를 축소하는 것을 해결한다. 질의어에 있는 속성들의 빈도에 기준해서 후보 속성들의 개수를 감소시키는 기존의 방법에 비해서 본 논문은 속성들의 빈도를 사용함과 동시에 차원 테이블의 크기, 차원 테이블의 튜플 크기, 디스크의 페이지 크기 등을 고려한다. 그리고 데이터마이닝 기법으로 빈발 항목집합을 마이닝하여 후보 속성들의 개수를 효과적으로 줄인다. 후보 속성집합들의 비트 맵 조인 인덱스에 비용함수를 적용해서 최소의 비용과 기억 영역 제한에 적합한 속성집합들의 비트 맵 조인 인덱스를 구한다. 본 논문의 방법의 효율성을 평가하기 위해서 기존의 방법들과 비교 분석을 한다.

• 한국정보처리학회논문지
• /
• 제6권6호
• /
• pp.1468-1480
• /
• 1999

데이터베이스 시스템에서 조인 연산은 시스템의 성능에 영향을 주는 가장 복잡하고 소모적인 연산이다. 데이터베이스 시스템의 향상을 위한 많은 병렬 처리 알고리즘들이 제안되었으나 기존의 방법들은 AVS(Attribute Value Skew)와 JPS(Join Product Skew) 등과 같은 데이터 편지를 고려하고 있지 않다. 따라서 데이터 편재의 상황에서 기존의 방법들은 조인 연산 중에 노드들 간의 부하 불균형으로 인하여 그 성능이 급격하게 저하된다. 본 논문에서는 병렬 조인 시에 AVS와 JPS를 고려하여 노드간에 균등하게 부하를 분산하는 방법과 이를 이용한 효율적인 병렬 조인 알고리즘을 제안한다. 제안된 알고리즘은 먼저 기존의 샘플링 방법을 이용하여 조인 연산의 입력과 결과 릴레이션의 데이터 분포를 예측하고, 이를 기반으로 데이터 값에 대한 조인 비용을 산출한다. 그리고 히스토그램 균등화 기법을 이용하여 국부적인 조인 과정에서 노드들 간에 부하 균등을 성취할 수 있도록 데이터를 각 노드에 재 분재한다. 본 논문에서는 성능 평가를 위하여 제안된 알고리즘과 기존의 대표적인 알고리즘들을 위한 모의 실험 모델을 제시하고 모의 실험 결과를 기술한다. 성능 측정 결과 제안된 알고리즘이 기존의 알고리즘들에 비해서 데이터 편재의 상황에서 성능이 우수한 것으로 나타났다.

• 한국콘텐츠학회논문지
• /
• 제16권7호
• /
• pp.667-680
• /
• 2016

하둡 맵리듀스와 같은 분산 컴퓨팅 플랫폼이 개발됨에 따라, 기존 단일 컴퓨터 상에서 수행되는 질의 처리 기법을 분산 컴퓨팅 환경에서 효율적으로 수행하는 것이 필요하다. 특히, 주어진 두 데이터 집합에서 유사도가 높은 모든 데이터 쌍을 탐색하는 유사 조인 질의를 분산 컴퓨팅 환경에서 수행하려는 연구가 있어 왔다. 그러나 분산 병렬 환경에서의 기존 유사 조인 질의처리 기법은 데이터 전송 비용만을 고려하기 때문에 클러스터 간에 비균등 연산 부하 분산의 문제점이 존재한다. 본 논문에서는 분산 컴퓨팅 환경에서 효율적인 유사 조인 처리를 위한 행렬 기반 부하 분산 알고리즘을 제안한다. 제안하는 알고리즘은 클러스터의 균등 부하 분산을 위해 행렬을 이용하여 예상되는 연산 부하를 측정하고 이에 따라 파티션을 생성한다. 아울러, 클러스터에서 질의 처리에 사용되지 않는 데이터를 필터링함으로서 연산 부하를 감소시킨다. 마지막으로 성능 평가를 통해 제안하는 알고리즘이 기존 기법에 비해 질의 처리 성능 측면에서 우수함을 보인다.

• 한국정보과학회논문지:데이타베이스
• /
• 제35권6호
• /
• pp.459-468
• /
• 2008

데이타 스트림이란 실시간에 연속적으로 빠르게 생성되는 데이타 집합을 의미한다. 이러한 데이타 스트림들은 최근 사회가 발달과 더불어 정보 환경도 급속도로 발전함에 따라 센서 데이타, 교통상황 수집 자료, 웹 클릭 모니터링 등과 같은 많은 응용 분야에서 적용되고 있다. 이러한 형태의 데이트 스트립을 처리하기 위해서는 미리 등록된 질의에 대하여 새롭게 들어오는 스트림 데이타의 결과를 계속적으로 생성하게 된다. 이와 같은 이유로 끊임없이 들어오는 스트링 데이타들을 빠르게 처리하는 것이 이 분야에서 주된 이슈가 되었으며, 이를 위한 방법으로 등록된 질의들을 효율적으로 처리하기 위한 질의 최적화분야에 많은 연구가 있었다. 그러므로 본 논문에서는 기존 연구에서 사용되었던 그리디 방법을 기반으로 비용 모델을 이용하여 최소의 비용을 갖는 질의 계획을 선택하는 확장된 그리디 방법(EGA)을 제시한다. 화장된 그리디 방법은 알고리즘의 정확성이 떨어지는 그리디 알고리즘의 단점을 극복하기 위하여 비용이 가장 작은 연산하나를 선택하는 대신 비용이 자은 연산들의 집합을 선택한다. 이 연산들의 집합의 크기는 알고리즘의 정확성과 수행 시간에 영향을 끼치며, 투 개의 변수에 의해서 적응적으로 조절 수 있다. 실험에서는 다양한 스트림 환경에서 대부분 그리디 알고리즘보다 향상된 성능을 보장하고, 두 변수에 의한 알고리즘의 성능 및 수행 시간 차이를 보여줌으로써 본 알고리즘의 효율성을 검증하였다.

• 한국정보과학회논문지:데이타베이스
• /
• 제34권6호
• /
• pp.564-571
• /
• 2007

분산환경에 XML 데이타들을 통합하기 위한 한가지 방법은 XML 뷰를 사용하는 것이다. 사용자는 XML을 위한 표준 질의어인 XQuery를 사용하여 분산된 XML 뷰들을 대상으로 전역 XQuery질의를 생성할 수 있다. 이렇게 생성된 전역 XQuery 질의는 분산된 이종 데이타들을 통합하고 검색하기 위하여 자연스럽게 지역 시스템들 사이의 조인 연산들을 포함한다. 그러나 조인은 비용이 많이 드는 연산자이므로 조인 연산을 효율적으로 처리하는 것은 전역 질의의 처리 성능과 직결된다. 그러므로 조인 연산을 처리하기 위한 다양한 연구들이 존재하며, 그 가운데 하나는 조인의 선택치를 추정하여 최소의 비용을 갖는 조인 순서를 선택하는 것이다. SQL 질의의 경우, 이미 전역 질의의 조인 선택치를 추정하고 이를 기반으로 그 처리 순서를 결정하기 위한 연구가 존재한다. 그러나, 테이블 구조의 데이타를 검색하기 위한 SQL 질의의 조인 선택치 추정 방법을 구조적인 XML 데이타를 검색하기 위한 XQuery질의를 위해서 그대로 사용하기에는 데이타의 구조적인 차이로 인해 문제가 있다. 그러므로 본 논문에서는 질의의 대상이 되는 XML 뷰들의 정보를 이용하여 XQuery 질의의 특성을 고려한 조인 선택치 추정 방법을 제안한다. 본 논문의 기여는 다음과 같다. 첫째, SQL 질의의 조인 선택치 추정 방법과 XQuery 질의의 방법 사이에 차이점을 분석한다. 둘째, XML 뷰를 참조하여 XQuery 질의의 처리를 위한 조인 선택치 추정 방법을 제안한다. 마지막으로, 성능 평가를 수행하여 제안하는 조인 선택치 추정 방법의 효율성을 입증한다.

• 한국공간정보시스템학회 논문지
• /
• 제9권2호
• /
• pp.25-34
• /
• 2007

데이터 스트림 환경에서 셋 이상의 스트림들에 대한 조인연산을 위해 순서를 선택하는 기존 기법들은 항상 간단한 휴리스틱 방법을 이용하였다 그러나 기존 기법들은 조인 선택도나 데이터 수신 비율과 같은 것만 고려하여 일반적인 응용에서 비효율적이며 낮은 성능을 갖는다. 본 논문에서는 최적의 조인 순서로 그래프 기반의 슬라이딩 윈도우 다중 조인 알고리즘을 제안한다. 이 기법에서 슬라이딩 윈도우 조인 그래프를 먼저 생성하는데, 정점(vertex)은 조인 연산으로 표현되고 엣지(edge)는 슬라이딩 윈도우들 사이의 조인관계를 나타낸다. 그리고 정점 가중치(vertex weight)와 엣지 가중치(edge weight)는 각각의 조인의 비용과 조인 연산들의 상호관계를 표현한다. 이때 데이터 스트림은 빠른 처리를 해야 하므로 메모리 기반의 그래프 기법을 사용한다. 이를 이용하여 최대값만을 이용하여 조인 연산을 수행하는 MVP 알고리즘을 개선하고 이의 그래프에서 최적의 조인 순서를 찾는다. 이를 통한 최종 결과는 중첩-루프(nested loop) 조인 계획을 수행하여 얻어진다. 성능비교를 통하여 제안기법이 기존 기법들보다 우수함을 증명한다.