• 제목/요약/키워드: Join Algorithm

검색결과 138건 처리시간 0.023초

그리디 알고리즘을 이용한 맵리듀스 세타조인 M-Bucket-I 휴리스틱의 개선 (Using a Greedy Algorithm for the Improvement of a MapReduce, Theta join, M-Bucket-I Heuristic)

  • 김우열;심규석
    • 정보과학회 논문지
    • /
    • 제43권2호
    • /
    • pp.229-236
    • /
    • 2016
  • 세타조인은 데이터베이스에 있어서 가장 기본적이면서도 중요한 질의 중 하나이다. 최근 처리해야 하는 데이터의 양이 증가함에 따라, 맵리듀스와 같은 분산 병렬 처리 프레임워크를 사용한 데이터베이스의 질의처리가 많이 연구되고 있다. 대표적인 연구로 M-Bucket-I 휴리스틱을 이용한 세타조인이 있으나, 이 알고리즘은 수행시간이 입력 데이터의 크기를 n이라 할 때, 각 레코드를 $r_{max}$개의 리듀서 중 어느 리듀서로 보낼지 정하는 리듀서맵핑을 구하는데 O(n)의 시간이 걸려 쉽게 사용할 수 없다는 문제가 있다. 본 논문에서는 기존의 M-Bucket-I 휴리스틱을 개선하여, 같은 리듀서 매핑 결과를 내놓더라도 수행시간이 $O(r_{max}log\;n)$으로 보다 짧은 새로운 알고리즘을 제시한다. 다양한 실험을 통하여 기존의 맵리듀스를 이용한 세타조인보다 성능을 10% 정도 향상시킬 수 있음을 보였다.

Efficient Top-k Join Processing over Encrypted Data in a Cloud Environment

  • Kim, Jong Wook
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권10호
    • /
    • pp.5153-5170
    • /
    • 2016
  • The benefit of the scalability and flexibility inherent in cloud computing motivates clients to upload data and computation to public cloud servers. Because data is placed on public clouds, which are very likely to reside outside of the trusted domain of clients, this strategy introduces concerns regarding the security of sensitive client data. Thus, to provide sufficient security for the data stored in the cloud, it is essential to encrypt sensitive data before the data are uploaded onto cloud servers. Although data encryption is considered the most effective solution for protecting sensitive data from unauthorized users, it imposes a significant amount of overhead during the query processing phase, due to the limitations of directly executing operations against encrypted data. Recently, substantial research work that addresses the execution of SQL queries against encrypted data has been conducted. However, there has been little research on top-k join query processing over encrypted data within the cloud computing environments. In this paper, we develop an efficient algorithm that processes a top-k join query against encrypted cloud data. The proposed top-k join processing algorithm is, at an early phase, able to prune unpromising data sets which are guaranteed not to produce top-k highest scores. The experiment results show that the proposed approach provides significant performance gains over the naive solution.

Top-${\kappa}$ 유사도 조인을 위한 샘플링 기반 알고리즘 (A Sampling-based Algorithm for Top-${\kappa}$ Similarity Joins)

  • 박종수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제41권4호
    • /
    • pp.256-261
    • /
    • 2014
  • Top-${\kappa}$ 유사도 조인 문제는 두 개의 입력 레코드 집합들에서 유사도를 기준한 상위 ${\kappa}$ 개의 레코드 쌍을 찾는 것이다. 샘플링 기법을 이용하여 상위 ${\kappa}$ 개의 유사도 조인 쌍을 반환하는 효율적인 알고리즘을 제안한다. 입력 레코드들의 표본에서 집합 유사도 조인들의 히스토그램을 구성하고, 상위 ${\kappa}$ 개의 조인 쌍을 위한 추정 유사도 한계치를 통계 추론으로 95% 신뢰 구간의 오차 한계 내에서 계산한다. 상위 ${\kappa}$ 개의 유사도 조인을 얻기 위하여 최소-히프 구조를 사용하는 일반 유사도 조인 알고리즘에 이 추정 한계치를 적용한다. 대 용량의 실제 데이터집합에서의 실험결과는 제안된 알고리즘의 좋은 성능을 보여준다.

대용량 메모리를 가진 병렬 데이터베이스 시스템의 조인 연산 (Join Operation of Parallel Database System with Large Main Memory)

  • 박영규
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권3호
    • /
    • pp.51-58
    • /
    • 2007
  • 확장성에서 장점을 가지고 있는 비공유 병렬 프로세서 구조는 병렬 데이터베이스 시스템에서 많이 적용되고 있는 구조이다. 그러나 비공유 병렬 프로세서 구조는 데이터의 분포가 전체 프로세서에게 균일하게 분포되어 있지 않을 경우에는 일부 프로세서에게 부하가 집중되고 이로 인한 성능의 감소가 불가피하게 되는 단점이 있다. 특히 부하의 불균형 정도가 심한 경우에 조인 연산을 수행할 때 이런 성능 감소의 단점은 두드러진다. 본 논문은 비공유 병렬 프로세서 구조에서 부하의 불균형 정도가 심한 경우에도, 조인 연산을 실시하기 전에 부하 불균형을 고려함으로써 성능 감소를 최소화하고, 메모리의 대용량화를 이용하여 성능을 높인 조인 알고리즘을 제시한다. 또한 알고리즘의 성능 분석을 위한 분석 모델을 제시하며, 분석 모델을 통하여 데이터 불균형 문제를 해결하기 위한 다른 알고리즘과의 성능을 비교한다.

  • PDF

감축 불가능한 유향그래프로부터 지배자 트리를 구성하기 위한 효과적인 알고리즘 (An Effective Algorithm for Constructing the Dominator Tree from Irreducible Directed Graphs)

  • 이대식;심손권;안희학
    • 한국정보처리학회논문지
    • /
    • 제7권8호
    • /
    • pp.2536-2542
    • /
    • 2000
  • 지배자 트리란 유향그래프에서 지배관계를 트리로 표현한 것이다. 임의의 유향그래프로부터 지배자 트리를 구성하기 위한 효과적인 알고리즘을 제시한다. 감축 가능한 흐름그래프는 지배자 계산을 한 후 지배자 트리로 감축된다. 감축 불가능한 흐름그래프는 정보 테이블의 연결가지 정보를 이용하여 지배자 연결그래프로 구성된다. 지배자 연결그래프에서 지배자 트리로 감축하기 위하여 효과적인 순차감축 알고리즘과 지연감축 알고리즘을 제안한다.

  • PDF

순차감축 알고리즘과 지연감축 알고리즘을 이용한 효과적인 지배자 트리의 구현 (Implementation of Effective Dominator Trees Using Eager Reduction Algorithm and Delay Reduction Algorithm)

  • 이대식
    • 인터넷정보학회논문지
    • /
    • 제6권6호
    • /
    • pp.117-125
    • /
    • 2005
  • 지배자 트리란 유향그래프에서 지배관계를 트리로 표현한 것이다. 임의의 유향그래프로부터 지배자 트리를 구성하기 위한 효과적인 알고리즘을 제시한다. 감축 가능한 흐름그래프는 지배자 계산을 한 후 지배자 트리로 감축된다. 감축 불가능한 흐름그래프는 정보 테이블의 연결가지 정보를 이용하여 지배자 연결그래프로 구성된다. 지배자 연결그래프에서 지배자 트리로 감축하기 위하여 효과적인 순차감축 알고리즘과 지연감축 알고리즘을 구현한다. 구현한 결과 순차감축 알고리즘 보다 지연감축 알고리즘의 실행시간이 빠르다. 따라서 흐름그래프에서 효과적인 지배자 트리로 감축된다.

  • PDF

사용자 관점에서의 조인 연산 평가 방법론 (A Join Operations Benchmark in Users' Perspective)

  • 정회진;이상호
    • 정보처리학회논문지D
    • /
    • 제12D권1호
    • /
    • pp.13-20
    • /
    • 2005
  • 조인 연산은 데이터베이스 시스템의 가장 기본적이고 중요한 연산이며, 큰 수행 비용을 필요로 하는 연산이다. 지금까지 효율적인 조인 연산의 구현과 평가를 위한 다양한 연구가 진행되었다. 기존의 조인 연산 평가는 구현자 관점에서 우수한 알고리즘을 규명하기 위해 개발되었다. 본 논문은 사용자 관점에서 조인 연산 성능을 평가하는 조인 연산 평가 방법론을 기술한다. 본 성능 평가는 사용자가 자신의 업무에 적합한 조인 연산을 수행하는 데이터베이스 시스템을 선택하는데 도움을 준다. 본 논문에서는 두 가지 조인 범주와 여섯 가지의 조인 성능 영향 요소를 고려하여 42개의 평가 질의를 제안한다. 마지막으로 제안된 방법론에 따라 두 개의 상용 데이터베이스 시스템을 대상으로 구현하고 성능 평가 결과를 기술하였다.

변환기반 공간 파티션 조인 (Transformation-based Spatial Partition Join)

  • 이민재;한욱신;이재길;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권4호
    • /
    • pp.352-361
    • /
    • 2004
  • 공간 조인이란 주어진 공간 관계를 만족하는 공간 객채의 쌍들을 찾는 질의이다. 본 논문에서는 원공간상의 데이타를 이용하여 색인을 사용하지 않고 변환 공간(transform space) 상에서 공간 조인을 수행하는 새로운 알고리즘인 변환기반 공간 파티션 조인(transformation-based spatial partition join)을 제안한다. 기존 알고리즘들은 원공간(original space) 상에서 크기를 가지는 공간 객체를 다루기 때문에 공간 객체들의 복제를 필요로 하거나 상대적으로 공간 파티션이 복잡하여 성능이 저하되는 문제점을 가지고 있다. 이에 반해 제안하는 알고리즘은 원공간 상의 크기를 가지는 공간 객체를 변환공간 상의 크기를 가지지 않는 점 객체로 별도의 추가비용 없이 변환 해석한 후에 공간 조인을 수행하기 때문에 공간 객체들의 복제가 필요 없고, 공간 파티션이 단순하여 성능이 향상되는 장점을 가진다. 다양한 실험을 수행한 결과, 제안하는 변환기반 파티션 조인은 기존 조인 알고리즘들과 비교하여 수행 시간 측면에서 20.5∼38.0% 더 우수한 성능을 보인다.

중앙값을 필터로 이용한 유사도 조인 알고리즘 (A Similarity Join Algorithm Using a Median as a Filter)

  • 박종수
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권2호
    • /
    • pp.71-76
    • /
    • 2015
  • 유사도 조인 처리에서 일반적인 기법은 생성-검증 구조를 사용하여, 첫 번째 생성 단계는 레코드들의 집합에서 후보 쌍들의 집합을 생성하고 두 번째 단계는 실제 유사도를 계산하여 각 후보 쌍을 검증한다. 검증 단계에서 후보 쌍들의 개수를 줄이기 위하여 본 논문에서는 각 후보 쌍의 한 레코드의 중앙값을 다른 레코드와 공통되는 토큰들의 개수가 적절하게 가질 수 있는지를 검사하는 필터로 사용한다. 중앙값 필터를 가지는 유사도 조인 알고리즘을 제안하고 제안된 알고리즘이 실세계 데이터집합에서 여러 실험을 통해 중앙값 필터를 갖지 않는 최근의 알고리즘들에 비해 실행시간에서 더 좋은 성능을 가진다는 것을 보여준다.

시간 데이타베이스에서 시간 간격 분할 알고리즘의 구현 및 평가 (Implementation and Evaluation of Time Interval Partitioning Algorithm in Temporal Databases)

  • 이광규;신예호;류근호;김홍기
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권1호
    • /
    • pp.9-16
    • /
    • 2002
  • 조인 연산은 관계형 데이타베이스에서와 같이 시간 데이타베이스에서도 시스템 성능에 큰 영향을 미친다. 특히, 시간 조인은 조인 연산 단계 이전에 간격 분할의 최적화가 질의 처리 성능을 결정한다. 이 논문에서는 시간 데이타베이스의 병렬 조인 질의 처리 성능을 개선하기 위해 시간 조인 연산을 위한 시간 간격을 분할하는 최소 분할 기법을 제안하였고, 제안된 간격 분할의 최소 분할점을 결정하는 최소 간격 분할 알고리즘의 유효성은 예제 시나리오를 통해 검증하였으며, 기존 분할 알고리즘에 비해 성능 개선 효과가 있음을 확인하였다.