• 제목/요약/키워드: Join

검색결과 1,152건 처리시간 0.024초

GPGPU 기반 조인 연산 병렬화 성능 비교 (Performance Comparison of Join Operations Parallelization by using GPGPU)

  • 이종섭;이상백;이규철
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.28-44
    • /
    • 2018
  • 데이터베이스 시스템 관계 연산자 중에서 연산 비용이 가장 비싼 연산은 조인 연산이다. 일반적으로 CPU 기반의 조인 연산의 경우에는 하나의 코어를 사용하거나 많게는 16개 정도의 코어를 사용하여 병렬 처리를 해서 병렬화에 따른 성능 향상이 크지 않다. 이에 반해, GPGPU(General-Purpose computing on Graphics Processing Units)는 수천 개의 프로세싱 유닛을 통한 병렬 처리가 가능해서 조인 연산 수행 시간을 크게 단축할 수 있다. 본 논문에서는 GPGPU 기반에서 조인 연산 병렬화를 구현하기 위해 NVIDIA의 CUDA SDK가 사용되며, CPU 기반과 GPGPU 기반에서의 조인 연산 성능을 측정한다. 사용되는 조인 연산은 NLJ (Nested Loop Join), SMJ (Merge Join), HJ (Hash Join)이며, GPGPU 장비는 TITAN Xp, GTX 1080 Ti 및 GTX 1080을 사용한다. CPU 기반과 GPGPU 기반의 성능을 비교하고, GPGPU 기반의 조인 연산과 이전 연구의 성능과의 성능을 비교한다. 마지막으로, 실험 결과는 GPGPU 기반의 성능이 CPU 기반의 성능보다 6~328 배 빠른 성능을 보였고 향후 연구의 방향성에 대하여 토의한다.

집합 값을 갖는 애트리뷰트에 대한 수직적으로 분할된 블록 중첩 루프 조인 (Vertically Partitioned Block Nested Loop join on Set-Valued Attributes)

  • 황환규
    • 산업기술연구
    • /
    • 제28권B호
    • /
    • pp.209-214
    • /
    • 2008
  • Set-valued attributes appear in many applications to model complex objects occurring in the real world. One of the most important operations on set-valued attributes is the set join, because it provides a various method to express complex queries. Currently proposed set join algorithms are based on block nested loop join in which inverted files are partitioned horizontally into blocks. Evaluating these joins are expensive because they generate intermediate partial results severely and finally obtain the final results after merging partial results. In this paper, we present an efficient processing of set join algorithm. We propose a new set join algorithm that vertically partitions inverted files into blocks, where each block fits in memory, and performs block nested loop join without producing intermediate results. Our experiments show that the vertical bitmap nested set join algorithm outperforms previously proposed set join algorithms.

  • PDF

비트-벡터 해시 테이블을 이용한 효율적인 다중 스트림 조인 알고리즘 (An Efficient M-way Stream Join Algorithm Exploiting a Bit-vector Hash Table)

  • 권태형;김현규;이유원;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.297-306
    • /
    • 2008
  • MJoin은 변화가 잦은 데이타 스트림의 조인을 효율적으로 수행하기 위한 방법으로 소개되었다. MJoin은 다중 스트림의 처리가 가능하도록 대칭적 해시 알고리즘을 확장한 것으로, 각 입력 튜플마다 모든 해시 테이블에 동일한 키를 지닌 튜플이 존재하는지 반복적으로 체크한다. 그러나, 조인 선택율이 낮고 조인되는 데이타 스트림의 수가 많을 경우, 이러한 체크 과정의 성능은 조인되는 데이타 스트림의 조인순서에 많은 영향을 받게 된다. 본 논문에서는 MJoin처럼 대칭적 해시 알고리즘을 기본으로 하지만, 이러한 체크 과정을 조인순서에 상관없이 상수 시간에 처리하는 BiHT-Join 알고리즘을 제안한다. BiHT-Join은 스트림에 있는 튜플의 존재 유무를 비트-벡터로 유지하며, 이를 비교하는 것으로 조인의 성공/실패를 판단한다. 따라서, BiHT-Join은 이 판단을 기준으로 조인이 성공하는 튜플만 해시 조인을 수행함으로 조인 효율을 높일 수 있다. 우리는 실험을 통해 BiHT-Join이 다중 데이타 스트림 조인에서 MJoin에 비해 더 나은 성능을 제공한다는 것을 보인다.

센서 네트워크에서 비트 벡터를 이용한 효율적인 레코드 필터링 인-네트워크 조인 전략 (Efficient Record Filtering In-network Join Strategy using Bit-Vector in Sensor Networks)

  • 송임영;김경창
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권4호
    • /
    • pp.27-36
    • /
    • 2010
  • 본 논문에서는 센서 네트워크에서 효율적인 조인 처리를 수행하여 통신비용을 최소화할 수있는인-네트워크 조인 전략인 RFB(Record Filtering using Bit-vector) 조인 전략을 제안하였다. 제안하는 조인 전략은 통신비용을 감소하기 위하여 데이터의 크기를 줄이기 위해 비트 벡터(Bit-vector)를 이용한다. 또한, 센서 네트워크의 특성상 조인을 위해 중앙의 서버로 모든 데이터를 전송하기가 어렵기 때문에 본 논문의 조인 전략은 조인 처리의 이른 단계에서 조인 결과에 해당되지 않는 데이터를 제거하여 불필요한 통신비용을 감소시켜 통신비용을 최소화하기 위한 네트워크 내에서 효율적인 조인 질의 수행 전략이다. 본 논문에서는 시뮬레이션을 통하여 기존의 대표적인 조인 전략인 시놉시스를 전송하여 조인을 수행하는 시놉시스 조인(Synopsis Join, SNJ)과 비교하여 통신비용 효율적임을 보였다.

Secure and Energy-Efficient Join-Leave Operations in ZigBee Network

  • Kim, Bong-Whan;Park, Chang-Seop
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제7권11호
    • /
    • pp.2874-2892
    • /
    • 2013
  • Since security plays an important role in several ZigBee applications, such as Smart Energy and medical sensor applications, ZigBee Specification includes various security mechanisms to protect ZigBee frames and infrastructure. Among them, the Join and Leave operations of ZigBee are investigated in this paper. The current Join-Leave operation is protected by the network key (a kind of group key). We claim it is not adequate to employ the network key for such purpose, and propose a new Join-Leave operation protected by the application link key (a kind of pairwise key), which is based on a more efficient key management scheme than that of ZigBee. Hence, the original Join operation consists of a total of 12 command frames, while the new Join operation consists of only 6 command frames. In particular, the security of the proposed Join-Leave operation is equivalent to or better than that of the original Join-Leave operation. The new Join-Leave operation is extensively analyzed in terms of security and efficiency, and compared with the original Join-Leave operation of ZigBee.

데이터 스트림에서 그래프 기반 기법을 이용한 슬라이딩 윈도우 다중 조인 처리 (Processing Sliding Window Multi-Joins using a Graph-Based Method over Data Streams)

  • 장량;거준위;김경배;이순조;배해영;유병섭
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권2호
    • /
    • pp.25-34
    • /
    • 2007
  • 데이터 스트림 환경에서 셋 이상의 스트림들에 대한 조인연산을 위해 순서를 선택하는 기존 기법들은 항상 간단한 휴리스틱 방법을 이용하였다 그러나 기존 기법들은 조인 선택도나 데이터 수신 비율과 같은 것만 고려하여 일반적인 응용에서 비효율적이며 낮은 성능을 갖는다. 본 논문에서는 최적의 조인 순서로 그래프 기반의 슬라이딩 윈도우 다중 조인 알고리즘을 제안한다. 이 기법에서 슬라이딩 윈도우 조인 그래프를 먼저 생성하는데, 정점(vertex)은 조인 연산으로 표현되고 엣지(edge)는 슬라이딩 윈도우들 사이의 조인관계를 나타낸다. 그리고 정점 가중치(vertex weight)와 엣지 가중치(edge weight)는 각각의 조인의 비용과 조인 연산들의 상호관계를 표현한다. 이때 데이터 스트림은 빠른 처리를 해야 하므로 메모리 기반의 그래프 기법을 사용한다. 이를 이용하여 최대값만을 이용하여 조인 연산을 수행하는 MVP 알고리즘을 개선하고 이의 그래프에서 최적의 조인 순서를 찾는다. 이를 통한 최종 결과는 중첩-루프(nested loop) 조인 계획을 수행하여 얻어진다. 성능비교를 통하여 제안기법이 기존 기법들보다 우수함을 증명한다.

  • PDF

센서 네트워크에서 시놉시스와 인코딩을 이용한 에너지 효율적인 인-네트워크 조인 질의 처리 (An Energy-Efficient In-Network Join Query Processing using Synopsis and Encoding in Sensor Network)

  • 여명호;장용진;김현주;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제11권2호
    • /
    • pp.126-134
    • /
    • 2011
  • 최근 많은 연구자들은 서로 다른 영역에 저장된 센서 데이터를 이용한 조인 질의에 관심을 갖고 있다. 기존 기법은 예비 조인 조정자가 센서 노드로부터 시놉시스를 수집하고, 조인 질의 처리에 필요한 센서 데이터를 결정한다. 기지국은 전체 데이터를 수집하는 대신 일부 센서 데이터를 수집하여 최종 조인 처리를 수행한다. 하지만, 예비 조인을 수행하는 과정에서 통신 오버헤드를 발생시키는 단점을 가지고 있다. 본 논문에서는 이와 같은 문제점을 해결하는 새로운 에너지 효율적인 인-네트워크 조인 기법을 제안한다. 제안하는 기법은 네트워크 내부에서 예비 조인 조정자를 선정한다. 예비 조인 조정자는 조인의 초기 단계에서 조인 결과에 포함되지 않는 데이터를 제거하고 센서 데이터의 압축을 수행한다. 기지국은 압축된 데이터의 일부와 데이터 압축을 위한 인코딩 테이블을 수집하고 조인 결과를 결정한다. 그 결과, 제안하는 기법은 예비 조인 처리를 위한 통신 비용을 줄이고 네트워크 수명을 연장시킨다.

센서 네트워크에서 블룸 필터를 이용한 하이브리드 인-네트워크 조인 기법 (A Hybrid In-network Join Strategy using Bloom Filter in Sensor Network)

  • 송임영;김경창
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권3호
    • /
    • pp.165-170
    • /
    • 2010
  • 본 논문에서는 센서 네트워크에서 효율적인 조인 처리를 수행하여 통신비용을 최소화할 수 있는 인-네트워크 조인 기법인 SBJ(Semi & Bloom Join)를 제안하였다. SBJ는 하이브리드 기법으로 배터리 소모를 줄이기 위하여 송, 수신하는 데이터의 크기를 줄이는 방법으로 블룸 필터(Bloom Filter)를 이용하여 데이터의 내용을 필터링하도록 하였다. 기존 데이터 대신 작은 크기의 필터링 된 값을 전송함으로써 배터리 소모를 줄이게 된다. SBJ는 조인 처리의 이른 단계에서 조인 결과에 해당되지 않는 데이터를 제거하여 불필요한 통신비용을 감소하여 통신비용을 최소화하기 위한 네트워크 내에서 효율적인 조인 질의 수행 방법이다. 시뮬레이션을 통하여 기존의 조인 기법들과 비교한 결과 SBJ 기법은 블룸 필터를 이용하여 데이터를 필터링 함으로서 센서 노드 배터리 소모량을 크게 줄였으며, 통신 반경에 대한 통신비용도 훨씬 효과적이었다.

사용자 관점에서의 조인 연산 평가 방법론 (A Join Operations Benchmark in Users' Perspective)

  • 정회진;이상호
    • 정보처리학회논문지D
    • /
    • 제12D권1호
    • /
    • pp.13-20
    • /
    • 2005
  • 조인 연산은 데이터베이스 시스템의 가장 기본적이고 중요한 연산이며, 큰 수행 비용을 필요로 하는 연산이다. 지금까지 효율적인 조인 연산의 구현과 평가를 위한 다양한 연구가 진행되었다. 기존의 조인 연산 평가는 구현자 관점에서 우수한 알고리즘을 규명하기 위해 개발되었다. 본 논문은 사용자 관점에서 조인 연산 성능을 평가하는 조인 연산 평가 방법론을 기술한다. 본 성능 평가는 사용자가 자신의 업무에 적합한 조인 연산을 수행하는 데이터베이스 시스템을 선택하는데 도움을 준다. 본 논문에서는 두 가지 조인 범주와 여섯 가지의 조인 성능 영향 요소를 고려하여 42개의 평가 질의를 제안한다. 마지막으로 제안된 방법론에 따라 두 개의 상용 데이터베이스 시스템을 대상으로 구현하고 성능 평가 결과를 기술하였다.

Performance Study of the Index-based Parallel Join

  • Jeong, Byeong-Soo;Edward Omiecinski
    • 정보기술과데이타베이스저널
    • /
    • 제2권2호
    • /
    • pp.87-109
    • /
    • 1995
  • The index file has been used a access database records effectively. The join operation in a relational database system requires a large execution time, especially in the case of handling large size tables. If the indexes are available on the joining attributes for both relations involved in the join and the join selectivity is relatively small, we can improve the execution time of the join operation. In this paper. we investigate the performance trade-offs of parallel index-based join algorithms where different indexing schemes are used. We also present a comparison of our index-based parallel join algorithms with the hash-based parallel join algorithm.

  • PDF