DOI QR코드

DOI QR Code

Distributed Processing System for Aggregate/Analytical Functions on CUBRID Shard Distributed Databases

큐브리드 샤드 분산 데이터베이스에서 집계/분석 함수의 분산 처리 시스템 개발

  • 원지섭 (리얼타임테크) ;
  • 강석 (강원대학교 컴퓨터과학과) ;
  • 조선화 (강원대학교 컴퓨터과학과) ;
  • 김진호 (강원대학교 컴퓨터과학과)
  • Received : 2015.03.17
  • Accepted : 2015.06.08
  • Published : 2015.08.15

Abstract

Database Shard is a technique that can be queried and stored by dividing one logical table into multiple databases horizontally. In order to analyze the shard data with aggregate or analysis functions, a process is required that integrates partial results on each shard database. In this paper, we introduce the design and implementation of a distributed processing system for aggregation and analysis on the CUBRID Shard distributed database, which is an open source database management system. The implemented system can accelerate the analysis onto multiple shards of partitioned tables; it shows efficient aggregation on shard distributed databases compared to stand-alone databases.

대용량의 테이블을 수평적으로 분할하여 서로 다른 데이터베이스에 저장함으로써 데이터를 분산 저장하고 처리할 수 있는 방법을 샤딩이라 한다. 샤딩된 데이터에 대한 집계 또는 분석 함수를 적용하여 전체 결과를 얻기 위해서는 여러 곳으로 분산된 데이터에 대한 지역 결과를 통합하는 과정이 필요하다. 본 논문에서는 오픈 소스 DBMS의 하나인 큐브리드(CUBRID)의 샤딩 기술을 이용하여 분산된 부분 집계함수를 통합 처리하는 모듈을 설계하고 구현하는 방법에 대해 소개한다. 이 통합 모듈을 통해 여러 곳으로 샤딩된 데이터에 대하여 집계 및 분석 함수를 이용한 분석이 가능하도록 하였고, 단일 데이터베이스를 사용한 분석 성능과의 비교를 통해 샤드 분산 데이터베이스를 사용한 집계 계산이 효율적임을 보인다.

Keywords

References

  1. Shard (database architecture), [Online]. Available: http://en.wikipedia.org/wiki/Sharding
  2. Database sharding whitepaper, [Online]. Available: http://www.dbshards.com/articles/database-shardingwhitepapers/
  3. Minyoung Ra, "A Graph-based Horizontal Partitioning Algorithm for Distributed Database Design," J. of KIISE, Vol. 19, No. 1, pp. 220-119, Jan. 1992.
  4. J.-Y. Chang, S.-G. Lee, "Search Algorithms of an Optimal Query in Query Reformulation System Using Aggregate Materialized Views," J. of KIISE: Database, Vol. 27, No. 3, pp. 499-510, Sep. 2000.
  5. Gray, J., et al., "Data cbue: a relational aggregation operator generalizing GROUP-BY, CROSS-TAB, and SUB-TOTALS," Data Mining and Knowledge Discovery, Vol. 1, pp. 29-53, 1997. https://doi.org/10.1023/A:1009726021843
  6. Cubrid DBMS, [Online]. Available: http://www.cubrid.com/zbxe/product
  7. Cubrid Tutorials, [Online]. Available: http://www.cubrid.org/wiki_tutorials/entry/cubrid-tutorials
  8. Ji-Seop Won, Development of Integrated Processing System of Aggregate Functions in Cubrid Shard Distributed Environment, Master Thesis, Dept. of Comptuer Science, Kantwon National University, Feb. 2015.
  9. DEWITT, David J, The Wisconsin Benchmark: Past, Present, and Future. 1993.