KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Dynamic Partitioning Scheme for Large RDF Data in Heterogeneous Environments

이종 환경에서 대용량 RDF 데이터를 위한 동적 분할 기법

  • 김민수 (충북대학교 정보통신공학과) ;
  • 임종태 (충북대학교 정보통신공학과) ;
  • 복경수 (충북대학교 정보통신공학과) ;
  • 유재수 (충북대학교 정보통신공학과)
  • Received : 2017.04.07
  • Accepted : 2017.08.12
  • Published : 2017.10.15
⟨ Previous Next ⟩

Abstract

In distributed environments, dynamic partitioning is needed to resolve the load on a particular server or the load caused by communication among servers. In heterogeneous environments, existing dynamic partitioning schemes can distribute the same load to a server with a low physical performance, which results in a delayed query response time. In this paper, we propose a dynamic partitioning scheme for large RDF data in heterogeneous environments. The proposed scheme calculates the query loads with its frequency and the number of vertices used in the query for load balancing. In addition, we calculate the server loads by considering the physical performance of the servers to allocate less of a load to the servers with a smaller physical performance in a heterogeneous environment. We perform dynamic partitioning to minimize the number of edge-cuts to reduce the traffic among servers. To show the superiority of the proposed scheme, we compare it with an existing dynamic partitioning scheme through a performance evaluation.

분산 환경에서 특정 서버에 발생한 부하 또는 서버 간의 통신으로 발생한 부하를 해결하기 위한 동적 분할이 필요하다. 이종 환경에서 기존 동적 분할 기법은 물리적 성능이 작은 서버에도 동일한 부하를 분배하므로 질의 응답시간이 늦어지는 문제가 발생한다. 본 논문에서는 이종 환경에서 대용량 RDF 데이터를 위한 동적 분할 기법을 제안한다. 제안하는 기법은 부하 분산을 위해 질의 빈도수와 질의에 사용된 정점 수를 가지고 질의 부하를 계산한다. 또한, 이종 환경에서 물리적 성능이 작은 서버에 적은 부하를 할당하기 위하여 서버들의 물리적 성능을 고려한 서버 부하를 계산한다. 부하 분산 시 서버 간의 통신량을 줄이기 위해 간선 절단 수가 최소가 되도록 동적 분할을 수행한다. 성능 평가를 통해 제안하는 동적 분할 기법이 기존 동적 분할 기법에 비해 우수함을 입증한다.

Keywords

Acknowledgement

Supported by : 정보통신기술진흥센터, 한국연구재단, 한국에너지기술평가원(KETEP)

References

  1. F. Manola, E. Miller, B. McBride, "RDF 1.1 Primer," W3C Working Group Note 24 June 2014, 2014. [Online]. Available: https://www.w3.org/TR/2014/NOTE-rdf11-primer-20140624/
  2. Y. Yan, C. Wang, A. Zhou, W. Qian, L. Ma, and Y. Pan, "Efficient indices using graph partitioning in RDF triple stores," Proc. of the 25th International Conference on Data Engineering, pp. 1263-1266, 2009.
  3. [Online]. Available: http://www.w3.org/DesignIssues/LinkedData.html
  4. [Online]. Available: http://wiki.dbpedia.org/about
  5. [Online]. Available: http://lod.kipo.kr/data
  6. R. Wang, K. Chiu, "A Graph Partitioning Approach to Distributed RDF Stores," Proc. of the 10th International Symposium on Parallel and Distributed Processing with Applications, pp. 411-418, 2012.
  7. P. Peng, L. Zou, L. Chen, D. Zhao, "Query Workloadbased RDF Graph Fragmentation and Allocation," Proc. of the 19th International Conference on Extending Database Technology, pp. 377-388, 2016.
  8. D. Nicoara, S. Kamali, K. Daudjee, and L. Chen, "Hermes-Dynamic Partitioning for Distributed Social Network Graph Databases," Proc. EDBT, pp. 25-36, 2015.
  9. S. Yang, X. Yan, B. Zong, and A. Khan, "Towards effective partition management for large graphs," Proc. of the 2012 ACM SIGMOD International Conference on Management of Data, pp. 517-528, 2012.
  10. M. Schmidt, T. Hornung, M. Meier, C. Pinkel, and G. Lausen, "$SP^2$ Bench: A SPARQL performance benchmark," Semantic Web Information Management, pp. 371-393, 2009.
  11. B. Hendrickson, and R. Leland, "A multilevel algorithm for partitioning graphs," Proc. of the IEEE/ACM SC95 Conference, pp. 28, 1995.