DOI QR코드

DOI QR Code

인피니밴드 기반 고성능 클러스터를 위한 효율적인 데이터 선반입 기법

Efficient Data Pre-fetching Scheme for InfiniBand based High Performance Clusters

  • 김봉재 (선문대학교 컴퓨터공학부) ;
  • 정진만 (한남대학교 정보통신공학과) ;
  • 민홍 (호서대학교 컴퓨터정보공학부) ;
  • 허준영 (한성대학교 컴퓨터공학부) ;
  • 정혜동 (전자부품연구원 임베디드SW연구센터)
  • 투고 : 2016.10.07
  • 심사 : 2017.01.03
  • 발행 : 2017.05.15

초록

최근 고성능 네트워크 기술을 기반으로 다수의 컴퓨터를 활용하여 클러스터를 구축하고 고성능 컴퓨팅 환경을 제공하기 위한 연구가 활발하게 이루어지고 있다. 이와 같은 고성능 클러스터 환경에서 각 컴퓨팅 노드의 데이터 처리 성능을 향상시키기 위하여 Redis, Memcached와 같은 인-메모리 기반 키-값 데이터 저장소를 활용하고 있다. 이를 통해 인-메모리 기반으로 데이터를 분산 저장하고 각 컴퓨팅 노드에서 필요한 데이터를 고속으로 접근할 수 있다. 인피니밴드는 이와 같은 고성능 클러스터에서 각 컴퓨팅 노드를 연결하기 위한 사실상의 표준 기술이다. 본 논문에서는 키-값 데이터 저장소 기반 고성능 클러스터 컴퓨팅 시스템의 데이터 처리 성능을 향상시키기 위해 인피니밴드 네트워크의 데이터 송수신 지연 특성을 활용한 데이터 선반입 기법을 제안한다. 시뮬레이션을 통해 제안 기법이 기존 기법보다 데이터 송수신 소요시간을 최대 약 28% 줄여 컴퓨팅 성능을 향상 시킬 수 있음을 보인다.

Recently, much research has been devoted to implementing and provisioning high-performance computing environment using clusters with multiple computers and high-performance networking technologies. In-memory based Key-Value stores, such as Redis or Memcached, are widely used in high performance cluster environments to improve the data processing performance. We can distribute data at different storage nodes, and each computing node can access it at a high speed using these In-memory based Key-Value stores. InfiniBand is a de-facto technology that is widely used to interconnect each node of a cluster. In this paper, we propose a new data pre-fetching scheme for Key-Value store based on high performance clusters to improve the performance. The proposed scheme utilizes the data transfer characteristics of InfiniBand. The results of the simulation show that the proposed scheme can reduce the data transfer time by up to about 28%.

키워드

과제정보

연구 과제 주관 기관 : 한국연구재단

참고문헌

  1. S. Sur, H.-W. Jin, D. K. Panda, "Efficient and scalable all-to-all personalized exchange for Infini- Band-based clusters," Proc. of the International Conference on Parallel Processing, pp. 275-282, 2004.
  2. D. K. Panda, "Accelerating Big Data Processing on Modern Clusters," Proc. of the 1st Workshop on Performance Analysis of Big Data Systems, pp. 1-1, 2015.
  3. S. Sanfilippo, P. Noordhuis, "Redis," available via http://redis.io, 2009.
  4. B. Fitzpatrick, "Memcached," available via http://www.memcached.org, 2010.
  5. J. Jose, et al., "Memcached design on high performance rdma capable interconnects," Proc. of 2011 International Conference on Parallel Processing, pp. 743-752, 2011.
  6. W. Zhang, J. Hwang, T. Wood, K. K. Ramakrishnan, H. Huang, "Load balancing of heterogeneous workloads in memcached clusters," Proc. of 9th International Workshop on Feedback Computing, 2014.
  7. Mellanox, "RDMA Aware Programming User Manual," Retrieved Nov., 2, 2016, from http://www.mellanox.com