인피니밴드 기반 고성능 클러스터를 위한 효율적인 데이터 선반입 기법

Efficient Data Pre-fetching Scheme for InfiniBand based High Performance Clusters

최근 고성능 네트워크 기술을 기반으로 다수의 컴퓨터를 활용하여 클러스터를 구축하고 고성능 컴퓨팅 환경을 제공하기 위한 연구가 활발하게 이루어지고 있다. 이와 같은 고성능 클러스터 환경에서 각 컴퓨팅 노드의 데이터 처리 성능을 향상시키기 위하여 Redis, Memcached와 같은 인-메모리 기반 키-값 데이터 저장소를 활용하고 있다. 이를 통해 인-메모리 기반으로 데이터를 분산 저장하고 각 컴퓨팅 노드에서 필요한 데이터를 고속으로 접근할 수 있다. 인피니밴드는 이와 같은 고성능 클러스터에서 각 컴퓨팅 노드를 연결하기 위한 사실상의 표준 기술이다. 본 논문에서는 키-값 데이터 저장소 기반 고성능 클러스터 컴퓨팅 시스템의 데이터 처리 성능을 향상시키기 위해 인피니밴드 네트워크의 데이터 송수신 지연 특성을 활용한 데이터 선반입 기법을 제안한다. 시뮬레이션을 통해 제안 기법이 기존 기법보다 데이터 송수신 소요시간을 최대 약 28% 줄여 컴퓨팅 성능을 향상 시킬 수 있음을 보인다.

Recently, much research has been devoted to implementing and provisioning high-performance computing environment using clusters with multiple computers and high-performance networking technologies. In-memory based Key-Value stores, such as Redis or Memcached, are widely used in high performance cluster environments to improve the data processing performance. We can distribute data at different storage nodes, and each computing node can access it at a high speed using these In-memory based Key-Value stores. InfiniBand is a de-facto technology that is widely used to interconnect each node of a cluster. In this paper, we propose a new data pre-fetching scheme for Key-Value store based on high performance clusters to improve the performance. The proposed scheme utilizes the data transfer characteristics of InfiniBand. The results of the simulation show that the proposed scheme can reduce the data transfer time by up to about 28%.