Compound Backup Technique using Hot-Cold Data Classification in the Distributed Memory System

As the IT technology advances, data processing system is required to handle and process large amounts of data. However, the existing On-Disk system has limit to process data which increase rapidly. For that reason, the In-Memory system is being used which saves and manages data on the fast memory not saving data into hard disk. Although it has fast processing capability, it is necessary to use the fault tolerance techniques in the In-Memory system because it has a risk of data loss due to volatility which is one of the memory characteristics. These fault tolerance techniques lead to performance degradation of In-Memory system. In this paper, we classify the data into Hot and Cold data in consideration of the data usage characteristics in the In-Memory system and propose compound backup technique to ensure data persistence. The proposed technique increases the persistence and improves performance degradation.

분산메모리시스템에서의 핫콜드 데이터 분류를 이용한 복합 백업 기법

IT 기술의 발전으로 인해 데이터 처리 시스템은 많은 양의 데이터를 처리 및 가공해야 한다. 하지만, 기존에 사용되던 온디스크(On-Disk) 시스템으로는 급증하는 데이터를 빠르게 처리하는 데 한계점을 가졌다. 이로 인해 많은 분야에서 하드디스크에 데이터를 저장하는 것이 아닌 속도가 빠른 메모리에 데이터를 저장 및 관리하는 인메모리(In-Memory) 시스템이 도입되고 있다. 하지만, 메모리에 데이터를 관리하는 것은 메모리의 특성 중 하나인 휘발성으로 인해 데이터 손실이라는 위험을 갖기 때문에 항상 결함 허용 기법이 뒤따라야 한다. 결함 허용 기법은 인메모리 시스템의 처리 속도를 낮추는 성능 저하 원인이 된다. 따라서 본 논문에서는 인메모리 시스템의 데이터 사용 특성을 고려하여 핫콜드 데이터로 분류하고, 데이터 영속성 보장을 위한 복합 백업 기법을 제안한다. 제안하는 기법은 영속성을 높이고, 성능 저하 원인을 보완한다.