희소행렬 기반 NetCDF 파일의 압축 방법

Compressing Method of NetCDF Files Based on Sparse Matrix

많은 과학 데이타처럼 화산재 확산 시뮬레이션 결과는 NetCDF 형식의 군집화된 희소행렬이다. 그리고 크기가 커서 저장과 전송에 많은 비용이 발생한다. 본 논문에서는 다차원 인덱스를 일차원으로 바꾸고 연속된 0을 그 시작점과 길이만을 기록하여 화산재 확산 시뮬레이션 데이터의 크기를 줄이는 방법을 제안한다. 이 방법은 기존의 ZIP 형식으로 압축한 것과 거의 같은 성능을 보이나 NetCDF의 구조는 손상하지 않는다. 제안된 방법에 의하면 데이터 크기가 줄어들어 저장공간의 효율이 높아지고 네트워크 전송시간이 줄어드는 효과를 기대할 수 있을 것이라 사료된다.

Like many types of scientific data, results from simulations of volcanic ash diffusion are of a clustered sparse matrix in the netCDF format. Since these data sets are large in size, they generate high storage and transmission costs. In this paper, we suggest a new method that reduces the size of the data of volcanic ash diffusion simulations by converting the multi-dimensional index to a single dimension and keeping only the starting point and length of the consecutive zeros. This method presents performance that is almost as good as that of ZIP format compression, but does not destroy the netCDF structure. The suggested method is expected to allow for storage space to be efficiently used by reducing both the data size and the network transmission time.