KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Compressing Method of NetCDF Files Based on Sparse Matrix

희소행렬 기반 NetCDF 파일의 압축 방법

  • 최규연 (국민대학교 컴퓨터공학부) ;
  • 허대영 (국민대학교 컴퓨터공학부) ;
  • 황선태 (국민대학교 컴퓨터공학부)
  • Received : 2014.09.15
  • Accepted : 2014.09.26
  • Published : 2014.11.15
⟨ Previous Next ⟩

Abstract

Like many types of scientific data, results from simulations of volcanic ash diffusion are of a clustered sparse matrix in the netCDF format. Since these data sets are large in size, they generate high storage and transmission costs. In this paper, we suggest a new method that reduces the size of the data of volcanic ash diffusion simulations by converting the multi-dimensional index to a single dimension and keeping only the starting point and length of the consecutive zeros. This method presents performance that is almost as good as that of ZIP format compression, but does not destroy the netCDF structure. The suggested method is expected to allow for storage space to be efficiently used by reducing both the data size and the network transmission time.

많은 과학 데이타처럼 화산재 확산 시뮬레이션 결과는 NetCDF 형식의 군집화된 희소행렬이다. 그리고 크기가 커서 저장과 전송에 많은 비용이 발생한다. 본 논문에서는 다차원 인덱스를 일차원으로 바꾸고 연속된 0을 그 시작점과 길이만을 기록하여 화산재 확산 시뮬레이션 데이터의 크기를 줄이는 방법을 제안한다. 이 방법은 기존의 ZIP 형식으로 압축한 것과 거의 같은 성능을 보이나 NetCDF의 구조는 손상하지 않는다. 제안된 방법에 의하면 데이터 크기가 줄어들어 저장공간의 효율이 높아지고 네트워크 전송시간이 줄어드는 효과를 기대할 수 있을 것이라 사료된다.

Keywords

Acknowledgement

Grant : 화산재해 대응시스템 개발

Supported by : 소방방재청

References

  1. A. Folch, A. Costa, and G. Macedonio, "FALL3D: A computational model for transport and deposition of volcanic ash," Computers & Geosciences, Vol. 35, Issue 6, pp. 1334-1342, Jun. 2009. https://doi.org/10.1016/j.cageo.2008.08.008
  2. NetCDF, [Online]. Available: http://www.unidata.ucar. edu/software/netcdf/
  3. R. Rew, G. Davis, ""NetCDF: an interface for scientific data access," Computer Graphics and Applications, Vol. 10, Issue 4, pp. 76-82, Jul. 1990.
  4. JSON, [Online]. Available: http://www.json.org/
  5. Y. Saad, Iterative methods for sparse linear systems, 2nd Ed., pp. 92-93, 2003.
  6. S. W. Golomb, "Run-length encodings (Corresp.)," IEEE Transactions on Information Theory, Vol. 12, Issue 3, pp. 339-401, Jul. 1966.
  7. K. H. Kim, B. S. Kim, and E. J. Im, "Performance Optimization of Sparse Matrix Operation," Proc. of the 30th KIISE Spring Conference, pp. 130-132, 2003. (in Korean)