DEM_Comp Software for Effective Compression of Large DEM Data Sets

대용량 DEM 데이터의 효율적 압축을 위한 DEM_Comp 소프트웨어 개발

  • Kang, In-Gu (Dept. of Geoinformatics, University of Seoul Planning & Policy Division, National Geographic Information Institute) ;
  • Yun, Hong-Sik (School of Civil & Environmental Engineering, Sungkyunkwan University) ;
  • Wei, Gwang-Jae (Dept. of constructional & environmental system engineering, Sungkyunkwan University) ;
  • Lee, Dong-Ha (College of Engineering, Sungkyunkwan University)
  • Received : 2010.03.30
  • Accepted : 2010.04.24
  • Published : 2010.04.30

Abstract

This paper discusses a new software package, DEM_Comp, developed for effectively compressing large digital elevation model (DEM) data sets based on Lempel-Ziv-Welch (LZW) compression and Huffman coding. DEM_Comp was developed using the $C^{++}$ language running on a Windows-series operating system. DEM_Comp was also tested on various test sites with different territorial attributes, and the results were evaluated. Recently, a high-resolution version of the DEM has been obtained using new equipment and the related technologies of LiDAR (LIght Detection And Radar) and SAR (Synthetic Aperture Radar). DEM compression is useful because it helps reduce the disk space or transmission bandwidth. Generally, data compression is divided into two processes: i) analyzing the relationships in the data and ii) deciding on the compression and storage methods. DEM_Comp was developed using a three-step compression algorithm applying a DEM with a regular grid, Lempel-Ziv compression, and Huffman coding. When pre-processing alone was used on high- and low-relief terrain, the efficiency was approximately 83%, but after completing all three steps of the algorithm, this increased to 97%. Compared with general commercial compression software, these results show approximately 14% better performance. DEM_Comp as developed in this research features a more efficient way of distributing, storing, and managing large high-resolution DEMs.

본 논문에서는 대용량의 수치표고모델(DEM) 데이터의 효율적인 압축을 위해 허프만 코딩과 Lempel-Ziv-Welch 압축방법을 기반으로 하는 새로운 DEM 압축 소프트웨어인 DEM_Comp를 개발하였다. DEM_Comp의 개발을 위해서 $C^{++}$ 언어를 이용하였으며, 모든 Window 플랫폼에서 사용이 가능하도록 하였다. 개발된 소프트웨어의 성능을 평가하기 위해 다양한 지형의 형태를 가지는 DEM에 대해 압축을 수행하고, 출력파일의 용량에 따른 압축효율을 평가하였다. 최근 새로운 지형데이터 취득장비인 LiDAR와 SAR 등에 의해 고해상도의 DEM의 활용이 급격하게 증가하고 있어, 데이터의 저장용량과 전송대역폭을 감소시킬 수 있는 DEM 압축기술이 매우 유용하게 이용되고 있다. 일반적으로 데이터 압축기술은 i) 데이터 사이의 관계를 분석하고, ii) 분석 결과에 따라 압축 및 저장기술을 결정하는 2부분으로 구성되는데, DEM_Comp에서는 정규격자, Lempel-Ziv 압축방법, 허프만 코딩의 3단계 압축 알고리즘을 통해 DEM이 압축된다. DEM_Comp의 압축효율 실험 결과 전처리만 수행하였을 경우 지형의 기복과 상관없이 압축효율은 약 83% 정도를 나타내었지만, 3단계의 압축 알고리즘이 완료된 경우에는 압축효율이 97%까지 증가하는 것으로 나타났다. 이러한 수치는 일반적인 상업용 압축 소프트웨어들과 비교하여 약 14% 정도의 압축효율이 향상되었음을 나타낸다. 이에 따라 본 연구에서 개발된 DEM_Comp S/W를 이용하면 대용량의 고해상도 DEM의 관리, 저장, 배포를 보다 효율적으로 수행할 수 있을 것으로 판단된다.

Keywords

References

  1. Boehm, B. W. (1967), Tabular representations of multivariate functions with applications to topographic modeling, In: Proceedings, 22nd ACM National Coriference, Washington DC, pp. 403-415.
  2. Franklin, W. R. (1995), Compressing elevation data, In: Advances in Spatial Databases: Proceedings of the Fourth International Symposium on Large Spatial Databases (SSD 95), Portland, ME, August, Lecture Notes in Computer Science, Vol. 951. Springer, Berlin, pp. 385-404.
  3. Jacob, Z. and Lempel, A. (1977), A universal algoritlun for sequential data compression, IEEE Transactions on Information Theory, Vol. 23, No.3, pp. 337-343. https://doi.org/10.1109/TIT.1977.1055714
  4. Kidner, D. B. and Smith, D. H. (1992), Compression of digital elevation models by Huffman coding, Computers & Geosciences, Vol. 18, No.8, pp. 1013-1034. https://doi.org/10.1016/0098-3004(92)90018-M
  5. Kidner, D. B. and Smith, D. H. (2003), Advances in data compression of digital elevation models, Computers & Geosciences, Vol. 29, No.8, pp. 985-1002. https://doi.org/10.1016/S0098-3004(03)00097-9
  6. Welch, T. A. (1984), A technique for high-perfonnallce data compression, IEEE Computer, Vol. 17, No.6, pp. 8-19.
  7. RARLAB (2010), rar.exe, http://www.rarsoft.com
  8. zlib Group (2010), pkzip.exe, http://www.zlib.net