Journal of KIISE (정보과학회 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Improving the Lifetime of NAND Flash-based Storages by Min-hash Assisted Delta Compression Engine

MADE (Minhash-Assisted Delta Compression Engine) : 델타 압축 기반의 낸드 플래시 저장장치 내구성 향상 기법

  • 권혁준 (서울대학교 컴퓨터공학부) ;
  • 김도현 (서울대학교 컴퓨터공학부) ;
  • 박지성 (서울대학교 컴퓨터공학부) ;
  • 김지홍 (서울대학교 컴퓨터공학부)
  • Received : 2015.01.08
  • Accepted : 2015.05.29
  • Published : 2015.09.15
⟨ Previous Next ⟩

Abstract

In this paper, we propose the Min-hash Assisted Delta-compression Engine(MADE) to improve the lifetime of NAND flash-based storages at the device level. MADE effectively reduces the write traffic to NAND flash through the use of a novel delta compression scheme. The delta compression performance was optimized by introducing min-hash based LSH(Locality Sensitive Hash) and efficiently combining it with our delta compression method. We also developed a delta encoding technique that has functionality equivalent to deduplication and lossless compression. The results of our experiment show that MADE reduces the amount of data written on NAND flash by up to 90%, which is better than a simple combination of deduplication and lossless compression schemes by 12% on average.

본 연구에서는 쓰기 데이터양 감소를 통해 낸드 플래시 기반 저장장치의 수명향상을 도모할 수 있는 MADE(Min-hash Assisted Delta-compression Engine) 모듈을 제안한다. MADE 모듈은 델타압축기법(delta compression)을 통해 중복되는 데이터 패턴을 최소화하여 실제 낸드 플래시에 인가되는 쓰기 명령 횟수를 획기적으로 줄일 수 있을 뿐만 아니라, 중복제거기법(deduplication) 및 무손실압축기법(lossless compression)의 통합적용과 유사한 효과를 볼 수 있도록 설계되었다. 또한 델타압축기법 과정 중 필요한 참조 페이지 탐색 및 압축 기법을 최적화하여, 저장되는 데이터양을 최대한 줄이는 동시에 부가적인 오버헤드를 최소화 하였다. 시뮬레이션 결과, MADE가 적용된 플래시 변환계층(Flash Transition Layer, FTL)은 실제 낸드 플래시 칩에 저장되는 데이터를 최소 50% 줄일 수 있었으며, 순차적인 중복제거기법과 무손실압축 기법을 단순 통합하여 적용한 경우에 비해 추가적으로 12%의 쓰기 데이터양을 감소시킬 수 있었다.

Keywords

Acknowledgement

Supported by : 서울대학교, 한국연구재단

References

  1. Lee, Sungjin, et al., "Improving performance and lifetime of solid-state drives using hardware-accelerated compression," Consumer Electronics, IEEE Transactions on, Vol. 57, issue 4, pp. 1732-1739, 2011. https://doi.org/10.1109/TCE.2011.6131148
  2. Chen, Feng, et al., "CAFTL: A Content-Aware Flash Translation Layer Enhancing the Lifespan of Flash Memory based Solid State Drives," Proc. of the 9th Conference on File and Storage Technologies (FAST), 2011.
  3. Wu, Guanying, and He, Xubin, "Delta-FTL: improving SSD lifetime via exploiting content locality," Proc. of the 7th ACM European Conference on Computer Systems (EuroSys), pp. 253-266, 2012.
  4. R. N. Williams, "An extremely fast ziv-lempel data compression algorithm," Proc. of the Data Compression Conference, pp. 362-371, 1991.
  5. Shilane, Phlip, et al., "WAN-optimizzed replication of backup datasets using stream-informed delta compression," ACM Transactions on Storage (TOS), 2012, Vol. 8, issue 4, No. 13.
  6. Bentley, Jon, and Douglas, McIlroy, "Data compression using long common strings," Proc. of Data Compression Conference. IEEE, pp. 287-295, 1999.
  7. Rajaraman, Anand, and Ullman, "Mining of massive datasets," Cambridge University Press, pp. 71-126, 2011.
  8. Korn, D, Macdonald, J, and Mogul, J, "RFC 3284: The vcdiff generic differencing and compression data format," Internet Engineering Task Force (IETF), 2002.