DOI QR코드

DOI QR Code

Performance Analysis of Lustre File System using High Performance Storage Devices

고성능 스토리지를 이용한 Lustre 파일 시스템의 성능 분석 연구

  • 이재환 (한국항공대학교 항공전자정보공학부) ;
  • 구동훈 (한국항공대학교 항공전자정보공학부) ;
  • 박경민 (한국항공대학교 항공전자정보공학부) ;
  • 김직수 (한국과학기술정보연구원 국가슈퍼컴퓨팅연구소) ;
  • 황순욱 (한국과학기술정보연구원 국가슈퍼컴퓨팅연구소)
  • Received : 2015.11.12
  • Accepted : 2016.02.01
  • Published : 2016.04.15

Abstract

Lustre is a scalable, distributed file system, which is popular in the field of high-performance computing. Recently, the advent of SSD has enabled high-performance storage hardware, but software development requires further improvement. In this paper, we analyzed performance of the Lustre system using SSD via extensive experimentation. We compared performance of Lustre on SSDs and HDDs in terms of file read/write throughputs and metadata access latencies. Our experimental results showed that 1) SSDs improve metadata access performance due to fast random read/write access of SSD characteristics, and 2) SSD are benefited to a greater extent under multiple threads and large numbers of small sized files.

Lustre는 대용량 분산파일 시스템의 일종으로 슈퍼컴퓨팅 분야에서 널리 사용되고 있다. 최근 SSD의 등장으로 인해, 고성능 스토리지를 구성할 수 있는 하드웨어적인 발전은 이루어졌으나, 이에 따른 소프트웨어적인 발전은 아직 따라가지 못하고 있다. 본 논문에서는 SSD를 이용한 Lustre시스템의 성능을 실험을 통해 측정하고 분석하였다. 하드디스크로 구성된 Lustre와 SSD로 구성된 Lustre를 각각 비교실험을 통해, 전체 대역폭 및 메타데이터 접근 성능에 대해서 분석하고, 장단점을 비교한다. 실험결과, 1) 랜덤 접근에 강한 SSD를 메타데이터용 저장공간에 사용하는 것이 효율적이며, 2) 스레드 수가 많거나, 작은 파일이 많은 경우 SSD를 데이터 저장 디스크로 사용하는 것이 성능의 이점이 있다.

Keywords

References

  1. Sun Oracle. (2011, January). Lustre Software Release 2.x Operation Manual [Online]. Available: http://Iustre.org/documentation (downloaded 2015, March. 10)
  2. J. Fragalla, "Configure, Tune, and Benchmark a Lustre FileSystem," 2014 Oil & Gas HPC Workshop, 2014.
  3. Shuichi Ihara, "Lustre Metadata Fundamental Benchmark and Performance," 2014 Lustre Admins & Developers Workshop, 2014.
  4. Jogn L. Hammond, "Progressive File Layouts Prototype," Lustre User Group 2015, 2015.
  5. T. Wang, S. Oral, Y. Wang, B. Settlemyer, S. Atchley, W. Yu, "BurstMem: A High-Performance Burst Buffer System for Scientific Applications," 2014 IEEE International Conference on Big Data, IEEE, 2014.

Cited by

  1. Adaptive hybrid storage systems leveraging SSDs and HDDs in HPC cloud environments vol.20, pp.3, 2017, https://doi.org/10.1007/s10586-017-1002-5