DOI QR코드

DOI QR Code

File Block Management for Energy-Efficient Distributed Storages

파일 분산 저장 시스템의 에너지 효율성 증대를 위한 파일 블록 관리 기술

  • Suh, Min-Kook (Department of Electrical and Computer Engineering, Seoul National University) ;
  • Kim, Seong-Woo (Engineering Research Institute, Seoul National University) ;
  • Seo, Seung-Woo (Department of Electrical and Computer Engineering, Seoul National University)
  • 서민국 (서울대학교 전기.정보공학부) ;
  • 김성우 (서울대학교 공학연구원) ;
  • 서승우 (서울대학교 전기.정보공학부)
  • Received : 2015.10.22
  • Accepted : 2015.12.30
  • Published : 2016.01.25

Abstract

Because of rapid growth of data size, the number of data storage has been increased. When using multiple data storages, a distribute file system is essential to insure the availability of data files. The power consumption is a major problem when using a distributed file system with many data storages. Previous works have aimed at reducing the energy consumption with efficient file block layout by changing some data servers into stand-by mode. The file block migration has not been seriously considered because migration causes large cost. But when we consider addition of a new data server or file, file block migration is needed. This paper formulates the minimization of data block migration as an ILP optimization problem and solves it using branch-and-bound method. Using this technique, we can maximize the number of stand-by data servers with the minimum number of file block movement. However, computation time of branch-and-bound method of an ILP optimization problem increases exponentially as the problem size grows. Therefore this paper also proposes a data block and data server grouping method to solve many small ILP problems.

저장해야 하는 데이터양이 상당히 증가하여 필요 저장 장치의 수가 증가하게 되었다. 다수의 저장 장치 이용 시 일부 저장 장치가 사용 불가능하여도 파일의 가용성을 보장하는 파일 분산 저장 기술이 필수적이다. 최근 다수의 저장 장치로 구성된 파일 분산 저장 시스템의 에너지 소모가 문제가 되고 있다. 파일 분산 저장 시스템의 에너지 효율성을 향상시키기 위한 대표적인 기존 기술은 효율적인 파일 블록 배치를 통하여 사용량이 적은 시간에 일부 저장 장치를 절전 상태로 변경하는 것이다. 한 번 배치가 된 파일 블록의 재배치는 기존 연구에서 고려되지 않는데, 대량의 파일을 저장하고 있는 파일 분산 저장 시스템에서 파일 블록의 재배치에는 큰 비용이 필요할 수 있기 때문이다. 하지만 새 저장 장치나 파일이 추가되는 경우를 고려할 때 파일 블록의 재배치는 필수적이다. 본 논문은 파일 블록의 재배치 시 필요한 블록 이동수를 최소화하는 정수 최적화 문제를 제시하고 이를 분기한정법 알고리즘으로 해결하는 방법을 제안한다. 이를 통해 최소한의 파일 블록 이동으로 최대한의 많은 수의 저장 장치를 절전 상태로 변경할 수 있다. 하지만 정수 최적화 문제의 분기한정법 알고리즘을 통한 해결은 연산 속도가 문제 크기에 따라 지수 함수적으로 증가하는 문제가 있다. 따라서 본 논문에서는 모든 파일과 데이터 서버를 여러 집단으로 나누어 크기가 작은 문제 다수를 해결하는 방식을 제안한다.

Keywords

References

  1. S. Ghemawat, H. Gobioff, and S. Leung, "The Google file system," in SIGOPS Oper. Syst. Rev. vol 37, no 5, pp. 29-43, Oct. 2003 https://doi.org/10.1145/1165389.945450
  2. R. T. Kaushik, M. Bhandarkar, and K. Nahrstedt, "Evaluation and analysis of green HDFS: A self-adaptive, energy- conserving variant of the Hadoop distributed file system," in Cloud Computing Technology and Science (CloudCom), 2010 IEEE Second International Conference on, pp. 274-287, Nov. 2010
  3. J. Guerra, W. Belluomini, J. Glider, K. Gupta, and H. Pucha, "Energy proportionality for storage: impact and feasibility," in SIGOPS Oper. Syst. Rev. vol 44, no 1, pp. 35-39, Mar. 2010
  4. X. Fan, W. Weber, and L. A. Barroso, "Power provisioning for a warehouse-sized computer," in SIGARCH Comput. Archit. News, vol 35, no 2, pp. 13-23, June 2007
  5. T. Bostoen, S. Mullender, and Y. Berbers. "Power-reduction techniques for data-center storage systems." in ACM Comput. Surv. vol 45, issue 3, no 33, pp. 1-38, July 2013
  6. S. Gurumurthiy, A. Sivasubramaniamy, M. Kandemiry, and H. Frankez, "DRPM: Dynamic speed control for power management in server class disks," in Proceedings of the International Symposium on Computer Architecture (ISCA), pp. 169-179, Jun. 2003
  7. E. Pinheiro and R. Bianchini. "Energy conservation techniques for disk array-based servers," in Proceedings of the 18th annual international conference on Supercomputing (ICS '04), pp. 68-78, ACM, New York, NY, USA, June 2004.
  8. E. Thereska, A. Donnelly, and D. Narayanan, "Sierra: Practical power-proportionality for data center storage," in Proceedings of the sixth conference on Computer systems (EuroSys '11), pp. 169-182, ACM, New York, NY, USA, Apr. 2011
  9. H. Amur, J. Cipar, V. Gupta, G. R. Ganger, M. A. Kozuch, and K. Schwan, "Robust and flexible power-proportional storage," in Proceedings of the 1st ACM symposium on Cloud computing (SoCC '10), pp. 217-228, ACM, New York, NY, USA, Jun. 2010
  10. B. Lin, S. L, X. Liao, Q. Wu, and S. Yang, "eStor: Energy efficient and resilient data center storage," in Cloud and Service Computing (CSC), 2011 International Conference on, pp. 366-371, Dec. 2011
  11. H. Goudarzi, M. Ghasemazar, M. Pedram, "SLA-based optimization of power and migration cost in cloud computing," in Cluster, Cloud and Grid Computing (CCGrid), 2012 12th IEEE/ACM International Symposium on, pp. 172-179, May 2012
  12. A. G. Dimakis, P. B. Godfrey, Y. Wu, M. J. Wainwright, and K. Ramchandran, "Network coding for distributed storage systems," in Information Theory, IEEE Transactions on, vol 56, no 9, pp. 4539-4551, Sep. 2010 https://doi.org/10.1109/TIT.2010.2054295
  13. MOSEK ApS, https://www.mosek.com/