DOI QR코드

DOI QR Code

Design and Implementation of Autonomic De-fragmentation for File System Aging

파일 시스템 노화를 해소하기 위한 자동적인 단편화 해결 시스템의 설계와 구현

  • 이준석 (육군3사관학교 컴퓨터공학과) ;
  • 박현찬 (고려대학교 컴퓨터학과) ;
  • 유혁 (고려대학교 컴퓨터공학과)
  • Published : 2009.04.30

Abstract

Existing techniques for defragmentation of the file system need intensive disk operation for some periods at specific time such as disk defragmentation program. In this paper, for solving this problem, we design and implement the automatic and continuous defragmentation free system by distributing the disk operation. We propose the Automatic Layout Scoring(ALS) mechanism for measuring defragmentation degree and suggest the Lazy Copy mechanism that copies the defragmented data at idle time for scattering the disk operation. We search the defragmented file by Automatic Layout Scoring mechanism and then find for empty spaces for that searched file. After lazy copy of searched fils to empty space for preventing that file from being lost, the algorithm solves the defragmentation problem by updating the I-node of that file. We implement these algorithms in Linux and evaluate them for small and defragmented file to get the layout scoring. We outperform the Linux EXT2 file system by $2.4%{\sim}10.4%$ in layout scoring evaluation. And the performance of read and write for various file size is better than the EXT2 by $1%{\sim}8.5%$ for write performance and by $1.2%{\sim}7.5%$ for read performance. We suggest this system for solving the problem of defragmentation automatically without disturbing the I/O task and manual management.

파일 시스템의 단편화 현상을 해결하기 위한 기존 기법들은 디스크 조각 모음과 같이 특정 시점에 집중된 디스크의 연산이 요구된다. 본 논문에서는 이러한 단점을 해소하기 위해 디스크의 연산 처리를 분산시키는 자동적이고, 지속적인 단편화 해소 시스템을 설계하고 구현하고자 한다. 이를 위해 우리는 단편화 측정을 위한 자동적인 레이아웃 스코어링(ALS: Autonomic Layout Scoring)기법과 디스크의 연산 처리를 분산시키기 위한 기법으로 디스크의 유휴 시간(idle time)을 찾아 복사를 수행하는 지연 복사(Lazy-copy)기법을 제안한다. 두 기법은 우선 자동적인 레이아웃 스코어링을 통해 단편화 된 대상 파일을 검색하고, 검색된 파일을 옮길 수 있는 연속적인 빈 공간이 있을 경우, 파일의 유실을 막기 위해 지연 복사를 수행한 후 아이노드의 정보를 수정함으로써 단편화 현상을 해결한다. 본 논문에서 제시한 시스템을 실제 리눅스(linux) 환경에 적용하여 단편화 된 작은 파일의 레이아웃 스코어링을 측정 한 결과 기존 EXT2 파일 시스템보다 $2.4%{\sim}10.4%$ 정도의 레이아웃 스코어링이 향상된 것을 볼 수 있었으며, 실험 디스크에 파일 크기에 따른 읽기/쓰기를 실행하여 성능을 측정한 결과에서도 EXT2 파일 시스템과 비교 하여 쓰기성능에서는 $1%{\sim}8.5%$, 읽기 성능에서는 $1.2%{\sim}7.5%$ 정도의 향상된 결과를 보았다. 이 시스템을 이용하면 수동적인 관리 없이도 자동적으로 사용자의 I/O 작업에 대한 방해 없이 단편화 현상을 지속적으로 해소할 수 있다.

Keywords

References

  1. Windsor W. Hsu, Alan Jay Smith and Honesty C. Young, 'The Automatic Improvement of Locality in Storage Systems,' ACM Transactions on Computer Systems, Vol.23, No.4, November, 2005, pp.424-473, 2005 https://doi.org/10.1145/1113574.1113577
  2. Keith A. Smith and Margo I. Seltzer, 'File System Aging-Increasing the Relevance of File System Benchmarks,' In Proceedings of the 1997 ACM SIGMETRICS Conference, pp.203-213, June, 1997 https://doi.org/10.1145/258623.258689
  3. Keith A. Smith and Margo I. Seltzer 'A Comparison of FFS Disk Allocation Policies,' 1996 USENIX Annual Technical Conference, pp.15-26, 1996
  4. Marshall K. McKusick, William N. Joy, Samuel J. Leffler and Robert S. Fabry,'A Fast File System for UNIX,' ACM Transactions on Computer Systems, Vol.2, No.3, pp.181-197, 1984 https://doi.org/10.1145/989.990
  5. Keith A. Smith and Margo I. Seltzer, 'File Layout and File System Performance,' Harvard University Computer Science Department Technical Report
  6. Marshall K. McKusick, Geoge V. Neville-Neil, 'The Design and Implementation of the FreeBSD Operating System,' Addison-Welsey, Reading, MA. 2005, pp.362-378
  7. Abraham Silberschatz, Peter B. Garvin, Greg Gagne, 'Operating Systems Principles,' John Wiley & Sons, 2006, Appendix A pp.834-842
  8. W.H. Ahn, et al., 'DFS: a de-fragmented file system,' Modeling, Analysis and Simulation of Computer and Telecommunications Systems, 2002. MASCOTS2002. Proceedings. 10th IEEE International Symposium on, 2002, pp.71-80 https://doi.org/10.1109/MASCOT.2002.1167062
  9. W. Vogels, 'File system usage in Windows NT 4.0,' Proceedings of the seventeenth ACM symposium on Operating systems principles, 1999, pp.93-109 https://doi.org/10.1145/319151.319158
  10. Nitin, A., et al., 'A five-year study of file-system metadata,' Trans. Storage, 2007, 3(3): p.9 https://doi.org/10.1145/1288783.1288788
  11. Sarr Blumson, 'Workload Characterization in a Large Distributed File System,' CITI Technical Report 94-3
  12. L. McVoy and S. Kleiman. 'Extent-like performance from a UNIX file system,' In 13th CM Symposium on Operating Systems Principles, pages pp.137-144, October, 1991
  13. E. Riedel, C. van Ingen, and J. Gray. 'A performance study of sequential I/O on Windows NT 4,' In Proceedings of the second USENIX Windows NT Symposium, Seattle, Washington, August, 1998
  14. Card, R., T. Ts'o, and S. Tweedie, 'Design and implementation of the second extended filesystem,' 1994
  15. 이경재, 안우현, 오재원, '디렉토리 지역성을 활용한 작은 파일들의 모아 쓰기 기법', 정보처리학회논문지A, Vol.15-A, No.5, pp.275-286, 2008. 10 https://doi.org/10.3745/KIPSTA.2008.15-A.5.275
  16. The source code for the aging tool and benchmarks. Available : http://www.eecs.harvard.edu/∼keith
  17. Bovet, D.P. and M. Cesati, 'Understanding the Linux Kernel,' 2003, O'Reilly & Associates
  18. Love, R., 'Linux Kernel Development,' 2003: Sams Pub