Provisioning Scheme of Large Volume File for Efficient Job Execution in Grid Environment

그리드 환경에서 효율적인 작업 처리를 위한 대용량 파일 프로비저닝 방안

  • 김은성 (서울대학교 컴퓨터공학부) ;
  • 염헌영 (서울대학교 컴퓨터공학부)
  • Published : 2009.08.15

Abstract

Staging technique is used to provide files for a job in the Grid. If a staged file has large volume, the start time of the job is delayed and the throughput of job in the Grid may decrease. Therefore, removal of staging overhead helps the Grid operate more efficiently. In this paper, we present two methods for efficient file provisioning to clear the overhead. First, we propose RA-RFT, which extends RFT of Globus Toolkit and enables it to utilize RLS with replica information. RA-RFT can reduce file transfer time by doing partial transfer for each replica in parallel. Second, we suggest Remote Link that uses remote I/O instead of file transfer. Remote link is able to save storage of computational nodes and enables fast file provisioning via prefetching. Through various experiments, we argue that our two methods have an advantage over existing staging techniques.

그리드 환경에서 작업에 필요한 파일은 스테이징 기법에 의해서 전송된다. 이때 요구되는 파일이 대용량일 경우 전송에 걸리는 시간이 늘어나 작업의 시작 시간을 지연시키게 되다. 또한, 이는 작업의 전체 실행 시간을 증가시키는 요인이 되어서 작업처리량을 감소시키는 결과를 가져오게 된다. 따라서 이러한 파일 전송 시간 때문에 생기는 오버헤드를 줄인다면 그리드에서 실행되는 작업의 효율을 상당히 향상 시킬 수 있다. 이러한 사실에 근거하여 본 논문에서는 그리드에서 효율적인 작업 처리를 위한 파일 프로비저닝 기법으로서 다음과 같은 두 가지 방법을 제안한다. 첫째, RA-RFT라는 방법을 제안한다. RA-RFT는 Globus Toolkit에서 파일 전송을 담당하는 RFT가 리플리카를 관리하는 RLS의 정보를 이용할 수 있도록 RFT를 확장한 것이다. RA-RFT는 파일 전송 시 가용한 리플리카들로부터 파일을 분할 전송함으로써 대용량 파일 전송 시간을 단축시킬 수 있다. 둘째 리모트 링크라는 방법을 제안한다. 리모트 링크는 파일을 계산 노드로 직접 전송하지 않고 계산 노드에서 파일에 원격 접근할 수 있는 방법을 제공한다. 원격 접근 방법을 이용함으로써 계산 노드의 저장 공간을 절약할 수 있고 선반입을 통해서 효율적인 파일 프로비저닝을 가능하게 한다. 우리는 이러한 두 가지 방법이 기존 그리드 환경에서 사용하고 있는 스테이징 방식보다 우월한 성능을 보여준다는 것을 다양한 실험을 통해서 증명한다.

Keywords

References

  1. T. Foster, C. Kesselman, S. Tuecke, “The Ana-tomy of the Grid: Enabling Scalable Virtual Orga-nizations,” Journal of Supercomputer Applications, 15(3), 2001 https://doi.org/10.1177/109434200101500302
  2. I. Foster, “Globus Toolkit Version 4: Software for Service-Oriented Systems,” Conference on Network and Parallel Computing, Tokyo, Japan, 2006
  3. M. Ripeanu, I. Foster and A. Iamnitchi, “Mapping the Gnutella Network: Properties of Large-Scale Peer-to-Peer Systems and Implications for Sys-tem Design,” IEEE Internet Computing, 6(1), 2002 https://doi.org/10.1109/4236.978369
  4. R. Woiski, N. T. Spring, and J. Hayes, “The network weather service: a distributed resource performance forecasting service for metacompu-ting,“ Future Generation Computer Systems, 15 (5-6), 1999 https://doi.org/10.1016/S0167-739X(99)00025-4
  5. Netperf, http://www.netperf.org
  6. FUSE, http://fuse.sourceforge.net
  7. PlanetLab, http://www.planet-lab.org
  8. J. Bester, I. Foster, C. Kesselman, J. Tedesco, S. Tuecke, “GASS: A Data Movement and Access Service for Wide Area Computing Systems,” Work-shop on I/O in Parallel and Distributed Systems, Atlanta, USA, 1999 https://doi.org/10.1145/301816.301839
  9. I. Foster, D. Kohr, R. Krishnaiyer, J. Mogill, "Remote I/O: Fast Access to Distant Storage," Workshop on Input/Output in Parallel and Dis-tributed Systems, San Jose, USA, 1997 https://doi.org/10.1145/266220.266222
  10. Jonghyun Lee, R. Ross, R. Thakur, Xiaosong Ma, M. Winslett, “RFS: efficient arid flexible remote file access for MPI-IO,” Conference on Cluster Computing, San Diego, USA, 2004
  11. Eunsung Kim, Hyeong S. Kim, Heon Y. Yeom, and Jongsook Lee, "GiSK: Making Secure, Re-liable and Scalable VO Repository Virtualizing Generic Disks in the Grid," Conference on High-Performance Computing in Asia-Pacific Region, Beijing, China, 2005 https://doi.org/10.1109/HPCASIA.2005.43
  12. A. Shishani, A. Sim, and J. Gu, “Storage Re-source Managers: Middleware Components for Grid Storage,” Symposium on Mass Storage Systems, College Park, USA, 2002
  13. Osamu Tatebe, Noriyuki Soda, Youhei Morita, Satoshi Matsuoka, Satoshi Sekiguchi, "Gfarm v2: A Grid file system that supports high-perfor-mance distributed and parallel data computing," Computing in High Energy and Nuclear Physics, Interlaken, Switzerland, 2004
  14. DRS, http://www.globus.org/toolkit/docs/4.0/techpre-view/datarep/
  15. XiaoLi Zhou, Eunsung Kim, Jai Wug Kim, and Heon Y. Veom, “ReCon: A Fast and ReliabIe Replica Retrieval Service for the Data Grid,” Symposium on Cluster Computing and the Grid, Singapore, 2006 https://doi.org/10.1109/CCGRID.2006.83
  16. R. M. Rahman, K. Barker, and R. Alhaij, “Replica selection in grid environrnnt: a data-mining app-roach,” Symposium on Applied computing, Santa Fe, USA, 2005
  17. D. Yin, B. Chen, and Y. Fang, “A fast replica selection algorithm for data grid,” Computer Soft-ware and Applications Conference, Beijing, China, 2007 https://doi.org/10.1109/COMPSAC.2007.21
  18. Y. Zhao and Y. Hu, “Gress-a grid replica selection service,” Parallel and Distributed Com-puting Systems, Marina del Rey, USA, 2003