Journal of KIISE:Computer Systems and Theory (한국정보과학회논문지:시스템및이론)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Customizable Global Job Scheduler for Computational Grid

계산 그리드를 위한 커스터마이즈 가능한 글로벌 작업 스케줄러

  • Published : 2006.07.01
Download PDF
⟨ Previous Next ⟩

Abstract

Computational grid provides the environment which integrates v 따 ious computing resources. Grid environment is more complex and various than traditional computing environment, and consists of various resources where various software packages are installed in different platforms. For more efficient usage of computational grid, therefore, some kind of integration is required to manage grid resources more effectively. In this paper, a global scheduler is suggested, which integrates grid resources at meta level with applying various scheduling policies. The global scheduler consists of a mechanical part and three policies. The mechanical part mainly search user queues and resource queues to select appropriate job and computing resource. An algorithm for the mechanical part is defined and optimized. Three policies are user selecting policy, resource selecting policy, and executing policy. These can be defined newly and replaced with new one freely while operation of computational grid is temporarily holding. User selecting policy, for example, can be defined to select a certain user with higher priority than other users, resource selecting policy is for selecting the computing resource which is matched well with user's requirements, and executing policy is to overcome communication overheads on grid middleware. Finally, various algorithms for user selecting policy are defined only in terms of user fairness, and their performances are compared.

계산 그리드는 다양한 컴퓨팅 자원을 통합한 환경을 제공하며, 그리드 환경은 기존의 컴퓨팅 환경에 비해 매우 복잡하며 다양하다. 그리고 그리드 자원들은 각각 같지 않은 플랫폼과 서로 다른 소프트웨어들을 설치하고 있다. 계산 그리드를 보다 효율적으로 사용하기 위해서는 그리드 자원들을 효과적으로 다룰 수 있는 통합이 필요하다. 본 논문에서는 그리드의 자원을 메타 수준에서 통합하면서 동시에 다 양한 정책을 반영할 수 있는 글로벌 스케줄러를 소개한다. 이 글로벌 스케줄러는 기계적인 부분과 세개의 정책으로 구성되어 있다. 기계적인 부분은 적절한 사용자 작업과 계산 자원을 선택하기 위해서 주로 사용자 대기열과 자원 대기열을 검색한다. 이 기계적 부분을 위한 최적화된 알고리즘이 정의되었다. 또한 세개의 정책은 사용자 선택 정책, 자원 선택 정책, 자원 할당 정책으로서 이들은 계산 그리드의 운영을 잠시 중단하고 새로 정의해서 교체 할 수 있다. 예를 들면 사용자 선택 정책은 특정 사용자가 다른 사용자보다 높은 우선 순위를 가지게 하거나 할 수 있고, 자원 선택 정책은 사용자가 요구하는 컴퓨팅 자원에 부합하는 자원을 선택하도록 하며, 자원 할당 정책은 그리드 기반의 통신에서 올 수 있는 부하를 제어하여 극복 할 수 있다. 마지막으로, 사용자 선택 정책을 위한 여러 가지 알고리즘을 사용자 형평성만을 고려하여 정 의하고 이들의 성능을 측정하여 비교하였다.

Keywords

References

  1. I. Foster, C. Keselman, S. Tuecke, 'The Anatomy of the Grid,' International J. Supercomputer Applications. 2001 https://doi.org/10.1177/109434200101500302
  2. I. Foster, C. Kesselman, 'The Globus Project: A Status Report,' Proc. IPPS/SPDP '98 Heterogeneous Computing Workshop, pp, 4-18, 1998. Describes the status of the Globus system as of early 1998 https://doi.org/10.1109/HCW.1998.666541
  3. Globus Toolkit, CSF, http://www.globus.org/
  4. Foster, C. Kesselman, J. Nick, S. Tuecke, 'The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration,' Global Grid Forum, June 22, 2002
  5. Web Services Resource Framework Specification, http://www.oasis-open.org/ committees/wsrf
  6. Condor, Condor-G, http://www.cs.wisc.edu/condor/
  7. M. J. Litzkow and M. Livny, 'Experience With The Condor Distributed Batch System,' Proceedings of the IEEE Workshop on Experimental Distributed Systems, pp.97-101, October 1990 https://doi.org/10.1109/EDS.1990.138057
  8. M. C. Ferris and T. S. Munson, 'Modeling languages and Condor: metacomputing for optimization,' Mathematical Programming, 88(3), pp. 487-505, 2000 https://doi.org/10.1007/PL00011382
  9. M. J. Litzkow and M. Livny, 'Experience With The Condor Distributed Batch System,' Proceedings of the IEEE Workshop on Experimental Distributed Systems, pp.97-101, October 1990 https://doi.org/10.1109/EDS.1990.138057
  10. Mathide Romberg, 'The UNICORE Grid infrastructure,' Scientific Programming, 10(2), pp. 149-157, 2002 https://doi.org/10.1155/2002/483253
  11. A.Reinefeld, H.Stuben, T.Steinke, and W.Baumann, 'Models for Specifying Dis-tributed Computer Resources in UNICORE,' First European Grid Forum Meeting .Proceedings of the ISThmus 2000 / EUNIS 2000 Conference, Poznan, April 2000
  12. M.Romberg, 'The UNICORE Architecture: Seamless Access to Distributed Re-sources,' Proceedings of the Eighth IEEE International Symposium on High Per-formance Distributed Computing, August 1999, pp.287-293
  13. Dietmar W. Erwin, 'UNICORE a Grid computing environment.'
  14. John Brook, Donald Fellows, Kevin Garwood, Carole Goble (2004), 'Semantic matching of Grid-resource descriptions,' 2nd EUROPEAN ACROSS GRIDS CONFERENCE, Nicosia, Cyprus, Jan. 28-30, 2004
  15. Czajkowski, S. Fitzgerald, I. Foster, and C. Kesselman, 'Grid InformationServices for Resource Sharing,' in Proceedings of HPDC-10, IEEE Press, 2001 https://doi.org/10.1109/HPDC.2001.945188
  16. M. Hovestadt, O. Kao, A. Keller, and A. Streit, 'Scheduling in HPC Resource Management Systems:Queuing vs. Planning,' In D. G. Feitelson and L. Rudolph, editors, Proc. of the 9th Workshop on JobScheduling Strategies for Parallel Processing, volume 2862 of Lecture Notes in Computer Science, pages 1-20. Springer, 2003 https://doi.org/10.1007/10968987_1
  17. J. Schopf, 'Ten Actions When Grid Scheduling- The User as a Grid Scheduler,' In J. Nabrzyski. J. Schopf, and J. Weglarz, editors, Grid Resource Management-State of the Art and Future Trends, pages 15-23. Kluwer Academic Publishers, 2004
  18. G. Quecke and W. Ziegler, 'MeSch-An Approach to Resource Management in a Distributed Environment,' In Proc. of 1st IEEE/ACM International Workshop on Grid Computing (Grid 2000), volume 1971 of Lecture Notes in Computer Science, pages 47-54. Springer, 2000