Journal of KIISE:Computer Systems and Theory (한국정보과학회논문지:시스템및이론)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

An Efficient Scheduling Method Taking into Account Resource Usage Patterns on Desktop Grids

데스크탑 그리드에서 자원 사용 경향성을 고려한 효율적인 스케줄링 기법

  • 현주호 (삼성전자 DM연구소) ;
  • 이승구 (포항공과대학교 전자전기공학과) ;
  • 김상철 (한국전자통신연구원 임베디드 연구단) ;
  • 이민구 (포항공과대학교 전자전기공학과)
  • Published : 2006.07.01
Download PDF
⟨ Previous Next ⟩

Abstract

A desktop grid, which is a computing grid composed of idle computing resources in a large network of desktop computers, is a promising platform for compute-intensive distributed computing applications. However, due to reliability and unpredictability of computing resources, effective scheduling of parallel computing applications on such a platform is a difficult problem. This paper proposes a new scheduling method aimed at reducing the total execution time of a parallel application on a desktop grid. The proposed method is based on utilizing the histories of execution behavior of individual computing nodes in the scheduling algorithm. In order to test out the feasibility of this idea, execution trace data were collected from a set of 40 desktop workstations over a period of seven weeks. Then, based on this data, the execution of several representative parallel applications were simulated using trace-driven simulation. The simulation results showed that the proposed method improves the execution time of the target applications significantly when compared to previous desktop grid scheduling methods. In addition, there were fewer instances of application suspension and failure.

데스크탑 그리드는 컴퓨팅 집약적인 분산 어플리케이션을 수행하는데 있어서 유망한 플랫폼으로 부각되고 있다. 그러나 비 신뢰적이고 예측할 수 없는 자원의 특성 때문에 데스크탑 그리드에서 병렬 어플리케이션의 효율적인 스케줄링은 어려운 문제로 알려져 있다. 이에 따라서 빈약한 스케줄링 능력과 함께 현재 데스크탑 그리드는 고 처리 어플리케이션(high throughput application)의 실행에는 적합하지만 빠른 반환 시간을 요구하는 어플리케이션의 실행을 지원하는데 있어서 어려움을 갖는다. 빠른 반환 시간을 요구하는 어플리케이션의 효율적인 실행은 어플리케이션의 전체 실행 시간(makespan)을 축소함으로써 해결할 수 있는 문제로써 데스크탑 그리드가 이를 지원할 수 있게 하는 것은 매력적인 제안이 될 것이다. 본 논문에서는 데스크탑 그리드에서 효율적인 어플리케이션의 실행을 지원하기 위한 새로운 스케줄링 방법을 제안한다. 7주간의 시간동안 40대의 데스크탑에서 추출된 추적(trace) 데이타의 분석을 통해서 데스크탑 사용 경향성과 비 신뢰적인 데스크탑의 영향이 스케줄링의 성능을 개선하는데 있어서 활용 될 수 있음을 확인하였고 이 요소들을 고려함으로써 데스크탑 그리드의 비 신뢰적이고 예측할 수 없는 자원의 특성을 스케줄링에 적절하게 반영 할 수 있는 스케줄링 기법이 제안되었다. 제안된 스케줄링 기법은 실제 데스크탑들의 행동 패턴을 반영한 추적 기반 시뮬레이션(trace-driven simulation)을 통해서 기존의 스케줄링 방법들과 스케줄링 성능이 비교되었고 시뮬레이션 결과를 통해서 제안된 스케줄링 기법이 기존의 데스크탑 스케줄링 기법들에 비해서 병렬 어플리케이션의 전체 실행 시간을 축소하고 중지(suspension)와 장애(failure)의 발생 빈도를 줄이는 것을 보여준다.

Keywords

References

  1. R.H. Arpaci, A.D. Dusseau, A.M. Vahdat, L.T. Liu, T.E. Anderson, and D.A. Patterson. 'The interaction of parallel and sequential workloads on a network of workstations,' Proceedings of the 1995 ACM SIGMETRICS Joint International Conference on Measurement and Modeling of Computer Systems. pp. 267-278, May 1995 https://doi.org/10.1145/223587.223618
  2. A. Acharya, G. Edjlali, and J. Saltz, 'The Utility of Exploiting Idle Workstations for Parallel Computation.' Proceedings of SIGMETRICS '97, pp. 225-236, May 1997 https://doi.org/10.1145/258612.258691
  3. M. W. Mutka and M. Livny, 'The Available Capacity of a Privately Owned Workstation Environment,' Performance Evaluation. 12(4) pp. 269-284, July, 1991 https://doi.org/10.1016/0166-5316(91)90005-N
  4. W. T. Sullivan, D. Werthimer, S. Bowyer, J Cobb, G. Gedye, and D. Anderson. 'A new major SETI project based on Project Serendip data and 100,000 personal computers,' Proceedings of the Fifth International Conference on Bioastronomy, 1997
  5. M.R. Shirts and V.S. Pande, 'Screen Savers of the World, Unite!,' Science, 290:1903-1904, 2000 https://doi.org/10.1126/science.290.5498.1903
  6. G. Fedak, C. Germain, V. Neri, and F. Cappello, 'Xtremweb:A Generic Global Computing System,' CCGRID'01, Brisbane. 2001 https://doi.org/10.1109/CCGRID.2001.923246
  7. Derrick Kondo, Andrew A. Chien, and Henri Casanova. 'Resource Management for Rapid Application Turnaround on Enterprise Desktop Grids.' Proceedings of Supercomputing. SC2OO4, Pittsburgh. Pennsylvania. November 2004 https://doi.org/10.1109/SC.2004.50
  8. Ryu, K.D. and J.K. Hollingsworth, 'Exploiting Fine Grained Idle Periods in Networks of Workstations,' IEEE Transactions on Parallel and Distributed Computing, 2000 https://doi.org/10.1109/71.877793
  9. P. Wyckoff, T. Johnson, and K. Jeong. 'Finding Idle Periods on Networks of Workstations.' Technical Report CS761. Dept. of Computer Science, New York University, March 1998
  10. R. Wolski, 'Forecasting network performance to support dynamic scheduling using the network weather service,' Proceedings of the High Performance Distributed Computing Conference, 1997 https://doi.org/10.1109/HPDC.1997.626437
  11. R. Wolski, N. Spring, and J. Hayes, 'Predicting the CPU availability of time-shared unix systems on the computational grid,' Proceedings of 8th IEEE Symposium on High Performance Distributed Computing, 1999
  12. R. Wolski, N. Spring, and J. Hayes, 'The network weather service: A distributed resource performance forecasting service for metacomputing,' Future Generation Computer systems, 15(5-6):757-768, October 1999 https://doi.org/10.1016/S0167-739X(99)00025-4
  13. D. Kondo, M. Taufer, C. Brooks, H. Casanova, and A. Chien, 'Characterizing and Evaluating Desktop Grids: An Empirical Study,' Proceedings of the International Parallel and Distributed Processing Symposium (IPDPS'04), April 2004 https://doi.org/10.1109/IPDPS.2004.1302936
  14. Patricio Domingues, Paulo Marques, Luis Silva, 'Resource Usage of Windows Computer Laboratories,' International Conference on Parallel Processing Workshops (ICPPW'05), 2005 https://doi.org/10.1109/ICPPW.2005.77
  15. John Brevik, Daniel Nurmi, and Rich Wolski, 'Automatic methods for predicting machine availability in desktop Grid and peer-to-peer systems,' CCGRID 2004: 190-199