DOI QR코드

DOI QR Code

Development of Accounting System to Measure the Resource Usage for MPI

MPI 환경에서 자원 사용량 측정을 위한 어카운팅 시스템 개발

  • Published : 2005.06.01

Abstract

Local accounting system used by UNIX-like operating system provides the accounting information of processes that are in single host. But it is impossible for this local accounting system to record the total resource consumption data of all processes for doing the same job simultaneously. In this paper, we implement accounting system to measure and manage resource usage for MPI(Message Passing Interface) job in the clustering environment. We designed and implemented the accounting system which measure resource usage of each process runs on a cluster node and record the interconnection information of the entire set of processes across network. Also we implemented accounting system which collect the resource usage data of process in the local accounting system and generate the job-level accounting information. Finally, to evaluate the resource consumption data measured by this accounting system we compare with the data collected by local scheduler that widely used in large scale clustering environment.

유닉스 계열의 운영체제에서 사용되는 로컬 어카운팅 시스템은 하나의 호스트상에서 동작하는 프로세스의 어카운팅 정보를 제공한다. 그러나 분산 처리 환경에서 전통적인 로컬 어카운팅 시스템은 동일 작업을 수행하는 프로세스들의 전체 자원 사용량 데이터를 기록하지 못한다. 따라서 본 논문에서는 클러스터 환경에서 MPI(Message Passing Interface) 작업에 대한 자원 사용량 데이터를 측정하고, 관리할 수 있는 어카운팅 시스템을 개발한다. 각 클러스터 노드에 병렬 작업을 수행하는 프로세스의 자원 사용량 데이터와, 병렬 작업을 처리하기 위해 협력하는 프로세스들간의 네트워크 접속 정보를 기록하는 로컬 어카운팅 시스템을 구현한다. 그리고 각 노드의 로컬 어카운팅 시스템에서 기록된 자원 사용량 데이터를 수집하여, MPI 작업 단위의 어카운팅 정보를 만들어 내는 어카운팅 시스템을 개발한다. 마지막으로 대규모 클러스터링 환경에서 널리 사용되는 로컬 스케줄러들에 의해 측정된 자원 사용량 데이터 항목들과 비교 평가한다.

Keywords

References

  1. M. Baker and R. Buyya, 'Cluster Computing at a Glance', High Performance Clustering Computing Vol 1, Pretice Hall, 1999
  2. Anthony Beardsmore, Keith Hartley, et al, 'GSAX(Grid Service Accounting Extensions),' GGF OGSA Resource Usage Service Working Group, 2002
  3. Sebastian Ho, 'GridX System Design Documentation,' Bioinformatics Institute, Singapore, 2002
  4. Rodney Mach, 'Accounting Interchange Natural Language Description(Requirements),' GGF Usage Record Working Group, 2004
  5. IBM LoadLeveler for AIX 5L, Using and Administering, version 3, release 1, 2001
  6. PBS(Portable Batch System), http://www.openpbs.org
  7. Ian Foster, Carl Kesselman, 'The Grid: Blueprint for a New Computing Infrastructure', Mogan Kaufmann Publishers, 1998
  8. The DataGrid Project, http://eu-datagrid.web.cem.ch/eudatagrid
  9. I. Foster, C. Kesselman, S. Tuecke, 'The Anatomy of the Grid: Enabling Scalable Virtual Organizations,' International J. Supercomputer Applications, 15(3), 2001
  10. I. Foster, C. Kesselman, 'Globus: A Metacomputing Infrastructure Toolkit,' International J. Supercomputer Applications, 11(2), pp.115-128, 1997 https://doi.org/10.1177/109434209701100205
  11. Karl Czajkowski, Ian Foster, et al, 'A Resource Management Architecture for Metacomputing Systems,' Procs. of the 4th Workshop on Job Scheduling Strategies for Parallel Processing, 1998
  12. The Message Passing Interface(MPI) standard, http:// www-unix.mcs.anl.gov/mpi
  13. W. Richard Stevens, 'Unix Network Programming', Prentice Hall, 1990
  14. Linux Documentation Project, http://www.tldp.org
  15. Linux BSM, http://sourceforge.net/projects/linuxbsm
  16. SNARE, http://intersectalliance.com