Journal of Internet Computing and Services (인터넷정보학회논문지)

Korean Society for Internet Information (한국인터넷정보학회)
권호 표지
DOI QR코드

DOI QR Code

Research for Efficient Massive File I/O on Parallel Programs

병렬 프로그램에서의 효율적인 대용량 파일 입출력 방식의 비교 연구

  • Received : 2016.10.13
  • Accepted : 2017.01.08
  • Published : 2017.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

Since processors are handling inputs and outputs independently on distributed memory computers, different file input/output methods are used. In this paper, we implemented and compared various file I/O methods to show their efficiency on distributed memory parallel computers. The implemented I/O systems are as following: (i) parallel I/O using NFS, (ii) sequential I/O on the host processor and domain decomposition, (iii) MPI-IO. For performance analysis, we used a separated file server and multiple processors on one or two computational servers. The results show the file I/O with NFS for inputs and sequential output with domain composition for outputs are best efficient respectively. The MPI-IO result shows unexpectedly the lowest performance.

분산 메모리형의 병렬 프로그램에서는 프로세서들이 독립적으로 입출력을 처리하기 때문에 여러 유형의 파일 입출력 방식이 사용된다. 본 논문에서는 분산 메모리형 병렬 프로그램에서의 대용량 파일에 대한 효율적인 입출력 방식을 알아보기 위하여 다양한 방식을 구현하고 비교 분석하였다. 구현된 방식으로는 (i) NFS를 활용한 병렬 입출력 방식, (ii) 호스트 프로세서에서의 순차 입출력과 도메인 분산 방식, 그리고 (iii) 메시지 전송 전용 입출력(MPI-IO) 방식 등이 있다. 성능 분석을 위해서 별도의 파일 서버를 사용하였으며 한 대 및 두 대의 계산 클라이언트에서 다중 프로세서를 사용하였다. 비교 분석 결과, 입력의 경우에는 NFS 병렬 입력 방식이, 출력의 경우에는 도메인 전송을 통한 순차 출력 방식이 가장 효율적으로 나타났으며, 예상과는 다르게 메시지 전송 전용 입출력 방식의 성능이 가장 낮게 나왔다.

Keywords

References

  1. K. Cha and H. Cho, "An Analysis of Collective Buffer Effects on Collective I/O", J. of KIISE: Computing Practices and Letters, Vol. 19, No. 4, pp. 214-218, Apr. 2013. http://ksci.kisti.re.kr/browse/brow Detail.ksci?kojic=&browseBean.totalCnt=11&browseBean.atclMgntNo=JBGHIF_2013_v19n4_214&browseBean.curNo=9
  2. S. Park, "Benchmark for Performance Testing of MPI-IO on the General Parallel File System", J. of IPS, Vol. 8-A, No. 2, pp. 125-132, June. 2001. http://journals.kips.or.kr/digital-library/kipsa/6167
  3. Hashema. I., I. Yaqooba, N. Anuara, S. Mokhtara, A. Gania and S. Khanb, "ig data" on cloud computing: Review and open research issues", Information Systems: 47, pp. 98-115. ACM, 2009. http://www.sci encedirect.com/science/article/pii/S0306437914001288
  4. Y. Kim, "High Performance Computing Classes (HPCC) for Parallel Fortran Programs using Message Passing", J. of KIISE Vol. 38, No. 2, pp. 59-66, Apr. 2011. http://www.koreascience.or.kr/article/ArticleFull Record.jsp?cn=JBGHG6_2011_v38n2_59
  5. Y. Kim, Y. Choi, and H. Park,"GP-GPU based Parallelization for Urban Terrain Atmospheric Model CFD_NIMR", J. of ICS, Vol. 12, No. 2, pp. 41-47, Apr. 2014. http://www.koreascience.or.kr/article/Article FullRecord.jsp?cn=OTJBCD_2014_v15n2_41
  6. G. C. Fox, M. Johnson, G. Lyzenga, S. Otto, J. Salmon, and D. Walker, "Solving Problems On Concurrent Processors Volume I: General Techniques and Regular Problem". Englewood Cliffs: Prentice-Hall, 1998. http://dl.acm.org/citation.cfm?id=43389
  7. Y. Kim, "Performance Comparison of Two Parallel LU Decomposition Algorithms on MasPar Machines", Journal of IEEE Korea Council, Vol. 2, No. 2, pp. 247-255, 1999. http://www.koreascience.or.kr/article/ArticleFullRecord.jsp?cn=JGGJB@_1998_v2n2s3_247
  8. C. Lever and P. Honeyman, "Linux NFS Client Write Performance", Proceeding of USENIX 2002 Annual Technical Conference, pp. 29-40. 2002. http://www.citi.umich.edu/projects/nfs-perf/results/cel/write-throughput.html
  9. "MPI: A Message-Passing Interface Standard Version 3.1", Message Passing Interface Forum, June 2015. http://mpi-forum.org/docs/mpi-3.1/mpi31-report.pdf
  10. W. Gropp, E. Lusk, and R. Thakur. "Using MPI-2 - Advanced Features of the Message Passing Interface". Massachusetts Institute of Technology, second edition, 1999. http://www.mcs.anl.gov/research/projects/mpi/usingmpi2
  11. P. Dickens, and J. Logan, "Y-lib: a user level library to increase the performance of MPI-IO in a lustre file system environment", Proceedings of 2009 ACM International Symposium on High Performance Distributed Computing (HPDC'09), pp. 32-38. ACM, 2009. https://pdfs.semanticscholar.org/dc01/47fe0aa01f06dbc7df8b2046be23daf5e18d.pd