• 제목/요약/키워드: MPI-IO

검색결과 7건 처리시간 0.022초

MPI-IO를 위한 로그 기반 특성 및 구조 분석 (A Log-based Analysis on the Characteristics and Structure of MPI-IO)

  • 차광호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.114-116
    • /
    • 2013
  • 메시지 전달 방식의 병렬 프로그래밍에서 사용되는 MPI는 프로그램의 확장성 보장에 적합한 MPI-IO라는 파일 I/O 방법을 제공하고 있다. MPI-IO는 동시적인 병렬 I/O 수행으로 인한 성능 저하를 최소화하기 위하여 내부적으로 데이터 재정렬 후 I/O를 수행한다. 본 연구에서는 이와 같은 MPI-IO의 내부 처리과정을 기록하기 위한 방안을 강구하여 실행 시간 로그를 기록하였고 이를 바탕으로 MPI-IO의 특성을 살펴보았다.

범용 병렬화일 시스템 상에서 MPI-IO 방안의 성능 평가 벤티마크 (Benchmarks for Performance Testing of MPI-IO on the General Parallel File System)

  • 박성순
    • 정보처리학회논문지A
    • /
    • 제8A권2호
    • /
    • pp.125-132
    • /
    • 2001
  • IBM developed the MPI-IO, we call it MPI-2, on the General Parallel File System. We designed and implemented various Matrix Multiplication Benchmarks to evaluate its performances. The MPI-IO on the General Parallel File System shows four kinds of data access methods : the non-collective and blocking, the collective and blocking, the non-collective and non-blocking, and the split collective operation. In this paper, we propose benchmarks to measure the IO time and the computation time for the data access methods. We describe not only its implementation but also the performance evaluation results.

  • PDF

MPI-IO의 CrownFS 지원 방안 (Supporitng for CrownFS in MPI-IO)

  • 조미옥;강봉직;최경희;정기현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.636-638
    • /
    • 2000
  • 가장 느린 서비스시템인 I/O의 성능이 전체적인 컴퓨터 시스템의 성능을 결정짓게 된다. 따라서 전반적인 시스템의 성능 향상을 위해서는 I/O의 성능이 높아져야 한다. 분산병렬환경에서 I/O의 성능을 높이기 위해서 parallel I/O를 사용한다. 하위레벨에서 최적화된 병렬 파일시스템을 사용하고, 어플리케이션 레벨에서 병렬 에플리케이션의 개발을 쉽게 해줄 수 있는 인터페이스를 사용하면 더 효과적인 parallel I/O를 구현할 수 있다. 본 논문에서는 MPI에서 병렬 파일시스템인 CrownFS를 지원하도록 하기 위해서 MPI-IO에 CrownFS를 추가하여 병렬환경에서 높은 성능을 나타낼수 있는 parallel I/O 환경을 구현한다.

  • PDF

병렬 프로그램에서의 효율적인 대용량 파일 입출력 방식의 비교 연구 (Research for Efficient Massive File I/O on Parallel Programs)

  • 황규현;김영태
    • 인터넷정보학회논문지
    • /
    • 제18권2호
    • /
    • pp.53-60
    • /
    • 2017
  • 분산 메모리형의 병렬 프로그램에서는 프로세서들이 독립적으로 입출력을 처리하기 때문에 여러 유형의 파일 입출력 방식이 사용된다. 본 논문에서는 분산 메모리형 병렬 프로그램에서의 대용량 파일에 대한 효율적인 입출력 방식을 알아보기 위하여 다양한 방식을 구현하고 비교 분석하였다. 구현된 방식으로는 (i) NFS를 활용한 병렬 입출력 방식, (ii) 호스트 프로세서에서의 순차 입출력과 도메인 분산 방식, 그리고 (iii) 메시지 전송 전용 입출력(MPI-IO) 방식 등이 있다. 성능 분석을 위해서 별도의 파일 서버를 사용하였으며 한 대 및 두 대의 계산 클라이언트에서 다중 프로세서를 사용하였다. 비교 분석 결과, 입력의 경우에는 NFS 병렬 입력 방식이, 출력의 경우에는 도메인 전송을 통한 순차 출력 방식이 가장 효율적으로 나타났으며, 예상과는 다르게 메시지 전송 전용 입출력 방식의 성능이 가장 낮게 나왔다.

Sim-Hadoop : 신뢰성 있고 효율적인 N-body 시뮬레이션을 위한 Hadoop 분산 파일 시스템과 병렬 I / O (Sim-Hadoop : Leveraging Hadoop Distributed File System and Parallel I/O for Reliable and Efficient N-body Simulations)

  • 아마드;이승룡;정태충
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.476-477
    • /
    • 2013
  • Gadget-2 is a scientific simulation code has been used for many different types of simulations like, Colliding Galaxies, Cluster Formation and the popular Millennium Simulation. The code is parallelized with Message Passing Interface (MPI) and is written in C language. There is also a Java adaptation of the original code written using MPJ Express called Java Gadget. Java Gadget writes a lot of checkpoint data which may or may not use the HDF-5 file format. Since, HDF-5 is MPI-IO compliant, we can use our MPJ-IO library to perform parallel reading and writing of the checkpoint files and improve I/O performance. Additionally, to add reliability to the code execution, we propose the usage of Hadoop Distributed File System (HDFS) for writing the intermediate (checkpoint files) and final data (output files). The current code writes and reads the input, output and checkpoint files sequentially which can easily become bottleneck for large scale simulations. In this paper, we propose Sim-Hadoop, a framework to leverage HDFS and MPJ-IO for improving the I/O performance of Java Gadget code.

다중 분할된 구조를 가지는 클러스터 검사점 저장 기법 (A Multistriped Checkpointing Scheme for the Fault-tolerant Cluster Computers)

  • 장윤석
    • 정보처리학회논문지A
    • /
    • 제13A권7호
    • /
    • pp.607-614
    • /
    • 2006
  • 검사점 저장 기법을 사용하여 주기적으로 클러스터 노드들의 프로세스 수행 정보를 전역 저장 장치에 저장하는 분산 클러스터 시스템에서 결함 허용 성능을 유지하는 데 드는 비용을 줄이고 전체 프로세스의 수행 성능을 증가시키기 위해서는 검사점 정보를 저장할 때에 네트워크로 전달되는 부하를 각 노드에 최대한 적절하게 분산하여 데이터 저장 시간을 줄임으로써 검사점 정보를 저장하는 동안 전체 클러스터 시스템의 프로세스가 지연되는 시간을 줄이도록 하여야 한다. 이를 위하여 분산 RAID 기반의 단일 입출력 공간을 사용하는. 클러스터 시스템에서는 여러가지 검사점 저장 기법을 사용하며, 검사점 정보의 저장 기법에 따라서 저장 성능과 결함 회복 성능이 달라진다. 본 연구에서는 분할된 검사점 저장 기법을 개선하여 검사점 데이터를 분산 RAID 기반의 단일 입출력 공간에 저장할 때에 그룹별로 분할되는 분할 그룹 크기를 검사점 정보가 저장될 때의 네트워크의 트래픽에 따라서 동적으로 결정하여 네트워크를 통한 분산 RAID에 저장함으로써 네트워크 병목현상을 최소화하는 다중 분할된 검사점 저장 구조를 제안하였다. 제안된 구조의 성능을 분석하기 위하여 최대 512개의 가상 노드로 구성된 클러스터 시스템을 대상으로 하여 MPI 와 Linpack HPC 벤치마크를 통한 성능 평가를 수행하였으며, 성능 평가 결과는 검사점 정보의 크기와 클러스터의 크기가 증가할수록 제안된 기법이 검사점 정보의 저장과 결함 회복 능력에 대하여 기존의 검사점 저장 기법에 비하여 우수한 성능을 보인다.

Applying Parallel Processing Technique in Parallel Circuit Testing Application for improve Circuit Test Ability in Circuit manufacturing

  • Prabhavat, Sittiporn;Nilagupta, Pradondet
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.792-793
    • /
    • 2005
  • Circuit testing process is very important in IC Manufacturing there are two ways in research for circuit testing improvement. These are ATPG Tool Design and Test simulation application. We are interested in how to use parallel technique such as one-side communication, parallel IO and dynamic Process with data partition for circuit testing improvement and we use one-side communication technique in this paper. The parallel ATPG Tool can reduce the test pattern sets of the circuit that is designed in laboratory for make sure that the fault is not occur. After that, we use result for parallel circuit test simulation to find fault between designed circuit and tested circuit. From the experiment, We use less execution time than non-parallel Process. And we can set more parameter for less test size. Previous experiment we can't do it because some parameter will affect much waste time. But in the research, if we use the best ATPG Tool can optimize to least test sets and parallel circuit testing application will not work. Because there are too little test set for circuit testing application. In this paper we use a standard sequential circuit of ISCAS89.

  • PDF