• 제목/요약/키워드: Message-passing Distributed System

검색결과 43건 처리시간 0.029초

비동기적 분산 시스템에서 결함허용 상호 배제 프로토콜의 설계 (Design of Fault-tolerant Mutual Exclusion Protocol in Asynchronous Distributed Systems)

  • 박성훈
    • 한국산학기술학회논문지
    • /
    • 제11권1호
    • /
    • pp.182-189
    • /
    • 2010
  • 본 논문에서는 비동기적 분산시스템에서 고장 추적 장치를 이용한 상호배제의 문제를 서술하고 이러한 문제를 해결하는 가장 약한 고장 추적 장치를 결정하고자 한다. 이를 위해서 $M^*$라고 정의한 modal failure detector star 고장 추적 장치를 정의하고 $M^*$를 이용해서 상호배제 문제는 비동기적 분산 시스템에서 해결 가능함을 보인다. $M^*$는 perfect failure detector P보다 확실히 약하며 eventually perfect failure detector ◇P보다는 강한 고장추적 장치이다. 본 논문에서는 어떤 환경 안에서 이러한 문제가 해결 가능함을 보인다.

Sim-Hadoop : 신뢰성 있고 효율적인 N-body 시뮬레이션을 위한 Hadoop 분산 파일 시스템과 병렬 I / O (Sim-Hadoop : Leveraging Hadoop Distributed File System and Parallel I/O for Reliable and Efficient N-body Simulations)

  • 아마드;이승룡;정태충
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.476-477
    • /
    • 2013
  • Gadget-2 is a scientific simulation code has been used for many different types of simulations like, Colliding Galaxies, Cluster Formation and the popular Millennium Simulation. The code is parallelized with Message Passing Interface (MPI) and is written in C language. There is also a Java adaptation of the original code written using MPJ Express called Java Gadget. Java Gadget writes a lot of checkpoint data which may or may not use the HDF-5 file format. Since, HDF-5 is MPI-IO compliant, we can use our MPJ-IO library to perform parallel reading and writing of the checkpoint files and improve I/O performance. Additionally, to add reliability to the code execution, we propose the usage of Hadoop Distributed File System (HDFS) for writing the intermediate (checkpoint files) and final data (output files). The current code writes and reads the input, output and checkpoint files sequentially which can easily become bottleneck for large scale simulations. In this paper, we propose Sim-Hadoop, a framework to leverage HDFS and MPJ-IO for improving the I/O performance of Java Gadget code.

Performance Optimization of Parallel Algorithms

  • Hudik, Martin;Hodon, Michal
    • Journal of Communications and Networks
    • /
    • 제16권4호
    • /
    • pp.436-446
    • /
    • 2014
  • The high intensity of research and modeling in fields of mathematics, physics, biology and chemistry requires new computing resources. For the big computational complexity of such tasks computing time is large and costly. The most efficient way to increase efficiency is to adopt parallel principles. Purpose of this paper is to present the issue of parallel computing with emphasis on the analysis of parallel systems, the impact of communication delays on their efficiency and on overall execution time. Paper focuses is on finite algorithms for solving systems of linear equations, namely the matrix manipulation (Gauss elimination method, GEM). Algorithms are designed for architectures with shared memory (open multiprocessing, openMP), distributed-memory (message passing interface, MPI) and for their combination (MPI + openMP). The properties of the algorithms were analytically determined and they were experimentally verified. The conclusions are drawn for theory and practice.

HEVA: Cooperative Localization using a Combined Non-Parametric Belief Propagation and Variational Message Passing Approach

  • Oikonomou-Filandras, Panagiotis-Agis;Wong, Kai-Kit
    • Journal of Communications and Networks
    • /
    • 제18권3호
    • /
    • pp.397-410
    • /
    • 2016
  • This paper proposes a novel cooperative localization method for distributed wireless networks in 3-dimensional (3D) global positioning system (GPS) denied environments. The proposed method, which is referred to as hybrid ellipsoidal variational algorithm (HEVA), combines the use of non-parametric belief propagation (NBP) and variational Bayes (VB) to benefit from both the use of the rich information in NBP and compact communication size of a parametric form. InHEVA, two novel filters are also employed. The first one mitigates non-line-of-sight (NLoS) time-of-arrival (ToA) messages, permitting it to work well in high noise environments with NLoS bias while the second one decreases the number of calculations. Simulation results illustrate that HEVA significantly outperforms traditional NBP methods in localization while requires only 50% of their complexity. The superiority of VB over other clustering techniques is also shown.

병렬 GIS를 위한 효율적인 분산공유메모리 시스템 (An Efficient Distributed Shared Memory System for Parallel GIS)

  • 정상화;류광열;고윤영;곽민석
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권6호
    • /
    • pp.700-707
    • /
    • 1999
  • 본 논문에서는 GIS 관련 연산을 실시간에 효율적으로 처리하기 위한 분산공유메모리 기반 병렬처리 시스템을 제안한다. 본 논문의 분산공유메모리 시스템은 메시지전달 방식의 분산메모리 MIMD 컴퓨터 상에 소프트웨어 기반 분산공유메모리 모듈을 탑재함으로써 구현되었다. 또한 GIS 연산의 기본이 되는 공간 객체를 공유의 기본 단위로 설정하고, GIS 데이타의 특성을 반영하여 읽기전용 공유데이타 타입을 추가하였으며, 네트워크 오버헤드를 줄이기 위하여 복수의 객체를 한번에 읽어오는 bulk access가 가능하도록 하였다. 본 시스템에서는 GIS 데이타의 효율적인 분배를 위하여 부하균등화 기법으로 guided self scheduling을 사용하였다. 실험결과 본 시스템은 네트워크 캐쉬의 효율적인 활용을 통하여 소프트웨어 기반 분산메모리 시스템의 오버헤드에도 불구하고 MPI 기반 메시지전달 방식에 비하여 향상된 성능을 얻을 수 있었다.Abstract In this paper, we propose a distributed shared memory(DSM) based parallel processing system to process GIS related computations efficiently in real time. The system is based on a software DSM module implemented on top of a distributed MIMD computer. In the DSM system, spatial object, which is a fundamental structure to represent GIS data, is used as a basic unit for sharing, and a read-only shared data type is added to reflect the characteristics of GIS data. In addition, a bulk access to multiple shared data is made possible to reduce the network overhead. A guided self scheduling method is devised for efficient load balancing in distributing GIS data to parallel processors. The experimental results show that the DSM system performs better than an MPI based message-passing system through the efficient utilization of network cache in spite of the system's software overhead.

이더넷과 인피니밴드 네트워크 기반의 분산 메모리 시스템에서 병렬성능 분석 (PERFORMANCE ANALYSIS OF THE PARALLEL CUPID CODE IN DISTRIBUTED MEMORY SYSTEM BASED ETHERNET AND INFINIBAND NETWORK)

  • 전병진;최형권
    • 한국전산유체공학회지
    • /
    • 제19권2호
    • /
    • pp.24-29
    • /
    • 2014
  • In this study, a parallel performance of CUPID-code has been investigated for both Ethernet and Infiniband network system to examine the effect of cache memory and network-speed. Bi-conjugate gradient solver of CUPID-code has been parallelised by using domain decomposition method and message passing interface (MPI). It is shown that the parallel performance of Ethernet-network system is worse than that of Infiniband-network system due to the slow network-speed and a small cache memory. It is also found that the parallel performance of each system deteriorates for a small problem due to the communication overhead, but the performance of Infiniband-network system is better than Ethernet-network system due to a much faster network-speed. For a large problem, the parallel performance depends less on network system.

분포형 강우유출모형(K-DRUM)의 병렬화 효과 분석 (The Parallelization Effectiveness Analysis of K-DRUM Model)

  • 정성영;박진혁;허영택;정관수
    • 대한공간정보학회지
    • /
    • 제18권4호
    • /
    • pp.21-30
    • /
    • 2010
  • 본 연구에서는 기존에 개발된 GIS 기반의 분포형 강우유출모형(K-DRUM)이 대유역에서 많은 계산시간을 요구하는 단점이 있기 때문에 이를 개선하기 위하여 MPI(Message Passing Interface)기법을 적용한 병렬 K-DRUM모형을 개발하였다. K-DRUM 모형은 홍수기동안의 지표흐름과 지표하 흐름의 시간적 변화와 공간적 분포를 모의할 수 있으며, 전처리과정으로서 ArcView를 이용하여 모형에 필요한 ASCII형태의 입력 매개변수 자료들을 가공하였다. 개발된 병렬 K-DRUM 모형을 이용하여 남강댐유역에서 2006년 태풍 '에위니아' 사상을 대상으로 다양한 영역분할을 통한 유출계산 검토를 하였다. 영역분할 개수에 따른 병렬화 효과를 검토하기 위하여 분할 개수를 1개에서 25개까지 증가시키며 클러스터 시스템에서 유출모의를 수행하였다. 모의결과 영역분할 개수가 증가할수록 컴퓨터 메모리의 개수가 감소하게 되고, 이에 따라 모의수행시간 역시 감소함을 알 수 있었다. 또한 본 연구에서 영역분할 계산방식을 채택함에 따라 영역의 접합부분에서 발생 가능한 유출량 계산오차를 최소화하기 위한 기법을 제시하였다. 유출량 계산오차 발생을 최소화하기 위해서는 단위 계산시간당 영역간 정보교환과 내부유출량 계산을 최소3회 반복하여야 함을 알 수 있었다.

A Study on Distributed System Construction and Numerical Calculation Using Raspberry Pi

  • Ko, Young-ho;Heo, Gyu-Seong;Lee, Sang-Hyun
    • International journal of advanced smart convergence
    • /
    • 제8권4호
    • /
    • pp.194-199
    • /
    • 2019
  • As the performance of the system increases, more parallelized data is being processed than single processing of data. Today's cpu structure has been developed to leverage multicore, and hence data processing methods are being developed to enable parallel processing. In recent years desktop cpu has increased multicore, data is growing exponentially, and there is also a growing need for data processing as artificial intelligence develops. This neural network of artificial intelligence consists of a matrix, making it advantageous for parallel processing. This paper aims to speed up the processing of the system by using raspberrypi to implement the cluster building and parallel processing system against the backdrop of the foregoing discussion. Raspberrypi is a credit card-sized single computer made by the raspberrypi Foundation in England, developed for education in schools and developing countries. It is cheap and easy to get the information you need because many people use it. Distributed processing systems should be supported by programs that connected multiple computers in parallel and operate on a built-in system. RaspberryPi is connected to switchhub, each connected raspberrypi communicates using the internal network, and internally implements parallel processing using the Message Passing Interface (MPI). Parallel processing programs can be programmed in python and can also use C or Fortran. The system was tested for parallel processing as a result of multiplying the two-dimensional arrangement of 10000 size by 0.1. Tests have shown a reduction in computational time and that parallelism can be reduced to the maximum number of cores in the system. The systems in this paper are manufactured on a Linux-based single computer and are thought to require testing on systems in different environments.

MPI 브로드캐스트 통신을 위한 서킷 스위칭 기반의 파이프라인 체인 알고리즘 설계 (A Design of Pipeline Chain Algorithm Based on Circuit Switching for MPI Broadcast Communication System)

  • 윤희준;정원영;이용석
    • 한국통신학회논문지
    • /
    • 제37B권9호
    • /
    • pp.795-805
    • /
    • 2012
  • 본 논문에서는 분산 메모리 아키텍처를 사용하는 멀티프로세서에서 가장 병목 현상이 심한 집합통신 중 브로드캐스트를 위한 알고리즘 및 하드웨어 구조를 제안한다. 기존 시스템의 파이프라인 브로드캐스트 알고리즘은 전송 대역폭을 최대로 활용하는 알고리즘 이다. 하지만 파이프라인 브로드캐스트는 데이터를 여러 조각으로 나누어서 전송하기 때문에, 불필요한 동기화 과정이 반복된다. 본 논문에서는 동기화 과정의 중복이 없는 서킷 스위칭 기반의 파이프라인 체인 알고리즘을 위한 MPI 유닛을 설계하였고, 이를 systemC를 통하여 모델링하여 평가하였다. 그 결과 파이프라인 브로드캐스트 알고리즘과 비교하여 브로드캐스트 통신의 성능을 최대 3.3배 향상 시켰고, 이는 통신 버스의 전송대역폭을 거의 최대로 사용하였다. 그 후 verilogHDL로 하드웨어를 설계하였고, Synopsys사의 Design Compiler를 사용하여 TSMC 0.18 공정 라이브러리에서 합성하였으며 칩으로 제작하였다. 합성결과 제안하는 구조를 위한 하드웨어는 4,700 게이트(2-input NAND gate) 면적으로, 전체 면적에서 2.4%을 차지하였다. 이는 제안하는 구조가 작은 면적으로 MPSoC의 전체적인 성능을 높이는데 유용하다.

An Integrated Diagnostic System Based on the Cooperative Problem Solving of Multi-Agents: Design and Implementation

  • Shin Dongil;Oh Taehoon;Yoon En Sup
    • 한국가스학회지
    • /
    • 제8권2호
    • /
    • pp.28-34
    • /
    • 2004
  • Enhanced methodologies for process diagnosis and abnormal situation management have been developed for the last two decades. However, there is no single method that always shows better performance over all kinds of diagnostic problems. In this paper, a framework of message-passing, cooperative, intelligent diagnostic agents is presented for improved on-line fault diagnosis through cooperative problem solving of different expertise. A group of diagnostic agents in charge of different process functional perform local diagnoses in parallel; exchange related information with other diagnostic agents; and cooperatively solve the global diagnostic problem of the whole process plant or business units just like human experts would do. For their better understanding, sharing and exchanging of process knowledge and information, we also suggest a way of remodeling processes and protocols, taking into account semantic abstracts of process information and data. The benefits of the suggested multi-agents-based approach are demonstrated by the implementations for solving the diagnostic problems of various chemical processes.

  • PDF