• Title/Summary/Keyword: 병렬/분산 컴퓨팅

Search Result 153, Processing Time 0.031 seconds

Trends in Lightweight Kernel for Manycore Based High-Performance Computing (매니코어 기반 고성능 컴퓨팅을 지원하는 경량커널 동향)

  • Kim, J.M.;Cha, S.J.;Jeon, S.H.;Koh, K.W.;Jeong, Y.J.;Kim, K.H.;Jung, S.I.
    • Electronics and Telecommunications Trends
    • /
    • v.32 no.4
    • /
    • pp.48-56
    • /
    • 2017
  • 대규모 고성능 컴퓨팅 시스템에서 경량커널은 전통적으로 계산 노드에 탑재되어 특정 연산만을 수행한다. 특히 경량커널은 병렬 프로그램을 실행함에 있어 성능을 최대한 끌어올리기 위하여 자원 간의 간섭을 최소화할 수 있도록 개발되어 사용되고 있다. 최근에는 수천 개의 코어가 장착된 고성능 컴퓨팅 환경은 병렬프로그램뿐만 아니라 일반 응용 및 대규모 분산 응용에서도 필요하다. 고성능 컴퓨팅 환경에서는 매니코어와 메모리 자원이 늘어남에 따라 성능 확장성을 요구하는 현실적인 운영체제의 구조로서 경량커널과 리눅스를 같이 실행하는 멀티커널 구조를 선호하고 있다. 본고에서는 이러한 선행연구를 소개하고 매니코어 시스템에서 활용되는 최근 경량커널의 동향에 대해 살펴본다.

Performance evaluation of spNFS on a small scale cluster system (소규모 클러스터 시스템에서의 spNFS 성능 평가)

  • Kwangho Cha;Sungho Kim;Sangdong Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.940-942
    • /
    • 2008
  • 분산되어 있는 스토리지 자원을 하나의 클러스터로 구성하여 분산 파일 시스템으로 구성하고자 하는 경우, 기존의 네트워크 파일 시스템만을 이용하기에는 여러 가지 제약이 존재한다. 특히 Parallel Striped Access는 IO데이터를 스토리지에 나누어 분산시키고 클라이언트가 직접 접근하는 방식으로 병렬 파일 시스템과 같은 HPC 용 특수 파일 시스템에서는 이미 사용되는 기법이나, 일반적인 시스템을 대상으로 한 표준안의 부재가 제약이 된다. pNFS(Parallel NFS)는 이러한 문제를 해결하기 위해서 제시되는 새로운 NFS 기술이다. 본 연구에서는 pNFS의 연구 동향과 더불어 소규모 클러스터 시스템에서 나타나는 성능적 특징을 조사하였다.

Fault-Tolerant Parallel Applications in Java Message Passing Systems (자바 메시지 전달 시스템에서의 결함 포용 병렬 애플리케이션)

  • 안진호;김기범;김정훈;황종선
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.768-770
    • /
    • 1998
  • 동기적 검사점(synchronous checkpoiting)기법, 인과적 메시지 로깅(causal message logging)과 향상된 회복 비동기성(improved asynchronism during recovery)을 제공하는 복귀회복(rollback recovery) 기법을 적용하여 자바 메시지 전달 시스템(java massage passing system)에서 수행하는 병렬 에플리케이션들에게 저 비용의 결함 포용성에 따라, 통신망으로 연결된 이질형 (fault-tolerance)(heterogeneous) 컴퓨터들을 이용하는 대규모 분산 시스템들은 아주 효율적인 병렬 컴퓨팅 환경을 제공해준다. 그러나, 이러한 분산 시스템들의 규모가 커짐에 따라 고장률 (failure rate)도 그 만큼 중요하게 된다. 따라서, 고장률이 높은 대규모 분산 시스템들에게 좀더 효율적인 결함 포용성을 제공하는 기법들이 필요하다. 또한, 대규모분산 시스템들은 이질형 컴퓨터들로 구성되어 있기 때문에, 결함 포용성을 제공하는 소프트웨어 패키지들은 플랫폼 독립적(platform independent)이어야 한다. 이러한 문제점은 높은 이식성(portability)을 가지고 있는 자바 언어로 구현함으로써 해결될 수 있다. 따라서, 본 논문은 자바 메시지 전달 시스템에서 수행되는 병렬 애플리케이션들에게 동기적 검사점 기법, 인과적 메시지 로깅과 향상된 비동기성을 제공하는 복귀회복 기법을 높은 이식성을 가진 자바언어로 구현하여 저 비용으로 결함 포용성을 제공하고자 한다.

  • PDF

Analysis of massive data in astronomy (천문학에서의 대용량 자료 분석)

  • Shin, Min-Su
    • The Korean Journal of Applied Statistics
    • /
    • v.29 no.6
    • /
    • pp.1107-1116
    • /
    • 2016
  • Recent astronomical survey observations have produced substantial amounts of data as well as completely changed conventional methods of analyzing astronomical data. Both classical statistical inference and modern machine learning methods have been used in every step of data analysis that range from data calibration to inferences of physical models. We are seeing the growing popularity of using machine learning methods in classical problems of astronomical data analysis due to low-cost data acquisition using cheap large-scale detectors and fast computer networks that enable us to share large volumes of data. It is common to consider the effects of inhomogeneous spatial and temporal coverage in the analysis of big astronomical data. The growing size of the data requires us to use parallel distributed computing environments as well as machine learning algorithms. Distributed data analysis systems have not been adopted widely for the general analysis of massive astronomical data. Gathering adequate training data is expensive in observation and learning data are generally collected from multiple data sources in astronomy; therefore, semi-supervised and ensemble machine learning methods will become important for the analysis of big astronomical data.

A Reconfigurable Load and Performance Balancing Scheme for Parallel Loops in a Clustered Computing Environment (클러스터 컴퓨팅 환경에서 병렬루프 처리를 위한 재구성 가능한 부하 및 성능 균형 방법)

  • 김태형
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.10 no.1
    • /
    • pp.49-56
    • /
    • 2004
  • Load imbalance is a serious impediment to achieving good performance in parallel processing. Global load balancing schemes cannot adequately manage to balance parallel tasks generated from a single application. Dynamic loop scheduling methods are known to be useful in balancing parallel loops on shared-memory multiprocessor machines. However, their centralized nature causes a bottleneck for the relatively small number of processors in a network of workstations because of order-of-magniture differences in communication overheads. Moreover, improvements of basis loops scheduling methods have not effectively dealt with irregularly distributed workloads in parallel loops, which commonly occur in applications for a network of workstation. In this paper, we present a new reconfigurable and decentralized balancing method for parallel loops on a network of workstations. Since our method supplements performance balancing with those tranditional load balancing methods, it minimizes the overall execution time.

Parallel Programming on a Raspberry Pi Cluster (라즈베리 파이 클러스터 환경에서의 병렬 프로그래밍)

  • Jung, Yong Jae;Kim, Dong Kwan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.477-478
    • /
    • 2014
  • 일반적으로 컴퓨터 클러스터는 제공하는 기능에 따라 구축 비용이 고가이며 공간 확보, 냉난방, 전원 등을 위한 유지 비용을 무시할 수 없다. 그러므로, 일반 개발자들이 컴퓨터 클러스터를 보유하는 것은 쉬운 일이 아니다. 이러한 상황에서 교육용 및 연구용으로 가격대비 성능이 만족스러운 라즈베리 파이를 기반으로 한 컴퓨터 클러스터를 구축하여 분산 컴퓨팅 및 클라우드 컴퓨팅 시스템 개발을 위한 테스트 베드로 활용하고자 한다. 본 논문의 실험 결과는 라즈베리 파이 클러스터가 병렬 프로그래밍을 위한 효과적인 테스트 베드가 될 수 있음을 보인다.

  • PDF

Design and Implementation of a Grid System META for Executing CFD Analysis Programs on Distributed Environment (분산 환경에서 CFD 분석 프로그램 수행을 위한 그리드 시스템 META 설계 및 구현)

  • Kang, Kyung-Woo;Woo, Gyun
    • The KIPS Transactions:PartA
    • /
    • v.13A no.6 s.103
    • /
    • pp.533-540
    • /
    • 2006
  • This paper describes the design and implementation of a grid system META (Metacomputing Environment using Test-run of Application) which facilitates the execution of a CFD (Computational Fluid Dynamics) analysis program on distributed environment. The grid system META allows the CFD program developers can access the computing resources distributed over the network just like one computer system. The research issues involved in the grid computing include fault-tolerance, computing resource selection, and user-interface design. In this paper, we exploits an automatic resource selection scheme for executing the parallel SPMD (Single Program Multiple Data) application written in MPI (Message Passing Interface). The proposed resource selection scheme is informed from the network latency time and the elapsed time of the kernel loop attained from test-run. The network latency time highly influences the executional performance when a parallel program is distributed and executed over several systems. The elapsed time of the kernel loop can be used as an estimator of the whole execution time of the CFD Program due to a common characteristic of CFD programs. The kernel loop consumes over 90% of the whole execution time of a CFD program.

A Data Transfer Method of the Sub-Cluster Group based on the Distributed and Shared Memory (분산 공유메모리를 기반으로 한 서브 클러스터 그룹의 자료전송방식)

  • Lee, Kee-Jun
    • The KIPS Transactions:PartA
    • /
    • v.10A no.6
    • /
    • pp.635-642
    • /
    • 2003
  • The radical development of recent network technology provides the basic foundation which can establish a high speed and cheap cluster system. It is a general trend that conventional cluster systems are built as the system over a fixed level based on stabilized and high speed local networks. A multi-distributed web cluster group is a web cluster model which can obtain high performance, high efficiency and high availability through mutual cooperative works between effective job division and system nodes through parallel performance of a given work and shared memory of SC-Server with low price and low speed system nodes on networks. For this, multi-distributed web cluster group builds a sub-cluster group bound with single imaginary networks of multiple system nodes and uses the web distributed shared memory of system nodes for the effective data transmission within sub-cluster groups. Since the presented model uses a load balancing and parallel computing method of large-scale work required from users, it can maximize the processing efficiency.

Web service communication method on Distributed Object-Oriented Virtual Environment System on Grid (그리드 기반 분산 객체지향 가상환경 시스템에서의 웹서비스 통신기법)

  • Yi, Ki-Ho;Kim, Hyung-Lae;Jeoung, Chang-Sung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10a
    • /
    • pp.522-525
    • /
    • 2006
  • 그리드 기반 분산객체지향 가상환경 시스템인 DOVE-G는 많은 리소스를 요구로 하는 분산된 그리드 컴퓨팅 어플리케이션에서 효율적인 병렬프로그래밍 환경을 지원하는데 이에 웹서비스를 이용해 다양한 어플리케이션에서 고급 그리드 컴퓨팅 환경을 제공할 수 있다. 본 논문에서는 웹서비스를 이용해 DOVE-G의 implementation을 모르더라도 DOVE-G 서비스를 쉽게 이용할 수 있도록 해주는 Interface Object와 Agent Object 두 개의 DOVE-G Object를 이용한 통신기법을 제시한다.

  • PDF

Design and Overhead Analysis of A Parallel MPEG-2 Encoder using Web Computing (웹컴퓨팅을 이용한 병렬 분산 MPEG-2 인코더의 설계 및 오버헤드 분석)

  • 석종인;장주욱
    • Proceedings of the IEEK Conference
    • /
    • 1999.06a
    • /
    • pp.411-416
    • /
    • 1999
  • 소프트웨어로 실시간 구현이 어려운 MPEG-1, MPEG-2 인코딩을 LAN이나 전용선에서 클러스터 컴퓨터나 병렬 처리로 구현한 연구가 있어 왔다. 네트워크의 대역폭이 증가하고 라우터가 고속화됨에 따라 본 논문에서는 MPEG-2인코딩을 WAN으로 확장하는 기법을 제안하고 실험을 통하여 속도 개선 효과를 입증하였다.

  • PDF