• 제목/요약/키워드: Distributed and Parallel Computing

검색결과 153건 처리시간 0.022초

대형구조물의 분산구조해석을 위한 PCG 알고리즘 (Distributed Structural Analysis Algorithms for Large-Scale Structures based on PCG Algorithms)

  • 권윤한;박효선
    • 한국전산구조공학회논문집
    • /
    • 제12권3호
    • /
    • pp.385-396
    • /
    • 1999
  • 최근 공학분야에서 다루어지고 있는 문제의 규모가 대형화하고 있으며 이러한 대형구조물의 구조설계는 부재의 강도설계 및 절점의 변위조절을 위하여 많은 수의 구조해석을 요구한다. 한 대의 개인용 컴퓨터에 의한 대형구조물의 구조해석은 대용량의 기억장치와 많은 계산 시간이 요구되므로 반복적 해석이 필요한 대형구조물의 설계에 효율적으로 이용되기 어려운 실정이다. 따라서, 본 논문에서는 이러한 문제에 대한 대안으로 다수의 개인용 컴퓨터들을 네트워크로 연결하여 고성능 병렬연산시스템을 구성하고 이에 적합한 두 가지 형태의 분산구조방정식해법들을 반복법인 PCG 알고리즘을 이용하여 개발하였다. 대형구조물을 위한 분산구조해석법은 구조해석 과정에 요구되는 각 컴퓨터 상호 간의 통신회수와 통신량을 최소화할 수 있도록 개발되었다. 분산구조해석법의 성능은 대규모 3차원 트러스 구조물 및 144층 가새 튜브구조물의 구조해석에 적용하여 분석하였다.

  • PDF

A Hadoop-based Multimedia Transcoding System for Processing Social Media in the PaaS Platform of SMCCSE

  • Kim, Myoungjin;Han, Seungho;Cui, Yun;Lee, Hanku;Jeong, Changsung
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권11호
    • /
    • pp.2827-2848
    • /
    • 2012
  • Previously, we described a social media cloud computing service environment (SMCCSE). This SMCCSE supports the development of social networking services (SNSs) that include audio, image, and video formats. A social media cloud computing PaaS platform, a core component in a SMCCSE, processes large amounts of social media in a parallel and distributed manner for supporting a reliable SNS. Here, we propose a Hadoop-based multimedia system for image and video transcoding processing, necessary functions of our PaaS platform. Our system consists of two modules, including an image transcoding module and a video transcoding module. We also design and implement the system by using a MapReduce framework running on a Hadoop Distributed File System (HDFS) and the media processing libraries Xuggler and JAI. In this way, our system exponentially reduces the encoding time for transcoding large amounts of image and video files into specific formats depending on user-requested options (such as resolution, bit rate, and frame rate). In order to evaluate system performance, we measure the total image and video transcoding time for image and video data sets, respectively, under various experimental conditions. In addition, we compare the video transcoding performance of our cloud-based approach with that of the traditional frame-level parallel processing-based approach. Based on experiments performed on a 28-node cluster, the proposed Hadoop-based multimedia transcoding system delivers excellent speed and quality.

러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석 (Implementation and Performance Analysis of Hadoop MapReduce over Lustre Filesystem)

  • 곽재혁;김상완;허태상;황순욱
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.561-566
    • /
    • 2015
  • 하둡은 오픈소스 기반의 분산 데이터 처리 프레임워크로서 과학 및 상용 분야에서 널리 사용되고 있는데 최근에 대규모 데이터의 실시간 처리 및 분석을 위해 고성능 컴퓨팅(HPC) 기술을 활용하여 하둡을 고성능화하기 위한 연구가 시도되고 있다. 본 논문에서는 하둡의 기본 파일시스템 구현인 하둡 분산파일시스템(HDFS)을 고성능 병렬 분산파일시스템인 러스터 파일시스템으로 대체하여 사용할 수 있도록 하둡 파일시스템 라이브러리를 확장하여 구현하였고 하둡이 제공하는 표준 벤치마크 도구를 사용하여 성능을 분석하였다. 실험 결과 러스터 파일시스템 기반으로 하둡 맵리듀스 응용을 수행하는 경우에 2-13배의 성능 향상이 있음을 확인할 수 있었다.

클라우드 컴퓨팅에서 사용자 작업환경의 끊김 없는 연계를 위한 웹 서비스 연결 관리 기법 (Web Service Connection Management Scheme for Seamless Migration of User Workspace in Cloud Computing)

  • 최민
    • 한국IT서비스학회지
    • /
    • 제8권1호
    • /
    • pp.193-202
    • /
    • 2009
  • Cloud computing emerges as a new computing paradigm which targets reliable and customizable services. The term builds on decades of research in virtual machine, distributed and parallel computing, utility computing, and more recently networking, web service, and software as a service. In this paper, we provide a seamless connection migration of web services. This is useful for cloud computing environment in which many client terminals have mobility. With the wireless internet facility, those mobile users can move place to place during internet communication. Therefore, we provide solutions to the two major problems in current virtualization based migration: communication failure problems and connection re-establishment. Communication channel flushing by zero window notification helps to resolve the communication failure problems and TCP port inheritance prevents connection re-establishment errors during socket reconstruction. Thus, our web service migration facility is now able to preserve open network connections, and even for server sockets. This is a highly transparent approach, in that we did not Introduce additional messages for channel flushing and did not make any modification to the TCP protocol stack. Experimental results show that the overhead due to connection migration of web services is almost negligible when compared with time to take the conventional web service migration.

병렬 및 분산 시스템에서의 최적 고장 허용 자원 배치 (Optimal Fault-Tolerant Resource Placement in Parallel and Distributed Systems)

  • 김종훈;이철훈
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권6호
    • /
    • pp.608-618
    • /
    • 2000
  • 본 논문에서는 병렬 및 분산 시스템에서 자원을 배치함에 있어서 최소한의 자원 복사(copy)만을 사용하면서 임의의 노드 및 링크 상에서 고장이 발생하더라도 주어진 성능 요건을 만족하게 하는 자원의 최적 배치 방법을 모색하고자 한다. 이러한 성능 요건의 만족과 시스템의 고가용성을 위하여, 모든 노드들에 대하여 최소한의 자원 복사를 사용하여 그 노드나 혹은 인접한 노드 중 적어도 두 개 이상에 자원 복사가 존재해야 하는데, 이것을 본 논문에서는 고장 허용 자원 배치 문제라고 부른다. 병렬 및 분산 시스템은 그래프로 표현할 수가 있다. 여기에서 고장 허용 자원 배치 문제는 그래프 상에서 가장 작은 고장 허용 dominating set을 찾는 문제로 변환이 된다. Dominating set 문제는 NP-complete로 증명이 되어 있으며, 본 논문에서는 A* 알고리즘을 사용하여 상태 공간 탐색 방법으로 최적 배치를 구한다. 또한, 최적 배치를 찾는 데에 걸리는 시간을 단축시키기 위하여, 고장 허용 dominating set의 특성들을 분석하여 유용한 휴리스틱 정보들을 도출한다. 또한 여러가지 정형 그래프와 임의 그래프 상에서의 실험을 통하여, 이들 휴리스틱 정보들을 사용하여 최적 고장 허용 자원 배치를 찾는 데에 걸리는 시간을 상당히 줄일 수 있음을 보인다.

  • PDF

병렬 프로그램에서의 효율적인 대용량 파일 입출력 방식의 비교 연구 (Research for Efficient Massive File I/O on Parallel Programs)

  • 황규현;김영태
    • 인터넷정보학회논문지
    • /
    • 제18권2호
    • /
    • pp.53-60
    • /
    • 2017
  • 분산 메모리형의 병렬 프로그램에서는 프로세서들이 독립적으로 입출력을 처리하기 때문에 여러 유형의 파일 입출력 방식이 사용된다. 본 논문에서는 분산 메모리형 병렬 프로그램에서의 대용량 파일에 대한 효율적인 입출력 방식을 알아보기 위하여 다양한 방식을 구현하고 비교 분석하였다. 구현된 방식으로는 (i) NFS를 활용한 병렬 입출력 방식, (ii) 호스트 프로세서에서의 순차 입출력과 도메인 분산 방식, 그리고 (iii) 메시지 전송 전용 입출력(MPI-IO) 방식 등이 있다. 성능 분석을 위해서 별도의 파일 서버를 사용하였으며 한 대 및 두 대의 계산 클라이언트에서 다중 프로세서를 사용하였다. 비교 분석 결과, 입력의 경우에는 NFS 병렬 입력 방식이, 출력의 경우에는 도메인 전송을 통한 순차 출력 방식이 가장 효율적으로 나타났으며, 예상과는 다르게 메시지 전송 전용 입출력 방식의 성능이 가장 낮게 나왔다.

Efficient Process Network Implementation of Ray-Tracing Application on Heterogeneous Multi-Core Systems

  • Jung, Hyeonseok;Yang, Hoeseok
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제5권4호
    • /
    • pp.289-293
    • /
    • 2016
  • As more mobile devices are equipped with multi-core CPUs and are required to execute many compute-intensive multimedia applications, it is important to optimize the systems, considering the underlying parallel hardware architecture. In this paper, we implement and optimize ray-tracing application tailored to a given mobile computing platform with multiple heterogeneous processing elements. In this paper, a lightweight ray-tracing application is specified and implemented in Kahn process network (KPN) model-of-computation, which is known to be suitable for the description of real-time applications. We take an open-source C/C++ implementation of ray-tracing and adapt it to KPN description in the Distributed Application Layer framework. Then, several possible configurations are evaluated in the target mobile computing platform (Exynos 5422), where eight heterogeneous ARM cores are integrated. We derive the optimal degree of parallelism and a suitable distribution of the replicated tasks tailored to the target architecture.

Scalable Prediction Models for Airbnb Listing in Spark Big Data Cluster using GPU-accelerated RAPIDS

  • Muralidharan, Samyuktha;Yadav, Savita;Huh, Jungwoo;Lee, Sanghoon;Woo, Jongwook
    • Journal of information and communication convergence engineering
    • /
    • 제20권2호
    • /
    • pp.96-102
    • /
    • 2022
  • We aim to build predictive models for Airbnb's prices using a GPU-accelerated RAPIDS in a big data cluster. The Airbnb Listings datasets are used for the predictive analysis. Several machine-learning algorithms have been adopted to build models that predict the price of Airbnb listings. We compare the results of traditional and big data approaches to machine learning for price prediction and discuss the performance of the models. We built big data models using Databricks Spark Cluster, a distributed parallel computing system. Furthermore, we implemented models using multiple GPUs using RAPIDS in the spark cluster. The model was developed using the XGBoost algorithm, whereas other models were developed using traditional central processing unit (CPU)-based algorithms. This study compared all models in terms of accuracy metrics and computing time. We observed that the XGBoost model with RAPIDS using GPUs had the highest accuracy and computing time.

Co-allocation 환경의 그리드 시스템에서 통신비용에 따른 스케줄링 알고리즘의 성능 분석 (Performance Evaluation of Scheduling Algorithms according to Communication Cost in the Grid System of Co-allocation Environment)

  • 강오한;강상성;김진석
    • 정보처리학회논문지A
    • /
    • 제14A권2호
    • /
    • pp.99-106
    • /
    • 2007
  • 지역적으로 분산되어 있는 이기종의 시스템들을 하나로 묶어 사영하는 그리드 컴퓨팅이 차세대 병렬.분산 연산을 위한 새로운 패러다임으로 관심을 끌고 있다. 고속 네트워크로 연결된 다수의 컴퓨터 시스템이 사용자에게 통합된 가상의 컴퓨팅 서비스를 제공하는 그리드 시스템은 통신비용에 대한 중요성이 매우 크다. 따라서 그리드 환경에서 스케줄링 알고리즘은 작업의 실행시간을 단축하기 위하여 자원들의 연산능력과 함께 통신에 대한 비용을 고려하여야 한다. 그러나 현재까지 발표된 대부분의 스케줄링 알고리듬들은 작업이 한 클러스터에서 처리되는 것을 가정함으로써 통신비용을 무시하였으며, 작업이 다수의 클러스터에 분산되어 처리되는 경우에도 통신비용에 관한 오버헤드를 고려하지 않았다. 본 논문에서는 그리드 시스템에 적합한 기존 스케줄링 알고리즘들의 성능을 분석하였으며, 작업이 다수의 클러스터에 분산되어 수행되는 co-allocation 환경에서 통신비용을 고려하여 알고리즘들의 성능을 비교하고 분석하였다.

멀티 매니징 기법을 이용한 웹기반 분산 병렬 컴퓨팅 환경 (Web-based Distributed Parallel Computing Environment with Multi-Managing Method)

  • 맹혜선;한탁돈;김신덕
    • 한국정보처리학회논문지
    • /
    • 제6권7호
    • /
    • pp.1777-1788
    • /
    • 1999
  • 자바 언어를 이용하여 이질적인 컴퓨팅 자원으로 구성된 컴퓨팅 환경에서 효율적으로 분산 병렬 처리를 수행할 수 있도록 하는 웹컴퓨팅 방법이 제시되었다. 본 연구에서는 인트라넷상의 유휴 컴퓨팅 자원을 활용하는 '협력하는 웹컴퓨팅 환경(Cooperative Web Computing Environment : CWCE)'을 구축하였다. 이 환경은 특히 협력하는 병렬 프로그램을 효율적으로 수행할 수 있도록 한다. CWCE 컴퓨터들 사이의 통신 집중 감소를 위해 복수 개의 매니저 컴퓨터를 운용할 수 있는 방법을 제공한다. 또한 최적화 된 수행을 지원하기 위해 필요한 매니저 컴퓨터의 개수를 결정할 수 있는 '매니징 레벨 결정 함수'를 제공한다. 본 연구에서는 동기화 된 통신을 요구하는 응용 프로그램이 CWCE 환경에서 복수 개의 매니저 컴퓨터를 이용함으로써 보다 효율적으로 수행될 수 있음을 분석과 실험을 통해서 보이도록 하였다.

  • PDF