• 제목/요약/키워드: Distributed and Parallel Computing

검색결과 152건 처리시간 0.034초

클러스터 컴퓨팅 환경에서 병렬루프 처리를 위한 재구성 가능한 부하 및 성능 균형 방법 (A Reconfigurable Load and Performance Balancing Scheme for Parallel Loops in a Clustered Computing Environment)

  • 김태형
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권1호
    • /
    • pp.49-56
    • /
    • 2004
  • 부하 불균형은 병렬처리에 있어서 좋은 성능을 얻기 위한 주요한 방해 요소 중의 하나이다. 전역(全域) 부하균형 기법은 하나의 응용에서 발생된 병렬 태스크를 취급하는데 적절하지 않다. 동적 루프 스케줄링 기법은 공유 메모리 멀티프로세서 병렬구조에서 병렬 루프의 부하균형에 효과적인 것으로 알려져있다. 하지만 이 기법의 중앙집중적 특성은 워크스테이션 클러스터 환경에서 프로세서 수가 상대적으로 많지 않은 경우에도 병목현상을 일으킬 수 있는 요인이 된다. 워크스테이션 클러스터 환경에서의 통신 오버헤드는 공유 메모리 멀티프로세서 병렬 구조와 비교할 때 수십배의 차이가 생기기 때문이다. 더구나 병렬 루프에서 발생하는 단위 태스크가 불규칙적인 작업량을 갖는 경우에는 기본 루프 스케줄링 기법의 단점을 보완한 개선된 방법들을 적용할 수가 없다. 본 논문에서는 이러한 불규칙적인 작업량을 갖는 병렬루프를 서로 다른 성능을 갖는 워크스테이션들의 네트워크 환경에서 효율적으로 부하를 분배하기 위한 재구성 가능한 분산 부하 균형 기법을 제시한다. 이러한 재구성 가능한 기법은 전통적인 부하균형 방법과 함께 성능균형을 가능하게 함으로써 전체수행시간을 최소화할 수 있음을 보였다.

소규모 클러스터 시스템에서의 PVFS 성능 최적화에 관한 연구 (An Analysis of PVFS Performance Optimization on Small Cluster System)

  • 조혜영;차광호;김성호
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.547-549
    • /
    • 2007
  • 고속 네트워크로 연결된 병렬 컴퓨터 및 클러스터 시스템의 응용 분야가 다양화되고 사용자가 증가함에 따라 분산 및 병렬 파일 시스템에 대한 관심이 높아지고 있다. 특히 복잡한 네트워크로 구성된 클러스터 시스템을 보다 효율적으로 사용하기 위해서 분산 및 병렬 파일 시스템의 성능을 최적화하려는 많은 연구가 진행 중이다. 본 논문에서는 소규모 클러스터 시스템에서 널리 사용되고 있는 파일 시스템인 PVFS(Parallel Virtual File System)의 성능을 분석하고, 주어진 네트워크 환경에 따라 성능을 최적화할 수 있는 방법인 FlowBuffer의 따른 변화에 PVFS의 성능을 비교 분석하였다.

  • PDF

동적 분산병렬 하둡시스템 및 분산추론기에 응용한 서버가상화 빅데이터 플랫폼 (An elastic distributed parallel Hadoop system for bigdata platform and distributed inference engines)

  • 송동호;신지애;인연진;이완곤;이강세
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권5호
    • /
    • pp.1129-1139
    • /
    • 2015
  • 시멘틱 웹 기술인 RDF 트리플로 표현된 지식을 추론 과정을 거치면 새로운 트리플들이 생성되어 나온다. 초기 입력된 수억개의 트리플로 구성된 빅데이터와 추가로 생성된 트리플 데이터를 바탕으로 질의응답과 같은 다양한 응용시스템이 만들어 진다. 이 추론기가 수행되는 과정에서 더 많은 컴퓨팅 리소스가 필요해 진다. 이 추가 컴퓨팅 리소스는 하부 클라우드 컴퓨팅의 리소스 풀로부터 공급받아 수행시간을 줄일 수 있다. 본 연구에서는 하둡을 이용하는 환경에서 지식의 크기에 따라 런타임에 동적으로 서버 컴퓨팅 노드를 증감 시키는 방법을 연구하였다. 상부는 응용계층이며, 중간부는 트리플들에 대한 분산병렬추론과 하부는 탄력적 하둡시스템 및 가상화 서버로 구성되는 계층적 모델을 제시한다. 이 시스템의 알고리즘과 시험성능의 결과를 분석한다. 하둡 상에 기 개발된 풍부한 응용소프트웨어들은 이 탄력적 하둡 시스템 상에서 수정 없이 보다 빨리 수행될 수 있는 장점이 있다.

병렬 웹 서비스를 이용한 조립체 모델 데이터의 획득 (Retrieval of Assembly Model Data Using Parallel Web Services)

  • 김병철;한순흥
    • 한국CDE학회논문집
    • /
    • 제13권3호
    • /
    • pp.217-226
    • /
    • 2008
  • Web Services for CAD (WSC) aims at interoperation with CAD systems based on Web Services. This paper introduces one part of WSC which enables remote users to retrieve assembly model data using Web Services. However, retrieving assembly model data takes long time. To resolve this problem, this paper proposes using parallel Web Services. As assembly models comprise a set of part models, it is easy to separate the problem domain into smaller problems. In addition, Web Services inherently supports distributed computing. This characteristic makes the parallel processing of Web Services easy. Firstly, the implementation of WSC which retrieves assembly model data based parallel Web Services is shown. And then, for the comparison, the experiments on the retrieval of assembly model data based on single Web Services and parallel Web Services are shown.

Rete 알고리즘의 병렬 및 분산 처리에 관한 기존 연구 분석 (An Analysis of Existing Studies on Parallel and Distributed Processing of the Rete Algorithm)

  • 김재훈
    • 한국정보기술학회논문지
    • /
    • 제17권7호
    • /
    • pp.31-45
    • /
    • 2019
  • 현재 지능적 서비스의 핵심 기술은 딥러닝 즉 신경망, 그리고 GPU 병렬 컴퓨팅 및 빅 데이터와 같은 병렬 분산 처리 기술이다. 하지만 미래의 전 세계적으로 공유된 온톨로지를 통한 지능적 서비스 및 지식 공유 서비스에서는 지식의 표현 및 추론을 위하여 신경망보다 더 나은 방법이 있다. 그것은 시맨틱 웹의 표준 규칙 언어인 RIF 혹은 SWRL의 IF-THEN의 지식 표현이며, 이러한 규칙을 rete 알고리즘을 이용하여 효율적으로 추론할 수 있다. 하지만 단일 컴퓨터에서 동작하는 rete 알고리즘의 처리 규칙 수가 100,000개가 될 경우 그 성능이 수 십 분으로 매우 안 좋아지며, 분명한 한계가 존재한다. 따라서 본 논문에서는 rete 알고리즘의 병렬 및 분산 처리에 대한 과거로부터 현재까지의 연구 내용을 정리 분석하며, 이를 통해 효율적인 rete 알고리즘의 구현을 위해 어떤 측면들이 고려되어야 하는지를 살펴본다.

A Distributed Stock Cutting using Mean Field Annealing and Genetic Algorithm

  • Hong, Chul-Eui
    • Journal of information and communication convergence engineering
    • /
    • 제8권1호
    • /
    • pp.13-18
    • /
    • 2010
  • The composite stock cutting problem is defined as allocating rectangular and irregular patterns onto a large composite stock sheet of finite dimensions in such a way that the resulting scrap will be minimized. In this paper, we introduce a novel approach to hybrid optimization algorithm called MGA in MPI (Message Passing Interface) environments. The proposed MGA combines the benefit of rapid convergence property of Mean Field Annealing and the effective genetic operations. This paper also proposes the efficient data structures for pattern related information.

병렬 컴퓨팅을 이용한 영구자석 직류전동기의 최적설계 (Optimal Design of Permanent Magnet DC Motor Using Parallel Computing Method)

  • 조명수;이철균;김재광;정현교
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2006년도 제37회 하계학술대회 논문집 B
    • /
    • pp.649-650
    • /
    • 2006
  • In this paper, finite element analysis (FEA)-based optimization using Internet distributed computing is proposed for the real world and complex optimization such as optimal design of permanent magnet do motor (PMDCM).

  • PDF

천문학에서의 대용량 자료 분석 (Analysis of massive data in astronomy)

  • 신민수
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1107-1116
    • /
    • 2016
  • 최근의 탐사 천문학 관측으로부터 대용량 관측 자료가 획득되면서, 기존의 일상적인 자료 분석 방법에 큰 변화가 있었다. 고전적인 통계적인 추론과 더불어 기계학습 방법들이, 자료의 표준화로부터 물리적인 모델을 추론하는 단계까지 자료 분석의 전 과정에서 활용되어 왔다. 적은 비용으로 대형 검출 기기들을 이용할 수 있게 되고, 더불어서 고속의 컴퓨터 네트워크를 통해서 대용량의 자료들을 쉽게 공유할 수 있게 되면서, 기존의 다양한 천문학 자료 분석의 문제들에 대해서 기계학습을 활용하는 것이 보편화되고 있다. 일반적으로 대용량 천문학 자료의 분석은, 자료의 시간과 공간 분포가 가지는 비 균질성 때문에 야기되는 효과를 고려해야 하는 문제를 가진다. 오늘날 증가하는 자료의 규모는 자연스럽게 기계학습의 활용과 더불어 병렬 분산 컴퓨팅을 필요로 하고 있다. 그러나 이러한 병렬 분산 분석 환경의 일반적인 자료 분석에서의 활용은 아직 활발하지 않은 상황이다. 천문학에서 기계학습을 사용하는데 있어서, 충분한 학습 자료를 관측을 통해 획득하는 것이 어렵고, 그래서 다양한 출처의 자료를 모아서 학습 자료를 수집해야 는 것이 일반적이다. 따라서 앞으로 준 지도학습이나 앙상블 학습과 같은 방법의 역할이 중요해 질 것으로 예상된다.

이질적인 분산 환경에서의 MPEG비디오의 파싱을 위한 스케줄링 알고리즘 (A Scheduling Algorithm for Parsing of MPEG Video on the Heterogeneous Distributed Environment)

  • 남윤영;황인준
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제31권12호
    • /
    • pp.673-681
    • /
    • 2004
  • 디지털 비디오의 사용이 보편화되면서 비디오에 대한 효율적인 브라우징이나 검색의 요구가 증가하게 되었다. 이러한 연산을 지원하기 위해서는 효과적인 비디오 인덱싱이 결랍되어야 한다. 비디오 인덱싱에서 가장 기초적인 단계의 하나는 비디오론 샷과 장면으로 파싱하는 것이다. 일반적으로, 비디오 파싱은 복잡한 연산을 필요로 하기 때문에, 기존의 단일 컴퓨터 환경에서는 많은 시간이 소요된다. 기존의 연구는 일정한 시간 동안에 각 슬레이브들에게 작업을 할당하는 라운드 로빈 방식을 사용하였다. 그러나 이러한 방식은 이질적인 환경에서는 적용하는데 어려움이 있다. 본 논문에서는 이질적인 분산 컴퓨팅 환경에서 사용가능한 병렬 파싱 알고리즘인 사이즈 적응적인 라운드 로빈과 동적으로 사이즈 적응적인 라운드 로빈 방식을 제안하였다 성능을 비교하기 위해 몇 가지 실험을 하였으며, 그 결과를 분석하였다.

An Efficient Design and Implementation of an MdbULPS in a Cloud-Computing Environment

  • Kim, Myoungjin;Cui, Yun;Lee, Hanku
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권8호
    • /
    • pp.3182-3202
    • /
    • 2015
  • Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.