• Title/Summary/Keyword: 병렬/분산처리

Search Result 411, Processing Time 0.023 seconds

Parallelization of Allocation Module for Scalability and Performance Improvement on Mesos Scheduler (Allocation Module 병렬화를 통한 Mesos 스케줄러의 확장성 및 성능 향상 기법)

  • Han, Ho-Dol;Oh, Sangyoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.139-142
    • /
    • 2015
  • 데이터 센터에서는 물리적인 규모 증가와는 달리 별도의 처리 없이는 분산처리 프레임워크가 동일한 클러스터 내에서 복수로 동작할 수 없어 전체 환경을 정적으로 분할하여 이들을 배치하는 것이 일반적이다. 그러나 최근 연구에서는 복수의 프레임워크를 한 클러스터 내에서 동작시킴으로써 클러스터의 활용률을 높이는 방향으로 이루어지고 있다. Mesos는 복수의 분산처리 프레임워크를 한 클러스터에서 동작시키기 위한 시스템 중 하나로 각 프레임워크 스케줄러의 스케줄링을 지원하는 단일 Allocation Module을 가진다. Allocation Module은 모든 Slave와 프레임워크 스케줄러들의 요청을 처리하는데, 시스템 규모가 커질수록 Allocation Module으로 집중되는 부하가 증가하여 이에 따른 할당 속도 저하로 정상적인 동작이 불가능해진다. 이 문제를 해결하기 위해 본 논문에서는 Mesos 시스템의 Allocation Module 병렬화를 제안한다. 제안 방식을 통해 Allocation Module의 부하를 분산함과 동시에 Head-of-line Blocking으로 인한 스케줄링 지연 문제를 해결할 수 있을 것이다.

Compression-Based Ray-Casting of Huge Volume Data on Distributed Memory Environments (분산 메모리 환경에서의 방대한 볼륨데이터의 압축기반 광선추적법)

  • 송동섭;박상훈;임인성
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.634-636
    • /
    • 2000
  • 기존의 병렬 볼륨 렌더링 방법들은 프로세서간의 발생하는 많은 통신량 때문에 통신 속도가 매우 빠른 병렬컴퓨터를 이용하였고 통신속도가 느린 분산 환경에서는 구현이 불가능해 보였다. 또한 가시화하려는 볼륨 데이터도 점점 방대해지고 있는 실정이다. 이에 본 논문에서는 통신 속도에 구애받지 앉을뿐더러 매우 큰 볼륨데이터를 다루는 병렬/분산 볼륨 렌더링을 제안한다. 본 방법은 고비용을 필요로 하는 원격 메모리 접근 대신에 압축을 기반으로 하여 필요한 데이터를 지역 메모리에서 빠르게 복원함으로써 좋은 성능향상(speedup)을 나타낸다. 이것은 각 프로세서가 전체 볼륨 데이터를 모두 적재하고 있다는 것을 의미한다. 다라서 렌더링 과정중에 발생하는 프로세서간의 통신을 최소화할 수 있었고, 이런 방식은 높은 통신 비용으로 효율적 병렬/분산 처리가 힘든 분산 메모리 병렬 컴퓨터나 PC/워크스테이션 클러스터상에서 매우 적합하다.

  • PDF

Spark-based Distributed and Parallel DNA Deduplication Method (Spark 기반의 분산 병렬 DNA 중복제거 방법)

  • Moon, Jihye;Lee, Hyeonbyeong;Song, Seokil
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2017.05a
    • /
    • pp.313-314
    • /
    • 2017
  • 이 논문에서는 DNA 분석단계 중 하나인 DNA 리드(Read)에 대한 중복제거 방법을 분산 병렬처리 기법을 적용하여 가속화하는 방법을 제안한다. 기존 제안된 중복제거 기법을 Spark을 기반으로 병렬처리 되도록 하는 접근방법을 취한다. 제안하는 기법은 실험을 통해서 기존 중복제거 기법과 비교하여 성능을 입증한다.

  • PDF

Task Allocation Methods and Performance Comparison for Parallel Computation Based on Multi-Agent System (다중 에이전트 시스템 기반의 병렬 계산을 위한 작업 할당 기법과 성능비교)

  • 김경하;김영학;오길호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10c
    • /
    • pp.502-504
    • /
    • 2000
  • 최근 높은 컴퓨팅 파워를 요구하는 응용문제 처리를 위해 고 비용의 슈퍼컴퓨터 대신 인터넷상에 분산된 다수의 일반 컴퓨터들을 이용하는 병렬처리에 관한 연구가 진행되고 있다. 본 연구에서는 다중 에이전트 시스템을 기반으로 하여 이질적인 성능을 갖는 컴퓨터들을 병렬 컴퓨팅 환경으로 구성하고 각 호스트의 성능측정 결과에 따라 효율적으로 작업을 분산하는 기법을 제안한다. 또한 본 연구에서 제안한 방법을 다중 에이전트 시스템인 IBM의 AgletsTM을 사용하여 실험적으로 성능을 평가하고, 기존 연구와 비교한다.

  • PDF

A Study on Effective Flow-Based Load Balancing Scheme for Parallel-Structure NIDS (병렬 구조 NIDS를 위한 효율적인 플로우 기반 부하 분산 기법에 관한 연구)

  • Kim, Nam-Uk;Park, Min-Woo;Park, Seon-Ho;Chung, Tai-Myoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.04a
    • /
    • pp.808-811
    • /
    • 2010
  • 최근 네트워크를 구성하는 기반 시설의 성능이 향상됨에 따라 대량의 트래픽에 대한 네트워크 침입탐지 시스템의 성능을 향상시키기 위한 연구가 진행되고 있다. 대규모 네트워크에서는 단일 시스템으로 네트워크 내의 모든 트래픽을 분석하는 것이 불가능하므로 병렬 구조 NIDS를 도입하여야 하는데, 이를 위해서는 병렬 구조를 이루는 각 NIDS 노드로의 부하 분산이 필요하다. 플로우 기반 부하 분산 기법은 이러한 부하 분산 기법 중 하나로, TCP 세그먼트의 재조합으로 인해 발생하는 통신 오버헤드를 줄일 수 있어 효율적이다. 본 논문에서는 네트워크 트래픽의 특성과 각 노드의 성능을 고려하여 플로우 기반 부하 분산이 효율적으로 이루어질 수 있는 방안을 제안한다.

Load Balancing Algorithm for Parallel Computing of Design Problem involving Multi-Disciplinary Analysis (다분야통합해석에 기반한 설계문제의 병렬처리를 위한 부하분산알고리즘)

  • Cho, Jae-Suk;Chu, Min-Sik;Song, Yong-Ho;Choi, Dong-Hoon
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.20 no.3
    • /
    • pp.281-286
    • /
    • 2007
  • An engineering design problem involving Multi-Disciplinary Analysis(MDA) generally requires a large amounts of computing time for the entire design process, and therefore it is essential to introduce a Multiple Processor System (MPS) for reducing the computing time. However, when applying conventional parallel processing techniques, all of the CAE S/W requited for the MDA should be installed on all the servers making up MPS because of characteristic of MDA and it would be a great expense in CAE S/W licenses. To solve this problem, we propose a Weight-based Multiqueue Load Balancing algorithm for a heterogeneous MPS where performance of servers and CAE S/W installed on each server are different of each other. To validate the performance, a Computational experiments comparing the First Come First Serve algorithm and our proposed algorithm was accomplished.

Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark (아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화)

  • Myung, Rohyoung;Ahn, Beomjin;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

Developing A Grid Service based PSE Portal (그리드 서비스 기반 PSE포탈 구축)

  • 김형준;권용원;류소현;정창성;박형우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10e
    • /
    • pp.658-660
    • /
    • 2002
  • 분산되어 있는 고성능 컴퓨팅 자원과 대규모 데이터를 효과적으로 활용하기 위해서 최근에 그리드 환경에 대한 연구가 매우 활성화되었다. 본 논문에서는 그리드 환경을 쉽게 이용하고 복잡한 문제에 대해서 병렬/분산 처리할 수 있는 여러 도구들을 편리하게 이용할 수 있도록 그리드 포탈을 구축하고 활용하는 과정에 대해서 연구하여 소개한다. 그리드 PSE 포탈 구조와 현재 요구되는 사용자 중심의 서비스에 대해서 연구하고, 그리드 포탈을 구축하기 위해서 GPDK, Myproxy, Java CoG을 이용하였으며, 병렬/분산 처리를 위한 프로그램으로서 Cactus를 사용하였다.

  • PDF

A Disk Allocation Scheme for High-Performance Parallel File System (고성능 병렬화일 시스템을 위한 디스크 할당 방법)

  • Park, Kee-Hyun
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.9
    • /
    • pp.2827-2835
    • /
    • 2000
  • In recent years, much attention has been focused on improving I/O devices' processing speed which is essential in such large data processing areas as multimedia data processing. And studies on high-performance parallel file systems are considered to be one of such efforts. In this paper, an efficient disk allocation scheme is proposed for high-performance parallel file systems. In other words, the concept of a parallel disk file's parallelism is defined using data declustering characteristic of a given parallel file. With the concept, an efficient disk allocation scheme is proposed which calculates the appropriate degree of data declustering on disks for each parallel file in order to obtain the maximum throughput when more than one parallel file is used at the same time. Since, calculation for obtaining the maximum throughput is too complex as the number of parallel files increases, an approximate disk allocation algorithm is also proposed in this paper. The approximate algorithm is very simple and especially provides very good results when I/O workload is high. In addition, it has shown that the approximate algorithm provides the optimal disk allocation for the maximum throughput when the arrival rate of I/O requests is infinite.

  • PDF

A Study on effective parallel processing in Transputer (트랜스퓨터에서의 효율적인 병렬처리에 관한 연구)

  • 김영희;박두순
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 1998.04a
    • /
    • pp.355-360
    • /
    • 1998
  • 병렬처리 컴퓨터는 하드웨어, 소프트웨어적인 두 가지 측면에서 동시에 만족되어질 때 최적의 성능 향상을 가져올 수 있다. 본 연구는 다양한 토폴로지를 제공하고 가격대 성능비가 좋은 트랜스퓨터상에서 자료간 종속 관계에 있는 병렬 코드를 수행하는 방법들을 소프트웨어적인 기법을 통해 알아보고 종속 관계에 있는 자료 처리 시 프로세서 수의 증가를 통한 속도향상을 실험하였다. 그 결과 본 논문에서 제시한 코드로 자료의 교환량을 최소화하기 위한 기법인 경우 프로세서의 수가 2개 일 때 cost-effective임을 제시하였다. 따라서 트랜스퓨터에서 효율적인 병렬 처리를 위해서는 각 node의 토폴로지, 자료분산 모델, processor의 개수들이 반드시 고려되어야 한다.

  • PDF