• Title/Summary/Keyword: 분산병렬시스템

Search Result 380, Processing Time 0.107 seconds

Parallel File System for Multimedia Data (Multimedia Data를 위한 병렬 파일 시스템)

  • 박시용;석창규;박성호;김영주;정기동
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.600-602
    • /
    • 2000
  • 본 논문에서는 여러 개의 디스크를 클러스트화한 메시지 전송 기반의 병렬 멀티미디어 파일 시스템(PMFS: Parallel Multimedia File System)을 제안하고 설계, 구현하였다. 본 논문에서 구현한 PMFS는 이식성, 유연성 그리고 확장성을 고려한 멀티미디어 데이터를 지원하는 병렬 파일 시스템으로 2계층 분산 클러스트 구조에 적합하다. 그리고 제어 메시지와 TCP를 기반으로 서버들간에 통신을 하고 다양한 방법의 데이터 배치 기법을 제공한다. PMFS의 성능 평가 결과 데이터들이 임의 시작 블록과 DIS배치 기법으로 저장된 경우 가장 좋은 성능을 보였다.

  • PDF

Hybrid Channel Model in Parallel File System (병렬 파일 시스템에서의 하이브리드 채널 모델)

  • Lee, Yoon-Young;Hwangbo, Jun-Hyung;Seo, Dae-Wha
    • The KIPS Transactions:PartA
    • /
    • v.10A no.1
    • /
    • pp.25-34
    • /
    • 2003
  • Parallel file system solves I/O bottleneck to store a file distributedly and read it parallel exchanging messages among computers that is connected multiple computers with high speed networks. However, they do not consider the message characteristics and performances are decreased. Accordingly, the current study proposes the Hybrid Channel model (HCM) as a message-management method, whereby the messages of a parallel file system are classified by a message characteristic between control messages and file data blocks, and the communication channel is divided into a message channel and data channel. The message channel then transfers the control messages through TCP/IP with reliability, while the data channel that is implemented by Virtual Interface Architecture (VIA) transfers the file data blocks at high speed. In tests, the proposed parallel file system that is implemented by HCM exhibited a considerably improved performance.

A Study on the Design of Ambari Service for Lustre Parallel File System Auto Provisioning (Lustre 병렬파일시스템 오토 프로비저닝을 위한 Ambari 서비스 설계에 관한 연구)

  • Kwak, Jae-Hyuck;Kim, Sangwan;Byun, Eunkyu;Nam, Dukyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.45-47
    • /
    • 2017
  • 하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

A Scheme on High-Performance Caching and High-Capacity File Transmission for Cloud Storage Optimization (클라우드 스토리지 최적화를 위한 고속 캐싱 및 대용량 파일 전송 기법)

  • Kim, Tae-Hun;Kim, Jung-Han;Eom, Young-Ik
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.37 no.8C
    • /
    • pp.670-679
    • /
    • 2012
  • The recent dissemination of cloud computing makes the amount of data storage to be increased and the cost of storing the data grow rapidly. Accordingly, data and service requests from users also increases the load on the cloud storage. There have been many works that tries to provide low-cost and high-performance schemes on distributed file systems. However, most of them have some weaknesses on performing parallel and random data accesses as well as data accesses of frequent small workloads. Recently, improving the performance of distributed file system based on caching technology is getting much attention. In this paper, we propose a CHPC(Cloud storage High-Performance Caching) framework, providing parallel caching, distributed caching, and proxy caching in distributed file systems. This study compares the proposed framework with existing cloud systems in regard to the reduction of the server's disk I/O, prevention of the server-side bottleneck, deduplication of the page caches in each client, and improvement of overall IOPS. As a results, we show some optimization possibilities on the cloud storage systems based on some evaluations and comparisons with other conventional methods.

안전하고 고속적인 디지탈 서명을 위한 병렬 알고리즘 설계

  • Seo, Jang-Won;Moon, Pil-Joo;Bang, Hye-Ja;Jeon, Moon-Seok;Lee, Chul-Hee
    • Review of KIISC
    • /
    • v.4 no.2
    • /
    • pp.23-39
    • /
    • 1994
  • 본 논문은 예전의 방법들에서 일어나고 있는 수행 속도 문제점들을 향상하기 위하여 병렬 처리를 이용하여 난수를 발생하는 방법중에서 가장 보편적이고 빠른 방법으로 알려진 저차 합동 다항식에 기초한 새로운 고속 디지탈 서명방식에 대한 병렬 알고리즘을 제안한다. 새로운 디지탈 서명 방식은 비밀키로써 큰 소수 p,q를 이용하여, 공개 정보로써 n=$p^2$ * q를 이용한다. 난수는 서명을 생성할때 이용되며, 서명을 검증하기 위하여 부등식을 이용하며 병렬 알고리즘을 이용하여 서명을 생성하는 처리속도의 향상된 성능을 위하여 전처리와 디지탈 서명을 구축하는 계산방법의 새로운 병렬 알고리즘을 작성하였다. 본 논문에서 새로 제안한 서명방식에 대한 병렬 알고기즘을 검증하고 비도를 산출할 것이며, 시뮬레이션을 통하여 예전의 방식들과 비교 분석한다. 본 논문은 공개키를 이용한 병렬 암호와 시스템과 신호 처리에 대한 병렬 알고리즘으로 응용될 수 있을 것이며, 병렬과 분산 처리 환경하에서 개발되는 정보서비스 특히 메세지 처리 시스템 서비시, 전자교환 서비스 등의 디지탈 서명에 유용될 수 있을 것이다.

  • PDF

Parallelization of Allocation Module for Scalability and Performance Improvement on Mesos Scheduler (Allocation Module 병렬화를 통한 Mesos 스케줄러의 확장성 및 성능 향상 기법)

  • Han, Ho-Dol;Oh, Sangyoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.139-142
    • /
    • 2015
  • 데이터 센터에서는 물리적인 규모 증가와는 달리 별도의 처리 없이는 분산처리 프레임워크가 동일한 클러스터 내에서 복수로 동작할 수 없어 전체 환경을 정적으로 분할하여 이들을 배치하는 것이 일반적이다. 그러나 최근 연구에서는 복수의 프레임워크를 한 클러스터 내에서 동작시킴으로써 클러스터의 활용률을 높이는 방향으로 이루어지고 있다. Mesos는 복수의 분산처리 프레임워크를 한 클러스터에서 동작시키기 위한 시스템 중 하나로 각 프레임워크 스케줄러의 스케줄링을 지원하는 단일 Allocation Module을 가진다. Allocation Module은 모든 Slave와 프레임워크 스케줄러들의 요청을 처리하는데, 시스템 규모가 커질수록 Allocation Module으로 집중되는 부하가 증가하여 이에 따른 할당 속도 저하로 정상적인 동작이 불가능해진다. 이 문제를 해결하기 위해 본 논문에서는 Mesos 시스템의 Allocation Module 병렬화를 제안한다. 제안 방식을 통해 Allocation Module의 부하를 분산함과 동시에 Head-of-line Blocking으로 인한 스케줄링 지연 문제를 해결할 수 있을 것이다.

Performance of Parallel Ray Tracing Algorithm (병렬 광선 추적 알고리듬의 성능)

  • Lee, Hyo-Jong;Im, Beom-Hyeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.255-258
    • /
    • 2001
  • 광선추적기법은 사진과 같은 고해상도의 영상을 만들어내는 렌더링 기법중의 하나이다. 이 기법은 이미지를 합성하는데 많은 양의 계산 시간을 필요로 한다. 병렬처리 기법이 광선추적에 계산양의 처리 기간을 감소하기 위하여 사용될 수 있다. 본 논문에서는 병렬 광선추적 기법을 MPI(Message Passing Interface)를 사용하여 IBM Supercomputer 상에서 노드의 개수의 증가에 따른 속도 향상과 노드간에 전달되는 메시지의 크기에 따른 성능 향상을 실험하였다. 본 논문에서 실험한 병렬 광선 추적 기법으로 IBM SP 시스템 상에서 다양한 영상을 생성하였다. 영상은 분할가능하고 노드에 분배할 수 있기 때문에 병렬화 범주에 들 수 있으며 부하균형을 맞출 수 있다. 실험에서 프로세서수의 증가에 따른 이상적인 속도향상률(Speed-up rate)을 15개의 프로세서를 사용하여 얻을 수 있었다. 광선을 추적하여 영상을 합성해 낼 때 표현하고자 하는 영상이 단순한 객체로 이루어져 있다면 각 노드에 분산해줘야 할 작업의 크기는 복잡한 객체들로 구성된 영상보다 클 때 더 놓은 성능을 나타내었다. 분산작업의 크기가 작아 상대적으로 통신횟수가 증가할 때 렌더링시 효율저하를 나타내었다.

  • PDF

Real-Time Monitoring of Resource for Distributed/Parallel Framework on the Web (웹 기반 분산/병렬 프레임워크상에서 실시간 자원 모니터링)

  • Kim, Su-Ja;Jeong, Jae-Hong;Song, Eun-Ha;Han, Sung-Kook;Joo, Su-Chong;Jeong, Young-Sik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05a
    • /
    • pp.117-120
    • /
    • 2003
  • 웹의 다양한 자원을 이용하여 고성능 작업 처리를 요구하는 분산/병렬 시스템은 균형적인 작업 할당을 위해 각 호스트의 성능 평가가 중요하다. 하지만 성능 평가에 대한 지속적인 신뢰하기가 어려우며 뿐만 아니라, 작업 도중 호스트의 성능 변화를 예측하기가 어렵다. 성능 변화에 따른 효율적인 작업 스케줄링이 필요하며, 자원 관리자는 작업을 수행중인 호스트에 대한 모니터가 요구된다. 본 논문에서는 자원 관리자와 시스템 관리자에게 효율적인 자원 정책을 제안하기 위해 각 호스트의 자원을 모니터하고, 분산/병렬 시스템의 작업 할당 메커니즘에 의해 각 호스트의 성능 평가 기준을 정한다 또한 관리자에게 실시간으로 호스트의 성능 변화에 따른 자원 정보를 관리하도록 다양한 시각화를 제공한다.

  • PDF