• Title/Summary/Keyword: 병렬파일 시스템

Search Result 115, Processing Time 0.035 seconds

Hybrid Channel Model in Parallel File System (병렬 파일 시스템에서의 하이브리드 채널 모델)

  • Lee, Yoon-Young;Hwangbo, Jun-Hyung;Seo, Dae-Wha
    • The KIPS Transactions:PartA
    • /
    • v.10A no.1
    • /
    • pp.25-34
    • /
    • 2003
  • Parallel file system solves I/O bottleneck to store a file distributedly and read it parallel exchanging messages among computers that is connected multiple computers with high speed networks. However, they do not consider the message characteristics and performances are decreased. Accordingly, the current study proposes the Hybrid Channel model (HCM) as a message-management method, whereby the messages of a parallel file system are classified by a message characteristic between control messages and file data blocks, and the communication channel is divided into a message channel and data channel. The message channel then transfers the control messages through TCP/IP with reliability, while the data channel that is implemented by Virtual Interface Architecture (VIA) transfers the file data blocks at high speed. In tests, the proposed parallel file system that is implemented by HCM exhibited a considerably improved performance.

Research about Cluster file system construction through performance analysis of Parallel file system (병렬 가상 파일 시스템의 성능 분석을 통한 Cluster 파일 시스템 구축에 대한 연구)

  • 박준완;윤천균
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2003.11b
    • /
    • pp.1002-1005
    • /
    • 2003
  • 최근 리눅스의 보급이 활발하게 이루어지면서 저비용으로 슈퍼컴퓨터의 성능에 버금가는 클러스터 시스템이 활발히 구현되고 있다. 이에 맞추어 클러스터 전체 노드 디스크의 저장 공간을 효율적으로 사용할 수 있는 네트워크 파일 시스템이 필요로 하게 되었다. 클러스터 파일 시스템 구축시 가장 보편적으로 사용되는 파일 시스템인 Network File System(NFS)은 보안의 위험성과 데이터 access시 성능이 떨어지는 단점 때문에 NFS을 대체할 수 있는 파일시스템을 필요로 하게 되었다. 본 논문에서는 리눅스에서 사용하는 Ext3 파일 시스템의 성능을 기준으로 최근 활발한 연구가 진행중인 파일 시스템중 하나인 가상 병렬 파일 시스템과 NFS와의 성능 비교 및 시험을 통하여 최적화된 Cluster 파일 시스템에 대해서 연구하고자 한다.

  • PDF

Supporitng for CrownFS in MPI-IO (MPI-IO의 CrownFS 지원 방안)

  • 조미옥;강봉직;최경희;정기현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.636-638
    • /
    • 2000
  • 가장 느린 서비스시템인 I/O의 성능이 전체적인 컴퓨터 시스템의 성능을 결정짓게 된다. 따라서 전반적인 시스템의 성능 향상을 위해서는 I/O의 성능이 높아져야 한다. 분산병렬환경에서 I/O의 성능을 높이기 위해서 parallel I/O를 사용한다. 하위레벨에서 최적화된 병렬 파일시스템을 사용하고, 어플리케이션 레벨에서 병렬 에플리케이션의 개발을 쉽게 해줄 수 있는 인터페이스를 사용하면 더 효과적인 parallel I/O를 구현할 수 있다. 본 논문에서는 MPI에서 병렬 파일시스템인 CrownFS를 지원하도록 하기 위해서 MPI-IO에 CrownFS를 추가하여 병렬환경에서 높은 성능을 나타낼수 있는 parallel I/O 환경을 구현한다.

  • PDF

Parallel File System for Multimedia Data (Multimedia Data를 위한 병렬 파일 시스템)

  • 박시용;석창규;박성호;김영주;정기동
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.600-602
    • /
    • 2000
  • 본 논문에서는 여러 개의 디스크를 클러스트화한 메시지 전송 기반의 병렬 멀티미디어 파일 시스템(PMFS: Parallel Multimedia File System)을 제안하고 설계, 구현하였다. 본 논문에서 구현한 PMFS는 이식성, 유연성 그리고 확장성을 고려한 멀티미디어 데이터를 지원하는 병렬 파일 시스템으로 2계층 분산 클러스트 구조에 적합하다. 그리고 제어 메시지와 TCP를 기반으로 서버들간에 통신을 하고 다양한 방법의 데이터 배치 기법을 제공한다. PMFS의 성능 평가 결과 데이터들이 임의 시작 블록과 DIS배치 기법으로 저장된 경우 가장 좋은 성능을 보였다.

  • PDF

The Design and Implementation of the Cooperative Cache for PVFS (PVFS를 위한 상호협력 캐쉬의 설계 및 구현)

  • 황인철;김호중;정한조;김동환;김호진;맹승렬;조정완
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.163-165
    • /
    • 2003
  • 요즘 값싼 PC들을 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 컴퓨팅에 대한 연구가 활발히 이루어지고 있다. 이러한 연구 중 파일에 대한 서비스를 제공하여 주는 파일 시스템에서 높은 대역폭과 병렬성을 지원하는 분산 파일 시스템이 개발되고 있다. 한편 기존 분산 파일 시스템에 대한 연구 중 서버의 부하를 감소시키고 성능을 향상시키기 위하여 상호협력 캐쉬가 제시되었다. 상호협력 캐쉬는 클라이언트간 파일 캐쉬를 공유함으로써 자신에게 없는 파일에 대한 내용을 다른 클라이언트가 가지고 있을 경우 서버에게 파일을 요구하지 않고 클라이언트간 파일 내용 전달을 통하여 요구를 처리하게 된다. 분산 파일 시스템 중 클러스터 컴퓨팅에서 많이 사용되고 있는 Linux 운영체제에서 구현된 PVFS는 높은 성능과 병렬 I/O를 제공한다. 하지만 기존 PVFS에서는 파일에 대한 캐쉬를 제공하지 않는다. 따라서 본 논문에서는 기존 PVFS에서 제공하지 않은 상호협력 캐쉬를 설계하고 구현한다. 그리고 기존 PVFS와의 성능 비교를 통하여 캐쉬의 효율성을 증명한다.

  • PDF

Experimental Evaluation of pNFS Protocol for Mass Storage System (대용량 스토리지 시스템을 위한 pNFS 프로토콜의 성능 평가)

  • Kim, Tae-Jin;Kim, Han-Gyoo;Noh, Sam-H.
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.221-223
    • /
    • 2012
  • 많은 대학과 스토리지 업체에서 고성능 병렬 파일시스템 관련 연구를 활발히 진행하고 있다. 그러나 대학이나 업체에서 연구된 병렬 파일시스템 기술은 상호 호환성에 제약이 있다. 네트워크 파일시스템 관련해서 유일한 표준 기술인 NFS은 최근 pNFS 기능을 포함한 NFSv4.1로 확장되었다. pNFS은 NFS 서버를 거치지 않고 데이터를 병렬적으로 접근함으로써 고성능 입출력을 보장해 주고 있으며 기존 스토리지 기술과의 호환성을 제공하고 있다. 본 연구에서는 pNFS의 성능 평가를 위해서 pNFS을 사용하는 대용량 스토리지 시스템을 구현하고 NFSv4와 NFSv4.1간 성능을 비교한다. 성능 비교는 파일 사이즈와 동시 수행 프로세스 수 별로 수행되며 읽기 및 쓰기 연산에 대한 pNFS의 성능 향상을 확인한다.

A Performance Analysis of Parallel Program Compilation on Multi-core Systems (멀티코어 시스템에서 병렬 프로그램 컴파일 성능 분석)

  • Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.169-170
    • /
    • 2013
  • 멀티코어 환경이 보편화됨에 따라 병렬프로그래밍 기법과 이에 대한 컴파일 기술의 중요성이 더해지고 있다. 하지만 각 병렬 프로그래밍 기법과 컴퓨팅 환경에 따라 컴파일 기술이 개발되어야 하는 단점이 있다. 따라서 본 논문에서는 다양한 병렬 프로그래밍 기법과 컴퓨팅 환경을 지원할 수 있는 범용 컴파일러의 개발을 위해 병렬프로그래밍 기법과 컴파일러에 따른 병렬 프로그램의 컴파일 성능을 비교하고, 높은 수행 성능을 가진 범용 병렬 프로그램 컴파일러의 설계 방안을 모색한다.

Prefetching Policy based on File Acess Pattern and Cache Area (파일 접근 패턴과 캐쉬 영역을 고려한 선반입 기법)

  • Lim, Jae-Deok;Hwang-Bo, Jun-Hyeong;Koh, Kwang-Sik;Seo, Dae-Hwa
    • The KIPS Transactions:PartA
    • /
    • v.8A no.4
    • /
    • pp.447-454
    • /
    • 2001
  • Various caching and prefetching algorithms have been investigated to identify and effective method for improving the performance of I/O devices. A prefetching algorithm decreases the processing time of a system by reducing the number of disk accesses when an I/O is needed. This paper proposes an AMBA prefetching method that is an extended version of the OBA prefetching method. The AMBA prefetching method will prefetching blocks continuously as long as disk bandwidth is enough. In this method, though there were excessive data request rate, we would expect efficient prefetching. And in the AMBA prefetching method, to prevent the cache pollution, it limits the number of data blocks to be prefetched within the cache area. It can be implemented in a user-level File System based on a Linux Operating System. In particular, the proposed prefetching policy improves the system performance by about 30∼40% for large files that are accessed sequentially.

  • PDF

병렬 정보 검색 시스템의 고장 포용성 향상 기법

  • 강재호;안현주;정성원;류광렬;권혁철;정상화
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2003.05a
    • /
    • pp.457-466
    • /
    • 2003
  • 인터넷과 같은 대량의 정보에 대응할 수 있는 고성능 정보검색시스템을 구축하기 위해서 지금까지는 고가의 중대형 컴퓨터를 주로 활용하여 왔으나, 최근 가격대 성능비가 높은 PC 클러스터 시스템을 활용하는 방안이 경제적인 대안으로 떠오르고 있다. PC 클러스터 시스템에서는 전체 작업을 개별 노드 즉 PC에 가능한 균등하게 분배함으로써 성능을 극대화 하고자 하는데, 하나 또는 그 이상의 노드에 문제가 발생하는 경우 전체시스템의 성능이 매우 저하되거나 정상적인 서비스를 제공하기가 어려워진다. 이러한 상황에서 고장 포용성의 달성은 1년 365일 지속적으로 운영되어야 하는 많은 응용분야에서 반드시 해결해야 하는 문제이다. 본 논문에서는 PC 클러스터를 활용한 병렬정보검색시스템에서 고장 포용성을 극대화하기 위하여 각 노드의 색인어 역파일을 이웃 노드에 효율적으로 중복하여 저장하는 방안과 이를 활용한 효과적인 병렬정보검색 방법을 제안한다. 대규모 말뭉치를 활용한 실험결과 본 논문에서 제시하는 고장 포용성 향상을 위한 색인어 역파일 중복 저장방안이 충분한 효율성과 실용성이 있음을 확인하였다.

  • PDF

A Solution to The Data Dependency Problem from the Big Data on Parallel Distributed Systems (병렬 분산 시스템에서 대용량 데이터의 의존성 해결을 위한 방법)

  • Kim, Hyun-Jun;Kim, Tae-Won;Kim, Joon-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.163-165
    • /
    • 2012
  • 본 논문은 대용량 데이터를 분할하여 병렬 처리하는 경우 데이터간의 의존성성에 의해 발생할 수 있는 문제점을 회피하거나 극복하기 위한 방법에 대한 연구이다. 의존성 문제를 해소하기 위한 병렬 분산 처리 시스템을 개발하여, 대용량 파일 처리의 효율을 높이고자 한다. 분산처리의 성능 평가를 위하여 동영상 파일의 분산 저장 및 재인코딩 시간을 측정하여 성능의 지표로 활용한다.