• 제목/요약/키워드: parallel file system

검색결과 72건 처리시간 0.026초

Fips : 파일 접근 유형을 고려한 동적 파일 선반입 기법 (Fips : Dynamic File Prefetching Scheme based on File Access Patterns)

  • 이윤영;김재열;서대화
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권7호
    • /
    • pp.384-393
    • /
    • 2002
  • 병렬 파일시스템은 클러스터 시스템에서 과도한 입출력 요청을 원활하게 지원하기 위해 사용되며, 특히 파일 선반입은 병렬 파일시스템의 성능을 개선하는데 유용하게 사용된다. 본 논문은 과학계산용 병렬 응용과 멀티미디어 서버 응용에서 효과적인 파일 접근 유형을 고려한 새로운 동적 파일 선반입기법인 Fips를 제안한다. 본 논문이 제안하는 동적 파일 선반입 기법인 Fips는 파일의 접근 유형을 고려하여 동적으로 선반입 할 데이타 블록을 예측하고, 다양한 접근 유형에서도 데이타 블록의 선반입을 효율을 높였다. 그리고 현재의 가용 대역폭을 고려하여 선반입 시기를 결정하므로 선반입이 시스템에 과부하로 작용하는 것을 방지하도록 하였다. 병렬 파일시스템에 Fips를 적용하여 실험한 결과 다양한 작업부하에서 제안한 선반입 기법은 우수한 성능을 보여주었다.

병렬 파일 시스템에서의 하이브리드 채널 모델 (Hybrid Channel Model in Parallel File System)

  • 이윤영;황보준형;서대화
    • 정보처리학회논문지A
    • /
    • 제10A권1호
    • /
    • pp.25-34
    • /
    • 2003
  • 병렬 파일 시스템은 고속의 네트웍으로 여러 대의 컴퓨터들을 서로 연결하여 컴퓨터들 간에 메시지를 주고받으면서 파일을 분산 저장하고 병렬로 읽어오는 방식으로 파일 입출력 장치의 병목현상을 해결한다. 그러나 대부분의 병렬 파일 시스템은 전달하려는 메시지의 특성을 고려하지 않은 프로토콜의 사용으로 성능저하의 문제를 가지고 있다. 이에 따라 본 논문에서 메시지 처리 방법으로 HCM(Hybrid Channel Model)을 제안한다. 본 논문에서 제안하는 HCM은 병렬 파일 시스템에서 전달되는 메시지를 그 특성에 따라 분리해서 별개의 프로토콜을 이용하여 제어 메시지와 파일 데이터 블록을 전송한다. 안정성이 검증된 TCP/IP를 이용하여 구현한 메시지 채널을 통해 제어 메시지를 고속의 데이터 전송이 가능한 VIA를 이용하여 구현한 데이터 채널을 통해 파일 데이터 블록을 각각 분리하여 처리하도록 하고 있다 HCM을 병렬 파일 시스템에 구현하고 실험해본 결과 본 논문에서 제안한 채널 모델이 상당한 성능향상을 보였다.

소규모 클러스터 시스템에서의 PVFS 성능 최적화에 관한 연구 (An Analysis of PVFS Performance Optimization on Small Cluster System)

  • 조혜영;차광호;김성호
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.547-549
    • /
    • 2007
  • 고속 네트워크로 연결된 병렬 컴퓨터 및 클러스터 시스템의 응용 분야가 다양화되고 사용자가 증가함에 따라 분산 및 병렬 파일 시스템에 대한 관심이 높아지고 있다. 특히 복잡한 네트워크로 구성된 클러스터 시스템을 보다 효율적으로 사용하기 위해서 분산 및 병렬 파일 시스템의 성능을 최적화하려는 많은 연구가 진행 중이다. 본 논문에서는 소규모 클러스터 시스템에서 널리 사용되고 있는 파일 시스템인 PVFS(Parallel Virtual File System)의 성능을 분석하고, 주어진 네트워크 환경에 따라 성능을 최적화할 수 있는 방법인 FlowBuffer의 따른 변화에 PVFS의 성능을 비교 분석하였다.

  • PDF

범용 병렬화일 시스템 상에서 MPI-IO 방안의 성능 평가 벤티마크 (Benchmarks for Performance Testing of MPI-IO on the General Parallel File System)

  • 박성순
    • 정보처리학회논문지A
    • /
    • 제8A권2호
    • /
    • pp.125-132
    • /
    • 2001
  • IBM developed the MPI-IO, we call it MPI-2, on the General Parallel File System. We designed and implemented various Matrix Multiplication Benchmarks to evaluate its performances. The MPI-IO on the General Parallel File System shows four kinds of data access methods : the non-collective and blocking, the collective and blocking, the non-collective and non-blocking, and the split collective operation. In this paper, we propose benchmarks to measure the IO time and the computation time for the data access methods. We describe not only its implementation but also the performance evaluation results.

  • PDF

MISIX 기반의 병렬 파일 시스템의 통신 모듈 설계 및 구현 (Design and Implementation of a Communication Module of the Parallel Operating File System based on MISIX)

  • 진성근;조종현;김해진;서대화
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제6권4호
    • /
    • pp.373-382
    • /
    • 2000
  • POFS는 SPAX 컴퓨터에서 운용될 병렬 파일 시스템이다. SPAX는 ETRI에서 개발중인 클러스터 SMP 구조를 가지는 다중 프로세서 컴퓨터이며 SPAX의 운영체제는 Chorus 마이크로커널에 기반한 MISIX이다. 마이크로커널 기반의 운영체제는 마이크로커널의 IPC를 기반으로 구현된 서버의 집합이며, 운영체제의 서브시스템들 혹은 서브시스템들과 사용자 프로그램은 클라이언트/서버 구조를 가지게 된다. 그러므로, 운영체제의 서브시스템을 위한 통신 모듈의 설계 방법은 시스템의 성능에 직접적인 영향을 준다. 본 논문은 MISIX의 병렬 파일 시스템인 POFS 개발함에 있어서 제기된 통신 모듈의 구조와 성능에 관해 기술한다. POFS는 높은 병렬성 및 확장성을 가지며, 단일 시스템 이미지를 제공하는 분산 환경의 파일 시스템이다. POFS의 통신 모듈은 클라이언트/서버 구조인 POFS의 특성을 효과적으로 지원한다.

  • PDF

고성능 병렬화일 시스템을 위한 디스크 할당 방법 (A Disk Allocation Scheme for High-Performance Parallel File System)

  • 박기현
    • 한국정보처리학회논문지
    • /
    • 제7권9호
    • /
    • pp.2827-2835
    • /
    • 2000
  • 최근, 멀티미디어 정보처리와 같은 대규모 데이터 처리에 필수적인 입출력 시스템의 성능을 높이기 위하여 많은 관심이 집중되고 있으며, 고성능 병렬화일 시스템에 관한 연구도 이런 노력에 속한다. 본 연구에서는 고성능 병렬화일 시스템을 위한 효율적인 디스크 할당 방법을 제안한다. 즉, 병렬화일의 자료 분산(data declustering)특성을 이용하여 병렬화일에 대한 병렬도 개념을 정의하고, 이를 기반으로 여러 병렬화일들이 동시에 처리되는 경우에, 최대의 작업처리량(throughput)을 얻기 위한 각 병렬화일에 적합한 디스크상의 자료 분산 정도를 계산하는 방법을 제안한다. 또한 동시에 처리되는 병렬화일들이 많이 늘어날수록, 최대의 작업처리량을 얻기 위한 계산이 너무 복잡해지므로, 효율적인 근사 디스크 할당 알고리즘도 아울러 제안한다. 제안된 근사 알고리즘은 계산이 간단하고, 특히 입출력 작업부하(workload)가 높은 환경에서는 매우 효율적임을 보여준다. 또한 입출력 요구들의 도착 비율이 무한대일 경우, 근사 알고리즘만을 이용하여도 최대 작업처리량을 위한 최적 디스크 할당을 얻을 수 있음을 증명하였다.

  • PDF

Fast Ethernet 환경에서 병렬 멀티미디어 파일 시스템의 설계와 구현 (Design and Implementation of the Parallel Multimedia File System on Fast Ethernet)

  • 박성호;김광문;정기동
    • 정보처리학회논문지B
    • /
    • 제8B권1호
    • /
    • pp.89-97
    • /
    • 2001
  • 대용량 멀티미디어 미디어 서버를 구성함에 있어 I/O 병목현상을 극복하기 위하여 저장 서버들과 제어 서버로 구성되어진 2계층 분산 클러스터 서버구조가 많이 사용된다. 2 계층 분산 클러스터 서버는 부하 균등, 대역폭 관리 및 저장 서버의 관리 측면에서 유리한 반면, 저장 서버와 제어 서버간의 통신 오버헤드를 발생시킨다. 이러한 오버헤드를 줄이기 위해서는 저장 서버에서 읽은 미디어 데이터를 제어 서버를 거치지 않고 직접 클라이언트에 전송할 수 있어야 한다. 그리고, 저장 용량을 확장하거나 손상된 디스크를 교체하는 경우를 대비하여 분산 클러스터 서버는 다양한 성능의 이기종 디스크를 지원하여야 한다. 또한, I/O 장치와 운영체제가 빠르게 발전됨에 따라 미디어 서버는 새로운 I/O 장치 및 운영체제 등에 쉽게 이식될 수 있어야 하고, 응용 소프트웨어 개발자가 시스템의 환경에 따라 블록크기, 데이터 배치정책, 사본 정책 등을 유연하게 조절할 수 있어야 한다. 본 논문에서 위에서 언급한 멀티미디어 서버의 요구를 고려하여 Fast Ethernet 환경에서 병렬 멀티미디어 파일 시스템(PMFS : Parallel Multimedia File System)을 설계 및 구현하고 실험을 통해 PVFS(Parallel Virtual File System)와 성능을 비교 분석하였다. 이 실험의 결과에 따르면 PMFS는 멀티미디어 데이터에 대하여 PVFS보다 3%∼15%의 향상된 성능을 보였다.

  • PDF

Multimedia Data를 위한 병렬 파일 시스템 (Parallel File System for Multimedia Data)

  • 박시용;석창규;박성호;김영주;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.600-602
    • /
    • 2000
  • 본 논문에서는 여러 개의 디스크를 클러스트화한 메시지 전송 기반의 병렬 멀티미디어 파일 시스템(PMFS: Parallel Multimedia File System)을 제안하고 설계, 구현하였다. 본 논문에서 구현한 PMFS는 이식성, 유연성 그리고 확장성을 고려한 멀티미디어 데이터를 지원하는 병렬 파일 시스템으로 2계층 분산 클러스트 구조에 적합하다. 그리고 제어 메시지와 TCP를 기반으로 서버들간에 통신을 하고 다양한 방법의 데이터 배치 기법을 제공한다. PMFS의 성능 평가 결과 데이터들이 임의 시작 블록과 DIS배치 기법으로 저장된 경우 가장 좋은 성능을 보였다.

  • PDF

병렬 파일 시스템에서 이중 캐쉬 구조 (Dual-Cache Scheme in Parallel File System)

  • 장원영;김재열;서대화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.271-274
    • /
    • 2001
  • 프로세스와 디스크 입출력 속도를 비교해보면, 디스크 입출력의 속도가 휠씬 더 느리다. 따라서 디스크 입출력은 현재의 컴퓨팅 환경에서 병목현상이 되고있다. PFSL(Parallel File System for Linux)은 이런 문제를 해결하기 위한 클러스터링 환경의 병렬 파일 시스템이다. PFSL은 리눅스 머신 상에서 POSIX 스레드 라이브러리를 이용하여 멀티 스레드로 수행된다. 이 논문에서는 PFSL의 성능을 개선하기 위해 클러스터 환경의 작업 부하에 적합하도록 설계한 이중 캐쉬 구조를 소개하고자 한다.

  • PDF

NOW(Network of Workstations) 환경에서 소프트웨어 RAID 파일 시스템의 설계 및 성능 평가 (Design and performance evaluation of the software RAID file system in the NOW environment)

  • 김종훈;노삼혁;원유헌
    • 한국통신학회논문지
    • /
    • 제22권6호
    • /
    • pp.1266-1272
    • /
    • 1997
  • Due to the price and performanceof uniprocessor workstations and off-the shelf networking, network of workstations(NOW) ae now a cost-effective parallel processing platform tht is competitive with supercomputers. Meanwhile, current network fiile system protocols rely heavily on a central server to coordinate file activity among client workstations. This central server can become a bottleneck that limits scalibility for environments with large numbers of clients. In this paper, we propsoe a highly reliable and effective software RAID file system on the network of workstation environment. We present results form a trace-driven simulation study that shows that the designed software RAID file system is more effective in the aspect of elapsed time when compared with client/server file systems.

  • PDF