• Title/Summary/Keyword: Cluster file system

Search Result 91, Processing Time 0.028 seconds

A Caching Scheme of Meta-Information for the Linux Cluster File System (리눅스 클러스터 파일 시스템을 위한 메타정보 캐쉬 기법)

  • 홍재연;김형식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.316-318
    • /
    • 2002
  • 클러스터 파일 시스템은 고가용성(high availability) 및 결함내성(fault tolerance)을 만족하고 확장성이 뛰어나기 때문에 멀티미디어 서비스 등으로 활용범위를 넓혀왔다. 클러스터 시스템에서 일반적으로 제공되는 단일 시스템 이미지 (single system image) 기술은 저장된 위치에 관계없이 디렉토리나 파일에 접근할 수 있는 장점을 제공하지만 실제 저장된 위치에 따라 접근 시간의 편차가 발생된다. 본 논문에서는 파일이나 디렉토리에 관한 메타정보를 캐쉬에 저장함으로써 클러스터 파일 시스템에서의 접근 시간을 단축하기 위한 방법을 제안한다. 파일과 디렉토리의 접근 형태에 적합한 캐쉬 배치(placement) 기법과 재배치(replacement) 기법을 제시하고 캐쉬 일관성 유지를 위한 알고리즘을 보인다. 제안된 방법은 멀티미디어 서비스 등의 응용에서 효과적으로 접근시간을 단축할 수 있을 것으로 예상된다.

  • PDF

Analysis of Parallel and Distributed File System Workloads on Tachyon Cluster System (타키온 클러스터 시스템의 병렬 분산 파일 시스템 워크로드 분석)

  • Cho, Hyeyoung;Kim, Sungho;Lee, Sik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.113-114
    • /
    • 2009
  • 클러스터 시스템의 응용 분야가 다양화되고 복잡해짐에 따라, 대규모 클러스터 시스템을 보다 효율적으로 사용하기 위해서 실제 사용자의 이용 패턴을 예측할 수 있는 워크로드 분석의 필요성이 높아지고 있다. 이에 본 논문에서는 현재 가동중인 188개의 계산 노드, 3008개 CPU 자원을 보유한 대규모 클러스터 시스템에서 병렬 분산 파일 시스템에 대한 워크로드를 분석하였다.

Implementation and Performance Analysis of Single I/O Space Service for Cluster Computers (클러스터 컴퓨터를 위한 단일 I/O 공간 서비스의 구현 및 성능분석)

  • Kim, Tae-Kyu;Kim, Bang-Hyun;Kim, Jong-Hyun
    • The KIPS Transactions:PartA
    • /
    • v.13A no.6 s.103
    • /
    • pp.517-524
    • /
    • 2006
  • In cluster computers, it is essential to Implement the single I/O space(SIOS) supporting integrated I/O substructure to efficiently process I/O intensive applications. SIOS service provides with global I/O address space to directly access peripherals and hard disks in its own or remote nodes from any node in the cluster computer In this thesis, we propose the implementation method of SIOS in Linux clusters by using only freewares. This method is implemented at device driver level that uses Enhanced Network Block Device(ENBD) and file system level that uses S/W RAID and NFS. The major strengths of this method are easiness of implementation and almost no cost due to using freewares. In addition, since freewares used are open sources, it is possible to apply this method to other platforms with only slight modification. Moreover, experiments show that I/O throughputs are up to 5.5 times higher in write operations and approximately 2.3 times higher in read operations than those of CDD method that uses the device driver developed at kernel level.

Term Clustering and Duplicate Distribution for Efficient Parallel Information Retrieval (효율적인 병렬정보검색을 위한 색인어 군집화 및 분산저장 기법)

  • 강재호;양재완;정성원;류광렬;권혁철;정상화
    • Journal of KIISE:Software and Applications
    • /
    • v.30 no.1_2
    • /
    • pp.129-139
    • /
    • 2003
  • The PC cluster architecture is considered as a cost-effective alternative to the existing supercomputers for realizing a high-performance information retrieval (IR) system. To implement an efficient IR system on a PC cluster, it is essential to achieve maximum parallelism by having the data appropriately distributed to the local hard disks of the PCs in such a way that the disk I/O and the subsequent computation are distributed as evenly as possible to all the PCs. If the terms in the inverted index file can be classified to closely related clusters, the parallelism can be maximized by distributing them to the PCs in an interleaved manner. One of the goals of this research is the development of methods for automatically clustering the terms based on the likelihood of the terms' co-occurrence in the same query. Also, in this paper, we propose a method for duplicate distribution of inverted index records among the PCs to achieve fault-tolerance as well as dynamic load balancing. Experiments with a large corpus revealed the efficiency and effectiveness of our method.

Performance evaluation of distributed file systems on a small scale cluster system (소규모 클러스터 시스템에서의 분산 파일 시스템에 대한 성능 평가)

  • Cho, Hye-Young;Cha, Kwang-Ho;Kim, Sung-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.1417-1420
    • /
    • 2005
  • 고속 네트워크로 연결된 대형 병렬 컴퓨터 및 클러스터 시스템의 사용이 증가되면서, 대용량 스토리지의 효율적인 활용을 위한 분산 및 병렬 파일 시스템에 대한 관심이 증가하고 있다. 특히 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적이 파일 시스템으로 구성하는 분산 및 병렬 파일 시스템은 유휴 자원의 활용, bandwidth 및 throughput의 증대라는 장점으로 많은 연구가 진행 중이다. 본 논문에서는 대표적인 분산 및 병렬 파일 시스템을 대상으로 소규모 클러스터 시스템에서 성능 및 특징을 비교, 분석하였다.

  • PDF

HA-PVFS : A Cluster File System for High Data Availability using Partial Replication (HA-PVFS : 부분 복제를 통하여 데이터의 고가용성을 지원하는 클러스터 파일 시스템)

  • Sim Sang-Man;Kim Jin-Seok;Park Sung-Yong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06a
    • /
    • pp.430-432
    • /
    • 2006
  • 최근 인터넷 서비스 공급 및 사용자의 폭발적인 증가로 클러스터 파일 시스템에 대한 관심이 높아졌다. 이에 많은 클러스터 파일 시스템이 개발되었지만, 데이터의 가용성 측면에서 문제가 있었다. 이 가용성 문제를 해결하기 위한 방안으로 패리티 서버를 사용하는 방법과. 전체 파일 시스템을 복제하는 방법이 소개되었다. 그러나 이러한 방법들도 가용성을 완벽하게 지원하지 못하였으며 추가적인 비용 또한 발생하였다. 본 논문에서는 파일 시스템에 대한 접근 패턴을 고려한 클러스터 파일 시스템, HA-PVFS를 제안한다. HA-PVFS는 파일 시스템에 존재하는 모든 파일이 아닌, 자주 사용되는 파일만을 접근 패턴을 분석하여 부분 복제함으로써 데이터의 가용성을 지원한다. 따라서 HA-PVFS를 통해 기존의 방법보다 낮은 비용으로 높은 가용성을 보장해 줄 수 있다.

  • PDF

The Implementation and Performance Analysis of a OpenCFS Cluster File system (OpenCFS 클러스터 파일 시스템의 구현 및 성능 평가)

  • Jeon, Seung-Hyub;Cha, Gyu-Il;Kim, Jin-Mi;Yoo, Chuck
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.645-647
    • /
    • 2000
  • 본 논문에서는 멀티미디어나 데이터베이스 등 대용량 입출력을 효율적으로 지원하기 위하여 고속 네트웍으로 연결된 클러스터링 환경에서 동작하는 클러스터 파일 시스템인 OpenCFS를 설계하고 구현하여 성능을 평가한다. 구현된 클러스터 파일 시스템은 입출력 장치의 한계를 극복하기 위하여 스트라이핑(striping)기법을 통한 병렬 입출력(parallel I/O)을 수행하고, 능동적으로 시스템 내부 정책 병경을 가능하게 하는 오픈 임플리멘테이션(Open Implementation)방법론을 적용함으로써 응용프로그램의 시스템 내부 정책에 대한 접근 방법을 제공한다. 실험을 통하여 구현된 클러스터 파일 시스템의 성능을 분석한 결과, 사용자가 기존의 프로그래밍 환경을 유지하면서 시스템 내부 정책을 변경함으로써 개선된 성능의 입출력 서비스를 제공 받을 수 있다.

  • PDF

TPC Benchmark Test for DBMS based on Cluster File System $SANique^{TM}$ (클러스터 파일 시스템 $SANique^{TM}$기반의 DBMS 표준 성능 평가)

  • Hwang Jin-Ho;Baek En-Ju;Lee Kyu-Woong;Lee Jang-Sun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.112-114
    • /
    • 2005
  • 본 논문은 SAN(storage area network)상에 네트워크-부착형 (network-attached) 저장 장치들을 직접 연결하여 파일 서버 없이 직접 데이터 전송이 가능한 SAN 기반의 클러스터 공유 파일 시스템인 $SANique^{TM}$의 설계 기법을 설명하고 $SANique^{TM}$ 시스템의 기본 파일 입$\cdot$출력 연산 성능을 집중적으로 평가하기 위해 상용 DBMS의 기본 연산 트랜잭션을 구성하여 기존 파일 시스템 기반의 DBMS와 비교 분석한다. 또한 표준 성능 평가 도구인 TPC-C 표준 벤치마크 테스트 도구를 활용하여 리눅스 시스템 및 Solaris 시스템 환경의 파일 시스템과 비교한다.

  • PDF

Linux Cluster-based Parallel File System for Parallel Volume Rendering (병렬볼륨렌더링을 위한 리눅스 클러스터 기반 병렬화일시스템)

  • 류영준;정갑주
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04a
    • /
    • pp.91-93
    • /
    • 2001
  • 볼륨 렌더링(Volume Rendering)은 과학, 의학, 공학 등의 분야에서 3차원 볼륨 데이터(Volume Date)를 효과적으로 시각화(Visualization)하는 목적으로 널리 사용되고 있으며 고화질 영상 요구로 인해 3차원 볼륨 데이터의 크기는 점차 대용량화되어 가는 추세이다. 이러한 대용량 데이터의 고성능 처리를 위해서는 병렬입출력이 필수적이다. 본 논문에서는 병렬볼륨 렌더링에 최적화된 병렬화일시스템 PBS(Parallel Block Server)을 제안한다. PBS는 고성능 입출력 제공을 위해서 데이터입출력에 대한 응용 프로그램의 집적 통제를 위한 다양한 기능을 제공하도록 설계되어 있다. 이러한 직접통제의 단점인 복잡한 인터페이스 문제를 해결하기 위해서 볼륨 렌더링에 최적화된 데이터 입출력 전략을 자동화시킨 PBS 기반 라이브러리 VRPIO(Volume Rendering Parallel Input Output)를 제공한다.

Design and Implementation of a Myrinet based High-speed Communication Module for the Linux Cluster File System (리눅스 클러스터 파일 시스템을 위한 Myrinet 기반 초고속 통신모듈의 설계 및 구현)

  • 박의수;이흥기;최현우;김형식;유원경;유관종
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.16-18
    • /
    • 2003
  • 클러스터 파일 시스템은 데이터 입출력 대역폭을 극대화하여 효율성을 높이고 각 노드의 입출력 부담을 균등하게 부과하기 위하여 원본 파일을 여러 노드에 분산 저장한다. 이렇게 파일을 노드들에 분산 저장하기 위해서는 효율적인 노드간 데이터 통신을 필요로 하며, 노드 내부에서도 클러스터 파일 시스템과 어플리케이션과의 효율적인 전용 데이터 교환 메커니즘을 지원해야 한다. 본 논문에서는 WAN(Wide Area Network)에 적합하도록 설계된 TCP를 이용한 기존의 교환 메커니즘인 통신모듈이 가지고 있는 문제점을 해결하기 위해 다양한 프로토콜과 하드웨어적인 접근을 통해 Myrinet이 초고속 통신모듈에 적합함을 보이고 GM API를 활용하여 기존의 소켓기반인 TCP/IP를 이용한 통신 모듈을 대처할 새로운 통신모듈의 모델을 제시한다.

  • PDF