• Title/Summary/Keyword: 공유디스크 파일시스템

Search Result 31, Processing Time 0.043 seconds

Fiber-channel-based Shared Disk Distributed File System (파이버채널(Fiber-channel)기반 공유디스크 분산 파일시스템)

  • 이영무;김경호;임상석;박규호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.786-788
    • /
    • 1999
  • 파이버채널은 고용량 디스크를 특성 호스트에 의존하지 않고 네트웍에 직접 연결할 수 있는 매우 빠른 입출력 시스템 인터페이스이다. 파이버채널의 등장에 따라 고용량 디스크 어레이를 공유하는 분산 파일시스템에 관한 관심이 늘고 있다. 본 논문에서는 파이버 채널의 장점을 이용하여 효율적인 공유디스크 분산 파일시스템의 설계 결과를 제시한다. 제시된 파일시스템은 시스템에 참여하는 모든 호스트들이 부하를 균등하게 나누어 부담하도록 설계되었으며 특히 호스트들이 파이버채널상에서 직접 통신을 통하여 공유디스크 데이터의 일관성을 유지할 수 있도록 하므로써 별도의 장치 없이 일반디스크를 사용할 수 있도록 하여 비용대 성능비가 우수한 시스템에 적합하도록 하였다.

  • PDF

Design and Implementation of a Metadata Structure for Large-Scale Shared-Disk File System (대용량 공유디스크 파일 시스템에 적합한 메타 데이타 구조의 설계 및 구현)

  • 이용주;김경배;신범주
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.30 no.1
    • /
    • pp.33-49
    • /
    • 2003
  • Recently, there have been large storage demands for manipulating multimedia data. To solve the tremendous storage demands, one of the major researches is the SAN(Storage Area Network) that provides the local file requests directly from shared-disk storage and also eliminates the server bottlenecks to performance and availability. SAN also improve the network latency and bandwidth through new channel interface like FC(Fibre Channel). But to manipulate the efficient storage network like SAN, traditional local file system and distributed file system are not adaptable and also are lack of researches in terms of a metadata structure for large-scale inode object such as file and directory. In this paper, we describe the architecture and design issues of our shared-disk file system and provide the efficient bitmap for providing the well-formed block allocation in each host, extent-based semi flat structure for storing large-scale file data, and two-phase directory structure of using Extendible Hashing. Also we describe a detailed algorithm for implementing the file system's device driver in Linux Kernel and compare our file system with the general file system like EXT2 and shard disk file system like GFS in terms of file creation, directory creation and I/O rate.

The Design and Implementation of the Distributed Shared Disk for Efficient Parallel I/O (효율적인 병렬 입출력을 지원하기 위한 분산공유디스트의 설계 및 구현)

  • 송창호;남영진;박찬익
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.718-720
    • /
    • 1998
  • 병렬파일시스템을 분산 환경에서 구현하고자 할 때 하부기능들을 관리 및 유지하기 위해서는 복잡한 내부 동작이 필요하다. 저 수준의 하드웨어 관리기능들을 고수준의 파일 서비스 기능들과 분리함으로써 병렬파일시스템 구현의 복잡도를 감소시킬수 있다. 이를 위해 본 논문에서는 분산환경상에서 물리적으로 분산되어 있는 디스크들을 하나의 거대한 논리적인 가상 디스크로 보여주는 분산공유디스크개념을 제안한다. 분산 공유디스크는 병렬 파일 시스템을 지원하기 위한 저수준의 인터페이스를 제공함으로써 병렬파일시스템에서 필용로 하는 하부기능들을 잠재적으로 제공할 수 있다. 또한 클러스터 기반 시스템에서 분산공유디스크의 프로토타입을 구현하여 그의 동작을 실험하였다.

  • PDF

Designing Metadata Journaling Structure for a Shared Disk File System (공유 디스크 파일 시스템을 위한 메타데이터 저널링 구조 설계)

  • 김신우;이용규;김경배;신범주
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2000.11a
    • /
    • pp.113-116
    • /
    • 2000
  • 파일 시스템에서 문제가 발생했을 때, 지속적인 서비스를 제공하기 위해서 보다 빠른 회복이 요구된다. 기존의 파일 시스템은 fsck를 이용하여 시스템을 회복하는데 많은 시간이 필요하고, 회복 중에 오프라인 상태를 요구하기 때문에 서비스가 중단되는 단점이 있다. 따라서, GFS와 같은 공유 디스크 파일 시스템에서는 저널링을 이용하여 온라인 상태에서의 회복을 가능하게 하고 회복 시간을 단축시키는 효과를 거두었다. 그러나, 한 클라이언트가 디스크의 메타데이터를 수정하는 중에 다른 클라이언트가 동일한 블록을 사용하고자 할 때, 앞의 클라이언트가 메타데이터를 디스크 저널에 기록한 후 다시 디스크에 기록하기까지 기다린 후에 디스크에 접근하여 사용할 수 있다. 이처럼 동일한 블록을 사용하더라도 불필요한 디스크 접근이 발생한다. 본 논문에서는 이러한 문제점을 해결하기 위해서 클라이언트에서 클라이언트로 메타데이터를 직접 넘겨줄 수 있도록 개선한다. 성능 분석 결과 이러한 개선 방안이 기존의 저널링보다 디스크 접근 횟수를 줄임으로써 트랜잭션 처리 시간을 줄이는 결과를 얻을 수 있다.

  • PDF

Metadata Structrues of Huge Shared Disk File System for Large Files in GIS (GIS에서 대용량 파일을 위한 대용량 공유 디스크 파일시스템의 메타데이터 구조)

  • 김경배;이용주;박춘서;신범주
    • Spatial Information Research
    • /
    • v.10 no.1
    • /
    • pp.93-106
    • /
    • 2002
  • The traditional file system are designed to store and manage fur small size files. So. we cannot process the huge files related with geographic information data using the traditional file system such as unix file system or linux file system. In this paper, we propose new metadata structures and management mechanisms for the large file system in geographic information system. The proposed mechanisms use dynamic multi-level mode for large files and dynamic bitmap for huge file system. We implement the proposed mechanisms in the metadata structures of SANtopia is shared disk huge file system for storage area networks(SAN).

  • PDF

Designing Directory Structure for a SAN-Based Shared File System (SAN 기반 공유 파일 시스템을 위한 디렉토리 구조 설계)

  • 김신우;이용규;김경배;신범주
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2001.11a
    • /
    • pp.503-507
    • /
    • 2001
  • 최근 개발되고 있는 SAN 기반 리눅스 클러스터 파일 시스템들은 중앙에 파일 서버 없이 디스크를 공유하는 클라이언트들이 화이버 채널을 통하여 마치 파일 서버처럼 디스크에 자유롭게 접근할 수 있으므로, 유용성, 부하의 균형, 확장성 등에서 장점을 가진다. 본 논문에서는 ETRI에서 개발중인 SAN 기반 리눅스 클러스터 파일 시스템인 SANtopia를 위해 설계된 새로운 mode의 구조와 이 inode의 구조를 기반으로 확장 해싱(Extendible Hashing)을 이용한 새로운 디렉토리 구조의 설계에 대하여 기술하고,성능 평가를 통하여 제안된 방법의 우수성을 보인다.

  • PDF

A Global Buffer Manager for a Shared Disk File System in SAN Clusters (SAN 환경에서 공유 디스크 파일 시스템을 위한 전역 버퍼 관리자)

  • 박선영;손덕주;신범주;김학영;김명준
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.10 no.2
    • /
    • pp.134-145
    • /
    • 2004
  • With rapid growth in the amount of data transferred on the Internet, traditional storage systems have reached the limits of their capacity and performance. SAN (Storage Area Network), which connects hosts to disk with the Fibre Channel switches, provides one of the powerful solutions to scale the data storage and servers. In this environment, the maintenance of data consistency among hosts is an important issue because multiple hosts share the files on disks attached to the SAN. To preserve data consistency, each host can execute the disk I/O whenever disk read and write operations are requested. However, frequent disk I/O requests cause the deterioration of the overall performance of a SAN cluster. In this paper, we introduce a SANtopia global buffer manager to improve the performance of a SAN cluster reducing the number of disk I/Os. We describe the design and algorithms of the SANtopia global buffer manager, which provides a buffer cache sharing mechanism among the hosts in the SAN cluster. Micro-benchmark results to measure the performance of block I/O operations show that the global buffer manager achieves speed-up by the factor of 1.8-12.8 compared with the existing method using disk I/O operations. Also, File system micro-benchmark results show that SANtopia file system with the global buffer manager improves performance by the factor of 1.06 in case of directories and 1.14 in case of files compared with the file system without a global buffer manager.

A Fast Editing/Writing Technique for Large-scale Multimedia Files with Data Block Sharing (데이터 블록 공유를 통한 대용량 멀티미디어 파일 고속 편집 저장 기법)

  • Jung, Seung-Wan;Nam, Young-Jin;Seo, Dae-Wha
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.05a
    • /
    • pp.694-697
    • /
    • 2008
  • 디지털 기술의 발전과 디지털 캠코더와 같은 장비의 대중화로 인하여, 오늘날 누구나 쉽게 영상물을 촬영하고 디지털화 하여 저장할 수 있다. 특히 이런 장비들이 제공하는 고화질의 미디어 컨텐츠는 대용량 파일의 형태로 저장된다. 대용량 파일의 필요한 부분만을 편집하여 재 저장하기 위해서는 새로운 기법이 요구된다. 현재의 리눅스 시스템에서는 편집된 파일의 내용을 새롭게 저장하는 방법을 사용하는데 미디어 컨텐츠와 같은 대용량 파일의 경우 많은 디스크 대역폭과 시간을 요구한다. 본 논문에서는 아이노드 블록 포인터 재설정 기법과 데이터 블록 공유 기법을 사용하여 대용량 파일에서 필요한 부분을 빠르고 효율적으로 편집하여 저장 및 복제할 수 있는 방법을 제시한다. 시뮬레이션을 통해 편집하여 저장할 시 리눅스 Ext3 파일 시스템에 비해 최대 16배 시간 단축을 확인하였다. 또한 편집한 내용을 새로운 파일로 저장할 경우 제안 기법은 공유 데이터 블록을 사용하므로 실제 사용하는 디스크 공간용량은 원본 동영상 파일의 크기만큼만 사용한다.

Implementation of a Block Link File System Supporting Fast Editing/Writing for Large-sized Multimedia Files (대용량 멀티미디어 파일 고속 편집저장을 지원하는 블록 링크 파일 시스템 설계 및 구현)

  • Jung, Seung-Wan;Ko, Seok-Young;Nam, Young-Jin;Seo, Dae-Wha
    • The KIPS Transactions:PartA
    • /
    • v.17A no.2
    • /
    • pp.63-72
    • /
    • 2010
  • Recently, the need for multimedia devices, such as digital TV, and camcorder has increased. These devices provide many services on multimedia files such as playing, recording, and editing. Throughout these services, in case of storing edited large-scaled multimedia files, existing file system have several capability problems that are taking too much time and requiring disk I/O. In this paper, we propose the use of Linux Ext2 file system based 'Block-Link file (BL-file) system' in order to solve these problems. For the BL-file system, when editing and storing large-scaled files, there is no data input or output but only modification of the metadata. Additionally, by sharing data blocks between multimedia files, we can save disk spaces. Moreover, because the managing of data block sharing information is more convenient than the existing FWAE technique, we can lessen system overhead. The BL-file system is based on Ext2 file system and implemented in a Linux environment, and the usefulness of the proposed technique is validated by applying the Linux multimedia file-editing tool 'Avidemux'.

A Study on the Implementation of a Highly-Available Internet Disk Service (고가용성 인터넷디스크 서비스 구현에 관한 연구)

  • Oh, Sang-Gyu;Han, Jae-Il
    • 한국IT서비스학회:학술대회논문집
    • /
    • 2003.11a
    • /
    • pp.284-289
    • /
    • 2003
  • 인터넷디스크 서비스는 인터넷에서 사용자가 웹브라우저를 통해 자신에게 할당된 범위 내에서 주어진 저장공간을 자신의 로컬 디스크처럼 사용할 수 있도록 하여주는 서비스이다. 인터넷디스크 서비스는 인터넷으로 연결이 가능한 경우 시간과 공간의 제약 없이 자료를 저장하거나 호출할 수 있으며 특정 그룹에 속한 사용자 사이에 저장공간의 공유를 가능하게 하는 등의 기능을 제공한다. 이러한 장점으로 인해 현재 다수의 상업용 포탈 업체에서 인터넷디스크 서비스가 제공되고 있으나, 현재의 인터넷디스크 서비스는 DAS 기반의 시스템으로써 여러 사용자 그룹 사이의 저장공간 공유와 고가용성 등을 지원하는데 문제점을 보이고 있다. 본 논문은 파일공유가 가능한 저장장치 네트워크(SAN)를 사용하여 이러한 문제를 해결할 수 있는 고가용성 인터넷디스크 서비스 시스템의 설계와 구현에 대하여 논한다.

  • PDF