• Title/Summary/Keyword: 파일 스토리지

Search Result 133, Processing Time 0.029 seconds

Chunk Placement Scheme on Distributed File System Using Deduplication File System (중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

Design and Implementation of Software-Defined Storage Autoconfiguration Module for Integrated Use of Cloud File/Block/Object Storage (클라우드 파일/블록/객체 스토리지의 통합사용을 위한 소프트웨어 정의 스토리지 자동 설정 모듈의 설계 및 구현)

  • Park, Sun;Cha, ByungRae;Kim, Jongwon
    • Smart Media Journal
    • /
    • v.7 no.4
    • /
    • pp.9-16
    • /
    • 2018
  • In order to improve the economics and flexibility of cloud computing, tendency to automate the operation and management of cloud resources has become complicated. However, while automation for cloud storage depends on the manufacturer's storage hardware, it cannot flexibly support the storage type in accordance with users' needs. In this paper, we propose an automatic configuration module that supports block/file/object storages suitable for user environment. In order to automatically install ceph, a cloud storage, we propose an automatic installation and configuration module based on the Chef configuration management tool. In addition to that, we also propose an automatic configuration module based on a shell programming in pursuit of enabling users to use ceph storage of block/file/object. The proposed method can automatically set up and manage shared file, block, and object storages in a virtual or physical user environment with no hardware dependencies.

Performance Analysis of Cloud-Backed File Systems with Various Object Sizes (클라우드 기반 파일 시스템의 오브젝트 크기별 성능 분석)

  • Kim, Jiwon;Lee, Kyungjun;Ryu, Sungtae;Han, wansoo
    • Journal of KIISE
    • /
    • v.43 no.7
    • /
    • pp.744-750
    • /
    • 2016
  • Recent cloud infrastructures provide competitive performances and operation costs for many internet services through pay-per-use model. Particularly, object storages are highlighted, as they have unlimited file holding capacity and allow users to access the stored files anytime and anywhere. Several lines of research are based on cloud-backed file systems, which support traditional POSIX interface rather than RESTful APIs via HTTP. However, these existing file systems handle all files with uniform size backing objects. Consequently, the accesses to cloud object storages are likely to be inefficient. In our research, files are profiled according to characteristics, and appropriate backing unit sizes are determined. We experimentally verify that different backing unit sizes for the object storage improve the performance of cloud-backed file systems. In our comparative experiments with S3QL, our prototype cloud-backed file system shows faster performance by 18.6% on average.

Design and Implementation of Storage-based Data Sharing System in the Separate Network Environment (망 분리 환경에서 스토리지 기반의 데이터 공유 시스템 설계 및 구현)

  • Joe, In-Whee;Lee, Suk-Soon
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.36 no.5B
    • /
    • pp.477-483
    • /
    • 2011
  • In this paper, we propose the design and implementation of the storage-based data sharing system in the separate network environment to improve efficiency of data transmission. The previous system generates files per received packet and transmit files to another network through storage. This system causes inefficiency by reading unnecessary blocks, when it transmits a number of files through storage. Our proposed system deals with this inefficiency by adopting concept of snapshot. Consequently, we create one file with snapshot so that the number of files can be reduced and the file size can be optimized according to the block size. The proposed system improves the response time significantly with the minimized reading of unnecessary blocks, compared to the previous system.

A Study on Data Security of Web Local Storage (웹 로컬스토리지 데이터 보안을 위한 연구)

  • Kim, Ji-soo;Moon, Jong-sub
    • Journal of Internet Computing and Services
    • /
    • v.17 no.3
    • /
    • pp.55-66
    • /
    • 2016
  • A local storage of HTML5 is a Web Storage, which is stored permanently on a local computer in the form of files. The contents of the storage can be easily accessed and modified because it is stored as plaintext. Moreover, because the internet browser classifies the local storages of each domain using file names, the malicious attacker can abuse victim's local storage files by changing file names. In the paper, we propose a scheme to maintain the integrity and the confidentiality of the local storage's source domain and source device. The key idea is that the client encrypts the data stored in the local storage with cipher key, which is managed by the web server. On the step of requesting the cipher key, the web server authenticates whether the client is legal source of local storage or not. Finally, we showed that our method can detect an abnormal access to the local storage through experiments according to the proposed method.

In-Memory File System Backed by Cloud Storage Services as Permanent Storages (클라우드 스토리지를 최종 저장 장치로 사용하는 인메모리 파일 시스템)

  • Lee, Kyungjun;Kim, Jiwon;Ryu, Sungtae;Han, Hwansoo
    • Journal of KIISE
    • /
    • v.43 no.8
    • /
    • pp.841-847
    • /
    • 2016
  • As network technology advances, a larger number of devices are connected through the Internet. Recently, cloud storage services are gaining popularity, as they are convenient to access anytime and anywhere. Among cloud storage services, object storage is the representative one due to their characteristics of low cost, high availability, and high durability. One limitation of object storage services is that they can access data on the cloud only through the HTTP-based RESTful APIs. In our work, we resolve this limitation with the in-memory file system which provides a POSIX interface to the file system users and communicates with cloud object storages with RESTful APIs. In particular, our flush mechanism is compatible with existing file systems, as it is based on the swap mechanism of the Linux kernel. Our in-memory file system backed by cloud storage reduces the performance overheads and shows a better performance than S3QL by 57% in write operations. It also shows a comparable performance to tmpfs in read operations.

Experimental Evaluation of pNFS Protocol for Mass Storage System (대용량 스토리지 시스템을 위한 pNFS 프로토콜의 성능 평가)

  • Kim, Tae-Jin;Kim, Han-Gyoo;Noh, Sam-H.
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.221-223
    • /
    • 2012
  • 많은 대학과 스토리지 업체에서 고성능 병렬 파일시스템 관련 연구를 활발히 진행하고 있다. 그러나 대학이나 업체에서 연구된 병렬 파일시스템 기술은 상호 호환성에 제약이 있다. 네트워크 파일시스템 관련해서 유일한 표준 기술인 NFS은 최근 pNFS 기능을 포함한 NFSv4.1로 확장되었다. pNFS은 NFS 서버를 거치지 않고 데이터를 병렬적으로 접근함으로써 고성능 입출력을 보장해 주고 있으며 기존 스토리지 기술과의 호환성을 제공하고 있다. 본 연구에서는 pNFS의 성능 평가를 위해서 pNFS을 사용하는 대용량 스토리지 시스템을 구현하고 NFSv4와 NFSv4.1간 성능을 비교한다. 성능 비교는 파일 사이즈와 동시 수행 프로세스 수 별로 수행되며 읽기 및 쓰기 연산에 대한 pNFS의 성능 향상을 확인한다.

Analysis and Comparison of Consistency Control Mechanism for Storage Class Memory based File System (스토리지 클래스 메모리 기반 파일시스템의 일관성 유지 기법 비교 및 분석)

  • Lee, HyunKu;Kim, Junghoon;Eom, YoungIk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.50-51
    • /
    • 2014
  • 최근 기존 스토리지의 물리적 한계를 극복하기 위해 차세대 스토리지로 불리는 스토리지 클래스 메모리(SCM)의 연구 및 개발이 활발히 진행되고 있다. 이러한 SCM의 장점을 활용하기 위한 SCM 전용파일 시스템 또한 많은 연구가 되고 있다. 하지만, 현재까지 연구되어온 SCM 전용 파일 시스템은 빠른 속도에만 중점을 두어 부분적인 일관성 지원 또는 특정한 환경에서의 시스템 성능 저하 등의 문제요인이 있다. 본 논문에서는 SCM과 SCM 전용 파일 시스템을 알아보고 일관성 유지 기법의 비교 및 분석을 통하여 현재까지 연구된 일관성 유지 기법의 문제점을 파악하고 SCM에 최적화된 새로운 일관성 유지 기법의 방향을 모색한다.

Online Snapshot Method based on Directory and File Change Tracking for Virtual File System (가상파일시스템에서 디렉토리 및 파일 변경 추적에 기반한 온라인 스냅샷 방법)

  • Kim, Jinsu;Song, Seokil;Shin, Jae Ryong
    • The Journal of the Korea Contents Association
    • /
    • v.19 no.5
    • /
    • pp.417-425
    • /
    • 2019
  • Storage snapshot technology allows to preserve data at a specific point in time, and recover and access data at a desired point in time. It is an essential technology for storage protection application. Existing snapshot methods have some problems in that they dependent on storage hardware vendor, file system or virtual block device. In this paper, we propose a new snapshot method for solving the problems and creating snapshots on-line. The proposed snapshot method uses a method of extracting the log records of update operations at the virtual file system layer to enable the snapshot method to operate independently on file systems, virtual block devices, and storage hardwares. In addition, the proposed snapshot mehod creates and manages snapshots for directories and files without interruption to the storage service. Finally, through experiments we measure the snapshot creation time and the performance degradation caused by the snapshot.

Energy-efficient File Distribution Policy (에너지 효율적인 파일 분산배치 정책)

  • Park, Chanyoung;Lee, Jaemyoun;Kang, Kyungtae
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2017.07a
    • /
    • pp.5-6
    • /
    • 2017
  • 본 논문은 데이터를 보다 적은 소비전력으로 보관하기 위한 에너지 효율적인 파일 분산배치 정책을 제안한다. 이 정책은 개별 하드디스크 용량을 빠르게 가득 채우도록 분산 스토리지의 쓰기 동작을 처리하고, 가득 찬 하드디스크의 모터를 정지시켜 에너지 효율을 향상시킨다. Ceph 분산 스토리지를 수정하여 제안하는 파일 분산배치 정책을 적용하였으며 시뮬레이션을 통하여 제안하는 파일 분산배치 정책이 에너지 효율적임을 확인하였다.

  • PDF