• 제목/요약/키워드: Distributed storage system

검색결과 366건 처리시간 0.024초

Prototype Design of Mass Distributed Storage System based on PC using Ceph for SMB

  • Cha, ByungRae;Kim, Yongil
    • 스마트미디어저널
    • /
    • 제4권3호
    • /
    • pp.62-67
    • /
    • 2015
  • The trend keywords in ICT sector will be Big Data, Internet of Things, and Cloud Computing. The rear end to support those techniques requires a large-capacity storage technology of low-cost. Therefore, we proposed the prototype of low-cost and mass distributed storage system based on PC using open-source Ceph FS for SMB.

Network Coding for Energy-Efficient Distributed Storage System in Wireless Sensor Networks

  • Wang, Lei;Yang, Yuwang;Zhao, Wei;Lu, Wei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제7권9호
    • /
    • pp.2134-2153
    • /
    • 2013
  • A network-coding-based scheme is proposed to improve the energy efficiency of distributed storage systems in WSNs (Wireless Sensor Networks). We mainly focus on two problems: firstly, consideration is given to effective distributed storage technology; secondly, we address how to effectively repair the data in failed storage nodes. For the first problem, we propose a method to obtain a sparse generator matrix to construct network codes, and this sparse generator matrix is proven to be the sparsest. Benefiting from this matrix, the energy consumption required to implement distributed storage is reduced. For the second problem, we designed a network-coding-based iterative repair method, which adequately utilizes the idea of re-encoding at intermediate nodes from network coding theory. Benefiting from the re-encoding, the energy consumption required by data repair is significantly reduced. Moreover, we provide an explicit lower bound of field size required by this scheme, which implies that it can work over a small field and the required computation overhead is very low. The simulation result verifies that the proposed scheme not only reduces the total energy consumption required to implement distributed storage system in WSNs, but also balances energy consumption of the networks.

분산형 저류시설의 실시간 네트워크 제어기술 적용시 고려 사항 (Methods for an application of real-time network control on distributed storage facilities)

  • 백현욱;류재나;오재일;김태형
    • 상하수도학회지
    • /
    • 제27권6호
    • /
    • pp.711-721
    • /
    • 2013
  • Optimal operation of a combined sewer network with distributed storage facilities aims to use the whole retention capacity of all reservoirs efficiently before overflows take place somewhere in the considered network system. An efficient real-time network control (RTNC) strategy has been emerging as an attractive approach for reducing substantially the overflows from a sewer network compared to the conventional fixed or manually adjusted gate setting method, but the related concrete framework for RTC development has not been throughly introduced so far. The main goal of this study is to give a detailed description of the RTNC systems via reviewing several guidelines published abroad, and finally to suggest methods for the proper application of RTNC on distributed storage facilities. Especially, this study is focused on emphasizing the importance of hierarchical structure of RTNC system that consists of three control layers (management, global control and local control). Further, with regard to the global control layer which is responsible for the central overall network control, the wide-ranging details of two components (adaption and optimization layers) are also presented. This study can provide the valuable basis for the RTNC implementation in the particular sewer network with distributed multiple storage facilities.

가상 데스크톱 환경에서의 클라이언트 SSD 캐시를 이용한 분산 파일시스템의 성능 향상 (Performance Enhancement of Distributed File System as Virtual Desktop Storage Using Client Side SSD Cache)

  • 김재열;김영철;김영창;이상민;김영균;서대화
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권12호
    • /
    • pp.433-442
    • /
    • 2014
  • 분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시 장치로 사용하여 분산 파일시스템의 읽기 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 이러한 성능 향상을 통하여 기존의 대용량 스토리지 지원만이 가능했던 분산 파일시스템의 적용 분야를 고성능이 필요한 분야로 확장할 수 있다. 본 논문은 국내에서 개발된 분산 파일시스템인 MAHA-FS에 클라이언트 측의 SSD 캐시를 적용하여 가상 데스트톱의 입출력 성능을 향상시킬 수 있음을 보여준다. 실험 결과 NFS에 비해 가상 머신 이미지 배포 시간은 2배 이상, 부팅 시간은 3배 이상 향상시킬 수 있음을 알 수 있다.

인터넷 기반의 그룹 오피스 시스템 구현 (Implementation of Group Office System Based on Internet)

  • 김경록;송석일;곽윤식
    • 한국정보통신학회논문지
    • /
    • 제9권3호
    • /
    • pp.540-546
    • /
    • 2005
  • 본 논문에서는 기존의 웹 하드디스크보다 쉽게 기능을 확장할 수 있고, 웹에서의 일반 어플리케이션을 보다 좀 더 간편하게 사용자의 요구에 맞도록 커스터마이징이 가능한 웹 스토리지 기반의 그룹오피스 시스템을 설계하고 구현하였다. 제안하는 웹스토리지는 다수의 스토리지 서버가 모여서 구성되는 분산 시스템이다 이 웹스토리지는 사용자의 위치에 따라 서비스해 주는 서버를 달리하는 방법을 제공하여 보다 빠른 스토리지 서비스가 가능하다.

토러스 연결망 기반의 대용량 멀티미디어용 분산 스토리지 시스템 (Torus Network Based Distributed Storage System for Massive Multimedia Contents)

  • 김재열;김동오;김홍연;김영균;서대화
    • 한국멀티미디어학회논문지
    • /
    • 제19권8호
    • /
    • pp.1487-1497
    • /
    • 2016
  • Explosively growing service of digital multimedia data increases the need for highly scalable low-cost storage. This paper proposes the new storage architecture based on torus network which does not need network switch and erasure coding for efficient storage usage for high scalability and efficient disk utilization. The proposed model has to compensate for the disadvantage of long network latency and network processing overhead of torus network. The proposed storage model was compared to two most popular distributed file system, GlusterFS and Ceph distributed file systems through a prototype implementation. The performance of prototype system shows outstanding results than erasure coding policy of two file systems and mostly even better results than replication policy of them.

파일 공유를 지원하는 분산 저장 시스템에서 실시간 비디오 재생 기법 (A Real-time Video Playback Scheme in a Distributed Storage System Supporting File Sharing)

  • 김은삼
    • 스마트미디어저널
    • /
    • 제12권11호
    • /
    • pp.145-153
    • /
    • 2023
  • 피어들의 접속과 이탈이 빈번한 P2P 기반의 분산 저장 시스템에서 실시간 제약 조건을 가지는 비디오 파일에 대해 데이터 가용성뿐만 아니라 재생 시 로컬 저장 장치에서 제공하는 수준의 품질을 보장하는 것이 필수적이다. 또한, 분산 저장 시스템 기반의 클라우드 저장 서비스에서는 각 사용자가 자신의 파일을 다른 사용자와 공유하는 기능을 제공하기 때문에 여러 사용자가 동일한 비디오 파일에 대해 동시에 재생을 요청하는 경우 모든 재생이 실시간으로 끊김 없이 지원되어야 한다. 따라서, 본 논문에서는 파일 공유를 지원하는 P2P 기반의 분산 저장 시스템에서 데이터 가용성뿐만 아니라 각 비디오 파일에 대해 동시에 요청되는 여러 재생들을 실시간 처리할 수 있는 기법을 제안한다. 이 기법은 각 비디오 파일에 대한 사용자의 재생 요청 수에 맞게 이레이져 코딩으로 인코딩된 중복 데이터의 양을 조절하여 실시간 동시 재생을 지원할 수 있으며 저장 공간을 효율적으로 사용할 수 있다.

Adaptive-and-Resolvable Fractional Repetition Codes Based on Hypergraph

  • Tiantian Wang;Jing Wang;Haipeng Wang;Jie Meng;Chunlei Yu;Shuxia Wang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권4호
    • /
    • pp.1182-1199
    • /
    • 2023
  • Fractional repetition (FR) codes can achieve exact uncoded repair for multiple failed nodes, with lower computational complexity and bandwidth overhead, and effectively improve repair performance in distributed storage systems (DSS). The actual distributed storage system is dynamic, that is, the parameters such as node storage overhead and number of storage nodes will change randomly and dynamically. Considering that traditional FR codes cannot be flexibly applied to dynamic distributed storage systems, a new construction scheme of adaptive-and-resolvable FR codes based on hypergraph coloring is proposed in this paper. Specifically, the linear uniform regular hypergraph can be constructed based on the heuristic algorithm of hypergraph coloring proposed in this paper. Then edges and vertices in hypergraph correspond to nodes and coded packets of FR codes respectively, further, FR codes is constructed. According to hypergraph coloring, the FR codes can achieve rapid repair for multiple failed nodes. Further, FR codes based on hypergraph coloring can be generalized to heterogeneous distributed storage systems. Compared with Reed-Solomon (RS) codes, simple regenerating codes (SRC) and locally repairable codes (LRC), adaptive-and-resolvable FR codes have significant advantages over repair locality, repair bandwidth overhead, computational complexity and time overhead during repairing failed nodes.

스마트 그리드를 위한 분산자원과 전력변환장치 기반 마이크로그리드 독립운전 (Microgrid Island Operation Based on Power Conditioning System with Distributed Energy Resources for Smart Grid)

  • 허세완;박완기;이일우
    • 한국통신학회논문지
    • /
    • 제42권5호
    • /
    • pp.1093-1101
    • /
    • 2017
  • 스마트 그리드를 구성하는 기본 단위 요소인 마이크로그리드(Microgrid)는 전력의 중앙 공급방식에서 벗어나 독립된 하나의 체계를 이룬다. 본 논문은 전력변환장치(Power Conditioning System)를 기반으로 마이크로그리드를 계통으로부터 전기적으로 독립시키고, 신재생 에너지원과 에너지 저장장치(Energy Storage System) 등의 분산자원(Distributed Energy Resource)을 활용하여 효과적으로 독립 상태를 유지하고 운영할 수 있는 방법을 제안한다. 계통의 위상검출과 동기화를 통해 계통에 연계하거나 독립 시에 부하에 미치는 영향을 최소화할 뿐만 아니라 계통의 정전 상황에서도 안정적으로 운영이 가능하다.

Making Utility-Integrated Energy Storage a Used, Useful and Universal Resource

  • Doosan GridTech
    • KEPCO Journal on Electric Power and Energy
    • /
    • 제4권1호
    • /
    • pp.1-7
    • /
    • 2018
  • Objective signs are everywhere that the stationary energy storage market is growing up quickly. The use of distributed resources such as solar photovoltaics and electric vehicles are expanding at a rapid pace, creating technical challenges for the distribution system that will require energy storage and a new generation of software to address. This paper is intended for distribution utility managers and executives and makes the following points: ${\bullet}$ Utility-integrated (as opposed to merely grid-connected) energy storage projects represent a distinct, new wave of industry growth that is just getting underway and is required to manage distributed energy resources moving forward. ${\bullet}$ Utilities and the energy storage industry have important roles to lower risk in adopting this technology - thereby enabling this wave of growth. ${\circ}$ The industry must focus on engineering energy storage for adoption at scale - including the creation and support of software open standards -both to drive down costs and to limit technology and supplier risk for utilities. ${\circ}$ Utilities need to take a program-based, rather than a project- based, approach to this resource to best balance cost and risk as they procure and implement energy storage. By working together to drive down costs and manage risk, utilities and their suppliers can lay the energy storage foundation for a new, more digital distributed electricity system.