• 제목/요약/키워드: Heterogeneous storage

검색결과 102건 처리시간 0.032초

Optimal Heterogeneous Distributed Storage Regenerating Code at Minimum Remote-Repair Bandwidth Regenerating Point

  • Xu, Jian;Cao, Yewen;Wang, Deqiang;Wu, Changlei;Yang, Guang
    • ETRI Journal
    • /
    • 제38권3호
    • /
    • pp.529-539
    • /
    • 2016
  • Recently, a product-matrix (PM) framework was proposed to construct optimal regenerating codes for homogeneous distributed storage systems (DSSs). In this paper, we propose an extended PM (EPM) framework for coding of heterogeneous DSSs having different repair bandwidths but identical storage capacities. Based on the EPM framework, an explicit construction of minimum remote-repair bandwidth regenerating (MRBR) codes is presented for a specific heterogeneous DSS, where two geographically different datacenters with associated storage nodes are deployed. The data reconstruction and regeneration properties of the MRBR code are proved strictly. For the purpose of demonstration, an example implementation of MRBR code is provided. The presented MRBR code is the first optimal strict-regenerating code for heterogeneous DSSs. In addition, our proposed EPM framework can be applied to homogeneous systems also.

에너지 및 성능 효율적인 이종 모바일 저장 장치용 동적 부하 분산 (Energy and Performance-Efficient Dynamic Load Distribution for Mobile Heterogeneous Storage Devices)

  • 김영진;김지홍
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권4호
    • /
    • pp.9-17
    • /
    • 2009
  • 본 논문에서는 운영체제 수준에서 에너지 절감과 함께 I/O 성능 개선을 목적으로 하여 소형 하드 디스크와 플래시 메모리를 이종의 저장 장치로 가지는 모바일 시스템에 대해 동적 부하 분산 기법을 제안한다. 제안 기법은 부하가 에너지 및 성능 효율적인 방법으로 하드디스크와 플래시 메모리의 이종성의 저장 장치 구성에 대해서 어떻게 효율적으로 분산될 수 있을 것인지를 발견하기 위하여 파일 배치 기법과 버퍼 캐시 관리 기법을 결합하는 접근법을 취한다. 제안한 기법은 폭넓은 시뮬레이션을 통해서 기존의 기법들과 비교하여 이종의 모바일 저장장치들에 대해서 더 개선된 실험 결과를 보이는 것으로 나타났다.

대용량 콘텐츠의 저장관리시스템에 관한 연구 (A Study on storage management system for the contents of great quantity)

  • 조윤희
    • 경영과정보연구
    • /
    • 제11권
    • /
    • pp.45-69
    • /
    • 2002
  • One of important technology that must improve compulsorily on information-oriented society stores, search and transmit cultural contents data of great quantity in heterogeneous environment. SAN appeared by solution to resolve the problem such as integration management of heterogeneous system data, effective practical use of storage, data transmission limit is happened from here. SAN is system that manage and shares data of large quantity efficiently attaching directly to high speed network such as Fiber Channel that storage system has been attached to server individually SAN became more complicated than existent storage environment although offer much advantage such as decrease of storage expense and flexibility of system configuration. This study argues management way could consider in such environment that understand complexity and component of networked storage system.

  • PDF

BoxBroker: A Policy-Driven Framework for Optimizing Storage Service Federation

  • Heinsen, Rene;Lopez, Cindy;Huh, Eui-Nam
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권1호
    • /
    • pp.340-367
    • /
    • 2018
  • Storage services integration can be done for achieving high availability, improving data access performance and scalability while preventing vendor lock-in. However, multiple services environment management and interoperability have become a critical issue as a result of service architectures and communication interfaces heterogeneity. Storage federation model provides the integration of multiple heterogeneous and self-sufficient storage systems with a single control point and automated decision making about data distribution. In order to integrate diverse heterogeneous storage services into a single storage pool, we are proposing a storage service federation framework named BoxBroker. Moreover, an automated decision model based on a policy-driven data distribution algorithm and a service evaluation method is proposed enabling BoxBroker to make optimal decisions. Finally, a demonstration of our proposal capabilities is presented and discussed.

이기종 저장장치를 위한 제거 비용 평가 기반 캐시 관리 기법 (A Cache Management Technique Based on Eviction Cost Estimation for Heterogeneous Storage Devices)

  • 박세진;박찬익
    • 대한임베디드공학회논문지
    • /
    • 제7권3호
    • /
    • pp.129-134
    • /
    • 2012
  • The objective of cache is to reduce I/O access of physical storage device so that user accesses their data faster. Traditionally, the most important metric to measure the performance of cache is hitratio. Thus, when the cache maintains hitratio high, it is regarded as a good cache replacement policy. However, the cache miss latency is different when the storages are heterogeneous. Though the cache hitratio is high, if the cache often misses with low performance disk, then the user experiences low performance. To address this problem we proposed eviction cost estimation based cache management. In our result, the eviction cost estimation based cache management has 10~30% throughput improvement compared with LRU cache management.

논리 블록의 접근경향을 활용한 이종 낸드 플래시 기반 저장장치를 위한 Flash Translation Layer (Flash Translation Layer for Heterogeneous NAND Flash-based Storage Devices Based on Access Patterns of Logical Blocks)

  • 방관후;박상훈;이혁준;정의영
    • 전자공학회논문지
    • /
    • 제50권5호
    • /
    • pp.94-101
    • /
    • 2013
  • 낸드 플래시 메모리에 기반 한 저장장치는 이미 여러 분야에서 기존 디스크 기반 저장장치를 대체하며 거대한 규모의 시장을 확보하고 있다. 이 중 집적도는 높지만 성능과 신뢰성이 상대적으로 낮은 multi-level cell (MLC) 낸드 플래시 메모리와 반대의 특성을 지니는 single-level cell (SLC) 낸드 플래시 메모리를 혼용하여 서로의 장점만을 얻고자 하는 이종 낸드 플래시 기반 저장장치에 관한 연구 또한 활발하게 이루어지고 있다. 이종 낸드 플래시 기반 저장장치에서는 SLC에 기록된 데이터가 MLC로 옮겨질 경우에 발생하는 마이그레이션 오버헤드와, 상대적으로 적은 용량의 SLC 내부에서 발생하는 가비지 컬렉션 오버헤드가 전체 저장장치의 성능을 악화시키는 문제가 있는데, 본 논문에서는 이를 완화하고자 논리 블록의 접근경향을 활용하여 SLC를 효율적으로 활용하는 이종 낸드 플래시 기반 저장장치용 flash translation layer (FTL)을 제안하고자 한다. 제안하는 FTL 은 논리 블록들의 접근 경향을 파악하여 SLC에 기록되었을 시 성능 향상을 가져올 것이라고 기대되는 논리 블록들만을 선별하여 SLC에 기록하게 된다. 실험 결과 본 논문에서 제안하는 FTL을 사용한 이종 낸드 플래시 기반 저장장치는 기존 FTL 대비 전체 실행 시간에서 35% 향상된 성능을 보여주었다.

Adaptive-and-Resolvable Fractional Repetition Codes Based on Hypergraph

  • Tiantian Wang;Jing Wang;Haipeng Wang;Jie Meng;Chunlei Yu;Shuxia Wang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권4호
    • /
    • pp.1182-1199
    • /
    • 2023
  • Fractional repetition (FR) codes can achieve exact uncoded repair for multiple failed nodes, with lower computational complexity and bandwidth overhead, and effectively improve repair performance in distributed storage systems (DSS). The actual distributed storage system is dynamic, that is, the parameters such as node storage overhead and number of storage nodes will change randomly and dynamically. Considering that traditional FR codes cannot be flexibly applied to dynamic distributed storage systems, a new construction scheme of adaptive-and-resolvable FR codes based on hypergraph coloring is proposed in this paper. Specifically, the linear uniform regular hypergraph can be constructed based on the heuristic algorithm of hypergraph coloring proposed in this paper. Then edges and vertices in hypergraph correspond to nodes and coded packets of FR codes respectively, further, FR codes is constructed. According to hypergraph coloring, the FR codes can achieve rapid repair for multiple failed nodes. Further, FR codes based on hypergraph coloring can be generalized to heterogeneous distributed storage systems. Compared with Reed-Solomon (RS) codes, simple regenerating codes (SRC) and locally repairable codes (LRC), adaptive-and-resolvable FR codes have significant advantages over repair locality, repair bandwidth overhead, computational complexity and time overhead during repairing failed nodes.

Issues in Next Generation Streaming Server Design

  • Won, Youjip
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2001년도 디지털 방송기술 워크샵
    • /
    • pp.335-354
    • /
    • 2001
  • .Next Generation Multimedia Streaming Technology Massive Scale Support $\rightarrow$ Clustered Solution Adaptive to Heterogeneous Network daptive to Heterogeneous Terminal Capability Presentation Technique .SMART Server Architecture .HERMES File System .Clustered Solution . High Speed Storage Interconnect .' Content Partitioning . Load Management . Support for Heterogeniety . Adaptive End to End Streaming Transport: Unicast vs. Multicast '. Scalable Encoding

  • PDF

자동창고 Effectiveness 시스템에서 크기가 다른 저장단위를 고려한 모듈화 셀을 갖는 랙의 효과 (The of Rack with Modularized Cell considering Heterogeneous Unit Load Size in AS/RS)

  • 이문환;이영해
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2000년도 춘계공동학술대회 논문집
    • /
    • pp.1-4
    • /
    • 2000
  • In general, under the concept of unit load, Automated Storage/Retrieval Systems (AS/RS) have the rack of equal sized cells. However, they are inadequate and inefficient meeting the various sizes of customers' demands in today's business environment. Higher utilization and flexibility of warehouse storage can be achieved by using AS/RS with tile rack of modularized cell. In this paper, the model of AS/RS with the rack of modularized cell is proposed, and the effectiveness of proposed model is presented by way of numerical examples. The model developed in this research, as one type of AS/RS that is more flexible to the size and has higher space utilization than those of existing rack structure, could every useful for the storage of heterogeneous unit load sizes.

  • PDF

NoD서비스용 멀티미디어 데이터의 효율적인 저장 및 검색을 위한 하부저장 관리자의 설계 및 구현 (Design and Implementation of a Low-level Storage Manager for Efficient Storage and Retrieval of Multimedia Data in NOD Services)

  • 진기성;정재욱;장재우
    • 한국정보처리학회논문지
    • /
    • 제7권4호
    • /
    • pp.1033-1043
    • /
    • 2000
  • 최근 NoD(News-on-Demand)에 대한 사용자의 요구가 증가함에 따라, 이러한 요구를 충족시키기 위한 많은 연구가 진행중에 있다. 그러니 뉴스 비디오 데디터는 짧은 생명주기, 앵커를 중시미으로 한 주기적 변화로인해 기존의 비디오 저장방식을 그대로 용하기가 어렵다. 이릉 위해, 본 논문에서는 NoD서비스용 멀티미디어 데이터의 효율적인 저장 및 검색을 위한 하부저장 관리자를 설계 및 구현하다. 하부 저장 관리자는 멀티미디어 객체 지체의 비디오 스트림 데이터와 색인 정보를 효율적으로 저장하고 관리하며, 텍스트 기반 검색을 위해 역화일 기법과 고차훤 특징 벡터의 색인을 위해 X-트리 구조를 제공한다. 아울러 하부 저장 관리자는 계층적인 뉴스 비디오 객체로부터 추출된 부가적인 정보들은 효율적으로 저장할 수 있는 저장 API(Application Program Interpace)와 커서를 통한 사용자의 편리한 검색을 지원하는 검색API를 제공한다. 마지막으로 하부 저장 관리자는 SHORE(Scalable Heterogeneous Object REpository) 저장 시스템을 이용하여 UNLX 운영체제 하엣 표준 C++언어를 사용하여 구현하였다. 구현하였다.

  • PDF