• 제목/요약/키워드: Erasure Codes

검색결과 30건 처리시간 0.029초

Enhanced Upper Bound for Erasure Recovery in SPC Product Codes

  • Muqaibel, Ali
    • ETRI Journal
    • /
    • 제31권5호
    • /
    • pp.518-524
    • /
    • 2009
  • Single parity check (SPC) product codes are simple yet powerful codes that are used to correct errors and/or recover erasures. The focus of this paper is to evaluate the performance of such codes under erasure scenarios and to develop a closed-form tight upper bound for the post-decoding erasure rate. Closed-form exact expressions are derived for up to seven erasures. Previously published closed-form bounds assumed that all unrecoverable patterns should contain four erasures in a square. Additional non-square patterns are accounted for in the proposed expressions. The derived expressions are verified using exhaustive search. Eight or more erasures are accounted for by using a bound. The developed expressions improve the evaluation of the recoverability of SPC product codes without the need for simulation or search algorithms, whether exhaustive or novel.

다양한 도움 노드의 수를 가지는 재생 부호의 설계 (The Design of Regenerating Codes with a Varying Number of Helper Nodes)

  • 이혁;이정우
    • 한국통신학회논문지
    • /
    • 제41권12호
    • /
    • pp.1684-1691
    • /
    • 2016
  • 최근 분산 저장 시스템에 erasure code를 활용하여 저장소 효율성을 높이려는 연구가 활발히 진행되고 있다. 재생 부호(regenerating codes)는 erasure code의 일종으로, 높은 저장소 효율성과 네트워크 효율성을 가지는 코드이다. (n,k,d)-재생 부호는 n개의 저장소 노드를 가지며, 손실된 노드가 발생하였을 때, 해당 노드는 d개의 살아남은 노드로부터 정보를 다운로드받아 복구될 수 있다. 하지만 일반적인 재생 부호는 노드 복구 시 정확히 d개의 도움 노드들을 사용해야 하며, 노드 손실이 빈번하거나, 노드 간 접속이 불안정한 환경에서, d개 이하의 노드들에만 접속 가능할 경우에 유연하게 대처할 수 없다. 본 논문에서는 약간의 복구 대역폭의 희생을 통하여, $$k{\leq_-}{\bar{d}}{\leq_-}d$$의 다양한 도움 노드의 수 ${\bar{d}}$개로 노드를 복구할 수 있는 유연한 코드 운용 방식을 제안하였다.

An adaptive fault tolerance strategy for cloud storage

  • Xiai, Yan;Dafang, Zhang;Jinmin, Yang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권11호
    • /
    • pp.5290-5304
    • /
    • 2016
  • With the growth of the massive amount of data, the failure probability of the cloud storage node is becoming more and more big. A single fault tolerance strategy, such as replication and erasure codes, has some unavoidable disadvantages, which can not meet the needs of the today's fault tolerance. Therefore, according to the file access frequency and size, an adaptive hybrid redundant fault tolerance strategy is proposed, which can dynamically change between the replication scheme and erasure codes scheme throughout the lifecycle. The experimental results show that the proposed scheme can not only save the storage space(reduced by 32% compared with replication), but also ensure the fast recovery of the node failures(increased by 42% compared with erasure codes).

클라우드 스토리지 시스템에서 데이터 접근빈도와 Erasure Codes를 이용한 데이터 복제 기법 (Data Access Frequency based Data Replication Method using Erasure Codes in Cloud Storage System)

  • 김주경;김덕환
    • 전자공학회논문지
    • /
    • 제51권2호
    • /
    • pp.85-91
    • /
    • 2014
  • 클라우드 스토리지 시스템은 데이터의 저장과 관리를 위해서 분산 파일시스템을 사용한다. 기존 분산 파일시스템은 데이터 디스크의 손실 발생시 이를 복구하기 위해서 3개의 복제본을 만든다. 그러나 데이터 복제 기법은 저장공간을 원본 파일의 복제 횟수만큼 필요로하고 복제과정에서 입출력 발생이 증가하는 문제가 있다. 본 논문에서는 SSD 기반 클라우드 스토리지 시스템에서 저장공간 효율성 향상과 입출력 성능 향상을 위하여 Erasure Codes를 이용한 데이터 복제 기법을 제안한다. 특히, 데이터 접근 빈도에 따라 복제 횟수를 줄이더라도 Erasure Codes를 사용하여 데이터 복구 성능을 동일하게 유지하였다. 실험 결과 제안한 기법이 HDFS 보다 저장공간 효율성은 최대 약40% 향상되었으며, 읽기성능은 약11%, 쓰기성능은 약10% 향상됨을 확인하였다.

A Family of Concatenated Network Codes for Improved Performance With Generations

  • Thibault, Jean-Pierre;Chan, Wai-Yip;Yousefi, Shahram
    • Journal of Communications and Networks
    • /
    • 제10권4호
    • /
    • pp.384-395
    • /
    • 2008
  • Random network coding can be viewed as a single block code applied to all source packets. To manage the concomitant high coding complexity, source packets can be partitioned into generations; block coding is then performed on each set. To reach a better performance-complexity tradeoff, we propose a novel concatenated network code which mixes generations while retaining the desirable properties of generation-based coding. Focusing on the code's erasure performance, we show that the probability of successfully decoding a generation on erasure channels can increase substantially for any erasure rate. Using both analysis (for small networks) and simulations (for larger networks), we show how the code's parameters can be tuned to extract best performance. As a result, the probability of failing to decode a generation is reduced by nearly one order of magnitude.

Decoding of LT-Like Codes in the Absence of Degree-One Code Symbols

  • Abdulkhaleq, Nadhir I.;Gazi, Orhan
    • ETRI Journal
    • /
    • 제38권5호
    • /
    • pp.896-902
    • /
    • 2016
  • Luby transform (LT) codes were the first practical rateless erasure codes proposed in the literature. The performances of these codes, which are iteratively decoded using belief propagation algorithms, depend on the degree distribution used to generate the coded symbols. The existence of degree-one coded symbols is essential for the starting and continuation of the decoding process. The absence of a degree-one coded symbol at any instant of an iterative decoding operation results in decoding failure. To alleviate this problem, we proposed a method used in the absence of a degree-one code symbol to overcome a stuck decoding operation and its continuation. The simulation results show that the proposed approach provides a better performance than a conventional LT code and memory-based robust soliton distributed LT code, as well as that of a Gaussian elimination assisted LT code, particularly for short data lengths.

연속 패킷 손실 환경에서 실시간 패킷 전송을 위한 systematic erasure code의 부가 전송량 추정 방법 (On Estimation of Redundancy Information Transmission based on Systematic Erasure code for Realtime Packet Transmission in Bursty Packet Loss Environments.)

  • 육성원;강민규;김두현;신병철;조동호
    • 한국통신학회논문지
    • /
    • 제24권10B호
    • /
    • pp.1824-1831
    • /
    • 1999
  • 본 논문에서는 연속 패킷 손실 환경에서 systematic erasure code를 적용하였을 경우의 손실 복구율에 관하여 분석하고 손실 특성에 따른 부가 전송량의 추정방법에 대하여 제시한다. 연속 패킷 손실환경은 Gilbert 모델로 설정하였고, 기존의 연속 손실 환경에서의 erasure code의 손실 복구율 분석방안을 이용하여 systematic erasure code를 사용하였을 경우의 성능을 분석하고, 평균 패킷 손실율, 손실의 평균 길이 등의 주어진 패킷 손실 특성으로부터 주어진 손실 특성을 만족시키는 부가 전송량의 추정 방법을 제시한다.

  • PDF

HTSC and FH HTSC: XOR-based Codes to Reduce Access Latency in Distributed Storage Systems

  • Shuai, Qiqi;Li, Victor O.K.
    • Journal of Communications and Networks
    • /
    • 제17권6호
    • /
    • pp.582-591
    • /
    • 2015
  • A massive distributed storage system is the foundation for big data operations. Access latency performance is a key metric in distributed storage systems since it greatly impacts user experience while existing codes mainly focus on improving performance such as storage overhead and repair cost. By generating parity nodes from parity nodes, in this paper we design new XOR-based erasure codes hierarchical tree structure code (HTSC) and high failure tolerant HTSC (FH HTSC) to reduce access latency in distributed storage systems. By comparing with other popular and representative codes, we show that, under the same repair cost, HTSC and FH HTSC codes can reduce access latency while maintaining favorable performance in other metrics. In particular, under the same repair cost, FH HTSC can achieve lower access latency, higher or equal failure tolerance and lower computation cost compared with the representative codes while enjoying similar storage overhead. Accordingly, FH HTSC is a superior choice for applications requiring low access latency and outstanding failure tolerance capability at the same time.

네트워크 상태와 데이타 중요도에 기반한 패킷 손실 제어 기법 (A Packet Loss Control Scheme based on Network Conditions and Data Priority)

  • Park, Tae-Uk;Chung, Ki-Dong
    • 한국정보과학회논문지:정보통신
    • /
    • 제31권1호
    • /
    • pp.1-10
    • /
    • 2004
  • 본 연구는 erasure 코드를 이용한 응용계층 FEC 기법에 대해 설명한다 Erasure 코드는 디코딩 알고리즘이 간단하여 응용수준에서 패킷 단위 에러 복구에 효율적이다. 그러나 많은 양의 패리티 패킷을 보내는 것은 에러 복구율을 높일 수 있지만 네트웍 혼잡 상황을 악화시킬 수 있다. 따라서 네트웍 상태에 적응적으로 패리티 패킷의 양을 조절할 수 있는 부가정보조절 기법이 필요하다. 또한, 비디오 데이타와 같이 우선순위가 있는 데이타의 경우 마땅히 높은 우선순위의 데이타가 더 많은 부가정보를 가져야 한다 본 연구는 네트웍 상태(손실 정보와 혼잡 정보)와 데이타 중요도에 기반 한 패킷 손실 제어 기법을 제안하고 단순링크와 혼잡링크에서 그 성능을 평가한다.

검출 불능 오류율을 향상기키는 Reed-Solomon 적부호의 이레이져 복호방법 (Erasure decoding strategies for RS product code reducing undetected error rate)

  • 김정헌;염창열;송홍엽;강구호;김순태;백세현
    • 한국통신학회논문지
    • /
    • 제26권4B호
    • /
    • pp.427-436
    • /
    • 2001
  • 일반적인 통신 시스템에서 시스템의 성능을 저하시키는 오류는 검출 불능 오류와 정정 불능 오류로 구성되는데 검출 불능 오류의 경우 오류에 대한 적절한 대응이 불가능하다는 측면에서 더욱 심각한 문제가 된다. 이러한 검출 불능 오류를 줄이기 위해 적부호 복호에는 다양한 방법이 생각되었지만 이러한 방법들의 대부분은 CD, 혹은 DAT등에 적용하기 위한 방법들로서 긴 길이의 RS 적부호에 적용하기 힘들다. 본 논문에서는 검출 불능 오류율을 줄일 수 있는 긴 길이의 RS 적부호 복호 방법을 제안하고 이들의 성능을 심볼 오류 확률을 계산함으로서 분석하여 기존의 방법과 비교한다. 여기서 제안된 방법들은 기존의 방법보다 검출 불능 확률을 크게 줄이는데 반하여 전체 오류 확률에서의 큰 열화는 일으키지 않는다.

  • PDF