• 제목/요약/키워드: Block Storage

검색결과 391건 처리시간 0.024초

A Rapid Locating Protocol of Corrupted Data for Cloud Data Storage

  • Xu, Guangwei;Yang, Yanbin;Yan, Cairong;Gan, Yanglan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권10호
    • /
    • pp.4703-4723
    • /
    • 2016
  • The verification of data integrity is an urgent topic in remote data storage environments with the wide deployment of cloud data storage services. Many traditional verification algorithms focus on the block-oriented verification to resolve the dispute of dynamic data integrity between the data owners and the storage service providers. However, these algorithms scarcely pay attention to the data verification charge and the users' verification experience. The users more concern about the availability of accessed files rather than data blocks. Moreover, the data verification charge limits the number of checked data in each verification. Therefore, we propose a mixed verification protocol to verify the data integrity, which rapidly locates the corrupted files by the file-oriented verification, and then identifies the corrupted blocks in these files by the block-oriented verification. Theoretical analysis and simulation results demonstrate that the protocol reduces the cost of the metadata computation and transmission relative to the traditional block-oriented verification at the expense of little cost of additional file-oriented metadata computation and storage at the data owner. Both the opportunity of data extracted and the scope of suspicious data are optimized to improve the verification efficiency under the same verification cost.

블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기 (Real time Storage Manager to store very large datausing block transaction)

  • 백성하;이동욱;어상훈;정원일;김경배;오영환;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권2호
    • /
    • pp.1-12
    • /
    • 2008
  • 초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은 대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다. 기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반 DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다. 본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기 위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은 개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수 있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은 데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기 위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본 제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저 장비용을 감소시킬 수 있다.

  • PDF

RDP: A storage-tier-aware Robust Data Placement strategy for Hadoop in a Cloud-based Heterogeneous Environment

  • Muhammad Faseeh Qureshi, Nawab;Shin, Dong Ryeol
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권9호
    • /
    • pp.4063-4086
    • /
    • 2016
  • Cloud computing is a robust technology, which facilitate to resolve many parallel distributed computing issues in the modern Big Data environment. Hadoop is an ecosystem, which process large data-sets in distributed computing environment. The HDFS is a filesystem of Hadoop, which process data blocks to the cluster nodes. The data block placement has become a bottleneck to overall performance in a Hadoop cluster. The current placement policy assumes that, all Datanodes have equal computing capacity to process data blocks. This computing capacity includes availability of same storage media and same processing performances of a node. As a result, Hadoop cluster performance gets effected with unbalanced workloads, inefficient storage-tier, network traffic congestion and HDFS integrity issues. This paper proposes a storage-tier-aware Robust Data Placement (RDP) scheme, which systematically resolves unbalanced workloads, reduces network congestion to an optimal state, utilizes storage-tier in a useful manner and minimizes the HDFS integrity issues. The experimental results show that the proposed approach reduced unbalanced workload issue to 72%. Moreover, the presented approach resolve storage-tier compatibility problem to 81% by predicting storage for block jobs and improved overall data block placement by 78% through pre-calculated computing capacity allocations and execution of map files over respective Namenode and Datanodes.

Scalable Blockchain Storage Model Based on DHT and IPFS

  • Chen, Lu;Zhang, Xin;Sun, Zhixin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권7호
    • /
    • pp.2286-2304
    • /
    • 2022
  • Blockchain is a distributed ledger that combines technologies such as cryptography, consensus mechanism, peer-to-peer transmission, and time stamping. The rapid development of blockchain has attracted attention from all walks of life, but storage scalability issues have hindered the application of blockchain. In this paper, a scalable blockchain storage model based on Distributed Hash Table (DHT) and the InterPlanetary File System (IPFS) was proposed. This paper introduces the current research status of the scalable blockchain storage model, as well as the basic principles of DHT and the InterPlanetary File System. The model construction and workflow are explained in detail. At the same time, the DHT network construction mechanism, block heat identification mechanism, new node initialization mechanism, and block data read and write mechanism in the model are described in detail. Experimental results show that this model can reduce the storage burden of nodes, and at the same time, the blockchain network can accommodate more local blocks under the same block height.

페로니켈슬래그를 혼입한 황토투수블럭 물성에 관한 연구 (A Study on the Properties of Hwangto Permeable Block Using Ferro Nickel Slag)

  • 김순호
    • 한국건축시공학회지
    • /
    • 제22권6호
    • /
    • pp.607-618
    • /
    • 2022
  • 본 연구는 황토와 무기질 결합재의 수화반응을 이용하여 빗물저류조용 황토투수블록을 개발한 연구로서 제조과정의 산업부산물인 고로슬래그 미분말과 페로니켈슬래그 순환자원을 골재로 활용하고 황토투수블럭을 제작하여 물성분석을 하였다. 도심지 내 투수성 포장을 확대하고 공극이 막혀 투수기능 상실을 방지하여 우수유출저감용 빗물관리시설에 사용하기 위한 것으로써 도시지역에서 열섬현상과 도심 집중강우에 따른 도로침수 포장체 파손 등이 대한 방안으로 활용이 가능하다.

Evaluation of soft iterative decoder with run length limited code in optical storage system

  • 김기현;한성휴;심재성;박현수;박인식
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 하계종합학술대회 논문집(5)
    • /
    • pp.99-102
    • /
    • 2002
  • In this work, we evaluated the performance of soft iterative decoder with soft block decoder in optical storage system. Because optical storage system requires run- length limited code in general, adaptation of the soft decoders such as turbo code or LDPC(low density parity check code) is difficult without soft block decoders. The performance of the overall optical detection system is evaluated and the simplified channel detection is also proposed.

  • PDF

모형실험을 통한 콘크리트 블록 및 시공이음부의 기밀성 측정 (Measurement of Air Tightness of Concrete Block and its Construction Joint from a Model Experiment)

  • 김형목;류동우;신중호;송원경
    • 터널과지하공간
    • /
    • 제20권6호
    • /
    • pp.434-445
    • /
    • 2010
  • 대용량 전력에너지저장시설로서의 복공식 압축공기 지하저장시설의 기밀시스템을 구성하는 콘크리트 라이닝 및 현장 타설 과정에서 발생하는 시공이음부의 투기특성을 파악하고자 콘크리트 블록시료를 이용한 모형실험을 수행하였다. 시공이음부의 투과계수는 콘크리트 블록보다 약 $10^1{\sim}10^4$ 배 정도의 투과성이 큰 것으로 파악되어, 현장 타설과정에서 시공이음부의 품질관리가 저장시설의 기밀성능 확보 관점에서 매우 중요함을 확인하였다. 또한, 접합면에 아크릴계 접착제를 타설함으로써 시공이음부의 투과계수를 콘크리트 블록 수준까지 감소시킬 수 있었으며 콘크리트 블록의 초기 수분함량이 높을수록 투과계수가 감소하여 기밀성능을 향상시킬 수 있음을 확인하였다.

Randomized Block Size (RBS) Model for Secure Data Storage in Distributed Server

  • Sinha, Keshav;Paul, Partha;Amritanjali, Amritanjali
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권12호
    • /
    • pp.4508-4530
    • /
    • 2021
  • Today distributed data storage service are being widely used. However lack of proper means of security makes the user data vulnerable. In this work, we propose a Randomized Block Size (RBS) model for secure data storage in distributed environments. The model work with multifold block sizes encrypted with the Chinese Remainder Theorem-based RSA (C-RSA) technique for end-to-end security of multimedia data. The proposed RBS model has a key generation phase (KGP) for constructing asymmetric keys, and a rand generation phase (RGP) for applying optimal asymmetric encryption padding (OAEP) to the original message. The experimental results obtained with text and image files show that the post encryption file size is not much affected, and data is efficiently encrypted while storing at the distributed storage server (DSS). The parameters such as ciphertext size, encryption time, and throughput have been considered for performance evaluation, whereas statistical analysis like similarity measurement, correlation coefficient, histogram, and entropy analysis uses to check image pixels deviation. The number of pixels change rate (NPCR) and unified averaged changed intensity (UACI) were used to check the strength of the proposed encryption technique. The proposed model is robust with high resilience against eavesdropping, insider attack, and chosen-plaintext attack.

NAND 플래시 메모리 저장 장치에서 블록 재활용 기법의 비용 기반 최적화 (Cost-based Optimization of Block Recycling Scheme in NAND Flash Memory Based Storage System)

  • 이종민;김성훈;안성준;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제13권7호
    • /
    • pp.508-519
    • /
    • 2007
  • 이동기기의 저장 장치로 사용되는 플래시 메모리는 이제 SSD(Solid State Disk) 형태로 노트북 컴퓨터까지 그 적용 범위가 확대되고 있다. 이러한 플래시 메모리는 무게, 내충격성, 전력 소비량 면에서 장점을 가지고 있지만, erase-before-write 속성과 같은 단점도 가진다. 이러한 단점을 극복하기 위하여 플래시 메모리 기반 저장 장치는 FTL(Flash-memory Translation Layer)이라는 특별한 주소 사상 소프트웨어를 필요로 하며, FTL은 종종 블록을 재활용하기 위하여 병합 연산을 수행해야 한다. NAND 플래시 메모리 기반 저장 장치에서 블록 재활용 비용을 줄이기 위해 본 논문에서는 이주 연산이라는 또 다른 블록 재활용 기법을 도입하였으며, FTL은 블록 재활용시 이주와 병합 연산 중에서 비용이 적게 드는 연산을 선택하도록 하였다. Postmark 벤치마크와 임베디드 시스템 워크로드를 사용한 실험 결과는 이러한 비용 기반 선택이 플래시 메모리 기반 저장 장치의 성능을 향상시킬 수 있음을 보여준다. 아울러 이주/병합 연산이 조합된 각 주기마다 블록 재활용 비용을 최소화하는 이주/병합 순서의 거시적 최적화의 해를 발견하였으며, 실험 결과는 거시적 최적화가 단순 비용 기반 선택보다 플래시 메모리 기반 저장 장치의 성능을 더욱 향상시킬 수 있음을 보여준다.

평면적 저장 위치 할당 문제에 대한 유전자 알고리즘 (Genetic Algorithm of the Planar Storage Location Assignment Problem)

  • 박창규;서준용
    • 대한산업공학회지
    • /
    • 제35권2호
    • /
    • pp.129-140
    • /
    • 2009
  • This paper introduces the planar storage location assignment problem (PSLAP) that no research has attempted to mathematically solve. The PSLAP can be defined as the assignment of the inbound and outbound objects to the storage yard with aim of minimizing the number of obstructive object moves. The storage yard allows only planar moves of objects. The PSLAP usually occurs in the assembly block stockyard operations at a shipyard. This paper formulates the PSLAP using a mathematical programming model, but which belongs to the NP-hard problems category. Thus this paper utilizes an efficient genetic algorithm (GA) to solve the PSLAP for real-sized instances. The performance of the proposed mathematical programming model and developed GA is verified by a number of numerical experiments.