• 제목/요약/키워드: deduplication

검색결과 73건 처리시간 0.03초

File Modification Pattern Detection Mechanism Using File Similarity Information

  • Jung, Ho-Min;Ko, Yong-Woong
    • International journal of advanced smart convergence
    • /
    • 제1권1호
    • /
    • pp.34-37
    • /
    • 2012
  • In a storage system, the performance of data deduplication can be increased if we consider the file modification pattern. For example, if a file is modified at the end of file region then fixed-length chunking algorithm superior to variable-length chunking. Therefore, it is important to predict in which location of a file is modified between files. In this paper, the essential idea is to exploit an efficient file pattern checking scheme that can be used for data deduplication system. The file modification pattern can be used for elaborating data deduplication system for selecting deduplication algorithm. Experiment result shows that the proposed system can predict file modification region with high probability.

키 발급 서버를 이용한 암호데이터 중복제거 기술 (Encrypted Data Deduplication Using Key Issuing Server)

  • 김현일;박철희;홍도원;서창호
    • 정보과학회 논문지
    • /
    • 제43권2호
    • /
    • pp.143-151
    • /
    • 2016
  • 데이터 중복제거 기술은 클라우드 스토리지를 절약하기 위해 반드시 필요한 기술이다. 평문데이터 중복제거 기술은 기본적으로 데이터의 기밀성을 유지하지 못하므로 암호데이터 중복제거 기술이 필요함은 당연하다. 본 논문은 키 발급 서버의 도움을 받는 암호데이터 중복제거 기술에 대해 연구하며 그 중 Bellare 등이 제안한 기법에 대한 분석 및 구현을 수행하였으며 키 발급 서버를 이용한 기술에 대한 효율성 측정을 위해 상용 클라우드 서비스 상에 Bellare 등이 제안한 기법과 평문 및 ConvergentEncryption에 대한 성능 측정을 수행하였다. 또한 상용 클라우드 서비스인 Dropbox 및 공개 클라우드 서비스 중 하나인 Openstack의 Swift상에 구현 및 효율성 측정을 수행함으로써 키 발급 서버를 이용한 암호데이터 중복제거 기술에 대한 범용성을 검증하였다.

안전하고 효율적인 클라이언트 사이드 중복 제거 기술 (Secure and Efficient Client-side Deduplication for Cloud Storage)

  • 박경수;엄지은;박정수;이동훈
    • 정보보호학회논문지
    • /
    • 제25권1호
    • /
    • pp.83-94
    • /
    • 2015
  • 중복 제거 기술(Deduplication)은 동일한 데이터에 대하여 중복 저장을 방지하는 기법으로 클라이언트(Client)와 클라우드 서버(Cloud Server) 간에 데이터를 저장하고 관리하는데 있어 효율성을 제공한다. 하지만 공개된 환경의 클라우드 서버에 데이터를 저장하고 관리하기 때문에, 클라이언트가 저장한 데이터에 대한 프라이버시 문제가 발생할 뿐만 아니라 데이터의 손실이 발생할 수도 있다. 최근 이러한 문제점들을 해결하기 위해 안전한 중복 제거 기술이 제안되었지만, 여전히 각각의 공격의 안전성에 대한 문제가 발생할 뿐만 아니라 비효율적이다. 본 논문에서는 2013년 Bellare 등이 제안한 기법의 키 서버(Key Server)와 질의-응답 메커니즘(Challenge-Response)을 이용하여 안전하고 효율적인 클라이언트 사이드 중복 제거 기술을 제안한다. 제안 기법은 클라이언트 사이드 중복 제거 기술에서 발생하는 다양한 공격에 대해 안전성을 제공하며, 크기가 큰 데이터를 업로드 하는 환경에서 높은 효율성을 제공한다.

분산 스토리지 시스템에서 데이터 중복제거를 위한 정보분산 알고리즘 및 소유권 증명 기법 (Information Dispersal Algorithm and Proof of Ownership for Data Deduplication in Dispersed Storage Systems)

  • 신영주
    • 정보보호학회논문지
    • /
    • 제25권1호
    • /
    • pp.155-164
    • /
    • 2015
  • 저장된 데이터에 대한 높은 가용성과 기밀성을 보장하는 정보분산 알고리즘은 클라우드 스토리지 등 장애 발생 비율이 높고 신뢰할 수 없는 분산 스토리지 시스템에서 유용한 방법이다. 스토리지에 저장되는 데이터의 양이 증가하면서 IT 자원을 효율적으로 활용하기 위한 데이터 중복제거기법이 많은 주목을 받고 있으며 이에 따라 데이터 중복제거가 가능한 정보분산기법에 대한 연구도 필요한 시점이다. 본 논문은 분산 스토리지 시스템에서 클라이언트 기반 중복 제거를 위한 정보분산 알고리즘과 소유권 증명 기법을 제안한다. 제안하는 방법은 저장공간 뿐만 아니라 네트워크 대역 절감이 가능하여 높은 효율성을 얻을 수 있으며 신뢰할 수 없는 스토리지 서버와 악의적인 클라이언트로부터 안전성을 보장할 수 있다.

Client-Side Deduplication to Enhance Security and Reduce Communication Costs

  • Kim, Keonwoo;Youn, Taek-Young;Jho, Nam-Su;Chang, Ku-Young
    • ETRI Journal
    • /
    • 제39권1호
    • /
    • pp.116-123
    • /
    • 2017
  • Message-locked encryption (MLE) is a widespread cryptographic primitive that enables the deduplication of encrypted data stored within the cloud. Practical client-side contributions of MLE, however, are vulnerable to a poison attack, and server-side MLE schemes require large bandwidth consumption. In this paper, we propose a new client-side secure deduplication method that prevents a poison attack, reduces the amount of traffic to be transmitted over a network, and requires fewer cryptographic operations to execute the protocol. The proposed primitive was analyzed in terms of security, communication costs, and computational requirements. We also compared our proposal with existing MLE schemes.

Cloud Storage Security Deduplication Scheme Based on Dynamic Bloom Filter

  • Yan, Xi-ai;Shi, Wei-qi;Tian, Hua
    • Journal of Information Processing Systems
    • /
    • 제15권6호
    • /
    • pp.1265-1276
    • /
    • 2019
  • Data deduplication is a common method to improve cloud storage efficiency and save network communication bandwidth, but it also brings a series of problems such as privacy disclosure and dictionary attacks. This paper proposes a secure deduplication scheme for cloud storage based on Bloom filter, and dynamically extends the standard Bloom filter. A public dynamic Bloom filter array (PDBFA) is constructed, which improves the efficiency of ownership proof, realizes the fast detection of duplicate data blocks and reduces the false positive rate of the system. In addition, in the process of file encryption and upload, the convergent key is encrypted twice, which can effectively prevent violent dictionary attacks. The experimental results show that the PDBFA scheme has the characteristics of low computational overhead and low false positive rate.

클라우드 스토리지 상에서의 프라이버시 보존형 소스기반 중복데이터 제거기술 (Privacy Preserving Source Based Deduplication In Cloud Storage)

  • 박철희;홍도원;서창호;장구영
    • 정보보호학회논문지
    • /
    • 제25권1호
    • /
    • pp.123-132
    • /
    • 2015
  • 최근 클라우드 스토리지 사용이 급증함에 따라 스토리지의 효율적인 사용을 위한 데이터 중복제거 기술이 활용되고 있다. 그러나 외부 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근, 스토리지의 절약뿐만 아니라 네트워크 대역폭의 효율적인 사용을 위해 클라이언트측 중복제거 기술이 주목을 받으면서 다양한 클라이언트측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트측 소스기반 중복제거 기술을 제안한다.

Deduplication and Exploitability Determination of UAF Vulnerability Samples by Fast Clustering

  • Peng, Jianshan;Zhang, Mi;Wang, Qingxian
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권10호
    • /
    • pp.4933-4956
    • /
    • 2016
  • Use-After-Free (UAF) is a common lethal form of software vulnerability. By using tools such as Web Browser Fuzzing, a large amount of samples containing UAF vulnerabilities can be generated. To evaluate the threat level of vulnerability or to patch the vulnerabilities, automatic deduplication and exploitability determination should be carried out for these samples. There are some problems existing in current methods, including inadequate pertinence, lack of depth and precision of analysis, high time cost, and low accuracy. In this paper, in terms of key dangling pointer and crash context, we analyze four properties of similar samples of UAF vulnerability, explore the method of extracting and calculate clustering eigenvalues from these samples, perform clustering by fast search and find of density peaks on a large number of vulnerability samples. Samples were divided into different UAF vulnerability categories according to the clustering results, and the exploitability of these UAF vulnerabilities was determined by observing the shape of class cluster. Experimental results showed that the approach was applicable to the deduplication and exploitability determination of a large amount of UAF vulnerability samples, with high accuracy and low performance cost.

효율적인 데이터 중복제거를 위한 GPGPU 병렬 라빈 핑거프린팅 (Parallel Rabin Fingerprinting on GPGPU for Efficient Data Deduplication)

  • 마정현;박세진;박찬익
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.611-616
    • /
    • 2014
  • 데이터 중복 제거를 수행하기 위한 여러 단계 중 청킹에 사용되는 라빈 핑거프린트 값을 구하는 단계가 가장 큰 오버헤드를 차지한다. 따라서, 본 논문에서는 효율적인 데이터 중복 제거를 위한 병렬라빈 핑거프린트 방법을 제안한다. 또한 효율적인 라빈 핑거프린팅의 병렬화를 위해 네 가지 이슈를 고려한다. 첫 번째로 병렬처리를 위해 입력 데이터 스트림을 일정한 크기의 데이터 섹션으로 분할할 때, 데이터 섹션의 경계선에 있는 데이터들에 대해서도 라빈 핑거프린팅을 수행하기 위한 고려, 두 번째로 라빈 핑거프린팅 연산 특징을 효율적으로 이용하기 위한 고려, 세 번째로 순차 방식으로 청크 경계선을 구했을 때와 비교하여 병렬 방식으로 청크 경계선을 구했을 때, 변경 될 수 있는 청크 경계선에 대한 고려를 한다. 마지막으로 최적의 GPGPU 메모리 접근을 위한 고려를 한다. GPGPU를 이용한 병렬 라빈 핑거프린트 방식은 CPU를 이용한 순차 라빈 핑거프린트 방식에 비해 약 16배 성능향상을 보였고, CPU를 이용한 병렬 라빈 핑거프린트 방식에 비해서도 약 5.3배 성능향상을 보였다. 이러한 라빈 핑거프린팅 연산 처리량의 증가는 데이터 중복 제거 기법의 전체적인 성능향상을 가져올 수 있다.

복잡한 구조의 데이터 중복제거를 위한 효율적인 알고리즘 연구 (Study of Efficient Algorithm for Deduplication of Complex Structure)

  • 이협건;김영운;김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권1호
    • /
    • pp.29-36
    • /
    • 2021
  • IT기술의 발달로 인해 발생되는 데이터양은 기하급수적으로 급격하게 증가하고 있으며, 데이터 구조의 복잡성은 높아지고 있다. 빅데이터 분석가와 빅데이터 엔지니어들은 이러한 빅데이터들을 보다 빠르게 데이터 처리 및 데이터 분석을 수행을 목표로 분석 대상의 데이터양을 최소화하기 위한 연구가 기업 및 가관 등 활발하게 이뤄지고 있다. 빅데이터 플랫폼으로 많이 활용되는 하둡은 서브프로젝트인 Hive를 통해 분석 대상의 데이터 최소화 등 다양한 데이터 처리 및 데이터 분석 기능을 제공하고 있다. 그러나 Hive는 데이터의 복잡성을 고려하지 않고 구현되어 중복 제거에 방대한 양의 메모리를 사용한다. 이에 복잡한 구조의 데이터 중복제거를 위한 효율적인 알고리즘을 제안한다. 성능평가 결과, 제안하는 알고리즘은 Hive에 비해 메모리 사용량은 최대 79%, 데이터 중복제거 시간은 0.677% 감소한다. 향후, 제안하는 알고리즘의 현실적인 검증을 위해 다수의 데이터 노드 기반 성능 평가가 필요하다.