• 제목/요약/키워드: Data deduplication

검색결과 47건 처리시간 0.029초

Client-Side Deduplication to Enhance Security and Reduce Communication Costs

  • Kim, Keonwoo;Youn, Taek-Young;Jho, Nam-Su;Chang, Ku-Young
    • ETRI Journal
    • /
    • 제39권1호
    • /
    • pp.116-123
    • /
    • 2017
  • Message-locked encryption (MLE) is a widespread cryptographic primitive that enables the deduplication of encrypted data stored within the cloud. Practical client-side contributions of MLE, however, are vulnerable to a poison attack, and server-side MLE schemes require large bandwidth consumption. In this paper, we propose a new client-side secure deduplication method that prevents a poison attack, reduces the amount of traffic to be transmitted over a network, and requires fewer cryptographic operations to execute the protocol. The proposed primitive was analyzed in terms of security, communication costs, and computational requirements. We also compared our proposal with existing MLE schemes.

Secure and Efficient Storage of Video Data in a CCTV Environment

  • Kim, Won-Bin;Lee, Im-Yeong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권6호
    • /
    • pp.3238-3257
    • /
    • 2019
  • Closed-circuit television (CCTV) technology continuously captures and stores video streams. Users are typically required by policy to store all the captured video for a certain period. Accordingly, increasing the number of CCTV operation cycles and photographing positions expands the amount of data to be stored. However, expanding the available storage space for video data incurs increased costs. In recent years, this problem has been addressed with cloud storage solutions, which enable multiple users and devices to access and store data simultaneously. However, because of the large amount of data to be stored, a vast storage space is required. Consequently, cloud storage administrators need a way to store data more efficiently. To save storage space, deduplication technology has been proposed to prevent duplicate storage of the same data. However, because cloud storage is hosted on remote servers, data encryption technology must be applied to address data exposure issues. Although deduplication techniques for encrypted data have been studied, there have been various security vulnerabilities. We attempted to solve this problem by addressing various issues such as poison attacks, property forgery, and ownership management while removing the redundant data and handling the data more securely.

CORE-Dedup: 내용보존 접근 지역성 활용한 IO 크기 분할 기반 중복제거 (CORE-Dedup: IO Extent Chunking based Deduplication using Content-Preserving Access Locality)

  • 김명식;원유집
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권6호
    • /
    • pp.59-76
    • /
    • 2015
  • 고성능 내장형 기기의 대중화 및 광대역 통신기술의 발달로 생성-관리되는 데이터가 증가하고 있다. 중복제거 기법은 중복된 저장 요청을 판별하여 유일한 데이터만을 저장함으로써 저장 공간을 절약하는 방법으로 폭증하는 데이터의 저장과 처리 시스템을 경제적으로 구축 할 수 있다. 본 연구는 입출력 크기 (IO Extent) 단위 기반 분할 방법을 사용한 CORE-Dedup을 제안한다. CORE-Dedup의 Extent 단위 분할은 접근한 Content가 보존하는 접근 단위의 속성을 활용 한다. 가상머신에서 IO 경향을 수집하고 고정 크기 분할과 새로운 Extent 분할 방법에 대해 중복제거 성능을 비교 평가하였다. 동일 크기 워크로드 경우 4 KB 고정 분할 대비 적은 색인 버퍼를 가지고 유사한 수준의 중복 비교를 성능을 얻을 수 있다. 특히 다수 유저의 유사 IO 중복 접근을 가정한 워크로드 경우에는 CORE-Dedup이 Extent 단위 분할의 넓은 워크로드 Coverage에 의해 고정 크기 분할을 사용한 동일 조건의 Inline-Dedup에 비해 1/10 수준 버퍼를 가지고도 유사 중복제거 성능을 얻었다. 10명 사용자의 동일 compile 입출력을 가정한 병합 워크로드에서 4 KB 고정 크기 분할에서는 14,500개 분할 색인에서 최대 60.4%의 중복 발견율을 얻었으나 Extent 분할에서는 1,700개 색인만으로 57.6%를 얻었다.

Flash-SSD 데이터 중복 제거를 위한 사용자 파일 시스템 설계 (Design Deduplication User File System for Flash-SSD)

  • 명재희;권오영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.322-325
    • /
    • 2017
  • 급격한 데이터의 증가로 인해 효율적으로 데이터를 관리하기 위한 다양한 연구가 진행되고 있다. 2025년 데이터의 총량은 163 ZB 이상으로 증가하고, 그 중 1/4 이상의 데이터는 실시간 데이터가 될 것이라 전망한다. 대용량의 저장장치가 HDD에서 SSD로 바뀌고 있는 추세로, SSD에서 데이터를 효과적으로 관리하기 위한 별도의 방안이 필요하다. 본 논문은 현재까지의 Flash-SSD 관련 시스템 구조 및 데이터 관리 방법 중 중복 제거 관리 방법에 관련한 연구들을 탐색한다. 그리고 중복 제거기법을 적용한 어플리케이션 레벨의 사용자 파일 시스템을 제안하여, 저장 장치의 용량 확보, 성능 저하 및 불필요한 트래픽 최소화 등의 효과를 가져 올 수 있음을 기대한다.

  • PDF

클러스터 파일 시스템에서 인라인 데이터 중복제거 설계 및 구현 (Design and Implementation of Inline Data Deduplication in Cluster File System)

  • 김영철;김재열;이상민;김영균
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권8호
    • /
    • pp.369-374
    • /
    • 2016
  • 클라우드 컴퓨팅 환경에서 가상 컴퓨팅 및 스토리지 자원에 대한 요구가 대규모로 증가하면서 스토리지 시스템에서는 스토리지 공간을 효율적으로 절감하고 활용할 수 있는 중복제거 기법을 적용하고 있다. 특히 가상 데스크탑 인프라 환경에서 가상 데스크탑 이미지들에 대해 동일한 데이터가 중복되어 저장되는 것을 방지함으로써 스토리지 공간을 절감하는데 큰 효과를 얻을 수 있다. 하지만 안정적인 가상 데스크탑 서비스를 제공하기 위해서는 중복제거로 인한 가상 데스크탑의 성능 오버헤드와 주기적으로 발생하는 데이터 입출력 폭증, 그리고 빈번한 랜덤 입출력 동작과 같은 가상 데스크탑이 가지고 있는 특이한 워크로드를 효과적으로 처리할 수 있는 스토리지 시스템이 필요하다. 본 논문에서는 클라우드 컴퓨팅 환경에서 가상 데스크탑 및 스토리지 서비스를 지원하기 위해 개발된 클러스터 파일 시스템을 제시한다. 여기에서는 가상 데스크탑 이미지들에서 중복된 데이터가 스토리지에 저장되기 이전에 실시간으로 검출하고 제거하는 인라인 데이터 중복제거 기법을 통해 스토리지 공간을 절감한다. 또한 가상 데스크탑 이미지에 대한 중복제거 처리를 가상 호스트가 아니라 가상 데스크탑 이미지가 실제로 저장되는 데이터 서버에서 수행함으로써 중복제거 처리로 인한 가상 데스크탑의 성능 오버헤드를 줄인다.

파일 유형과 크기에 따른 적응형 중복 제거 알고리즘 설계 (Design of Adaptive Deduplication Algorithm Based on File Type and Size)

  • 황인철;권오영
    • 한국정보통신학회논문지
    • /
    • 제24권2호
    • /
    • pp.149-157
    • /
    • 2020
  • 오늘날 사용자의 데이터 증가에 따른 데이터 중복으로 인해 다양한 중복 제거 연구가 이루어졌다. 그러나 상대적으로 개인 스토리지에 대한 연구는 미진하다. 개인 스토리지는 고성능 컴퓨터와는 다르게 CPU와 메모리의 자원 사용을 줄이면서 중복 제거를 수행할 필요가 있다. 본 논문에서는 개인 스토리지에서 중복 제거율을 적절히 유지하며 부하를 낮추기 위해 파일의 타입과 크기에 따라 FSC(Fixed Size Chunking)와 WFH(Whole File Chunking)를 선택적으로 적용하는 적응형 알고리즘을 제안한다. 제안한 파일 시스템은 LessFS에 비해 최초 파일 Write 시에는 Write 소요 시간은 1.3배 이상 높았으나 메모리의 사용은 3배 이상 감소하였고, Rewrite 시는 LessFS에 비하여 Write 소요시간이 2.5배 이상 빨라지는 것을 실험을 통하여 확인하였다.

프라이버시 보존형 소스기반 중복제거 기술 방법 제안 (Privacy Preserving source Based Deuplication Method)

  • 남승수;서창호;이주영;김종현;김익균
    • 스마트미디어저널
    • /
    • 제4권4호
    • /
    • pp.33-38
    • /
    • 2015
  • 부 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근 네트워크 대역폭의 효율적인 사용을 위해 클라이언트측 중복제거 기술이 주목을 받으면서 다양한 클라이언트 측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트 측 소스기반 중복제거 기술을 제안한다.

프라이버시 보존형 소스기반 중복제거 방법 (Privacy Preserving Source Based Deduplicaton Method)

  • 남승수;서창호
    • 디지털융복합연구
    • /
    • 제14권2호
    • /
    • pp.175-181
    • /
    • 2016
  • 클라우드 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근 네트워크 대역폭의 효율적인 사용을 위해 클라이언트 측 중복제거 기술이 주목을 받으면서 다양한 클라이언트 측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트 측 소스기반 중복제거 기술을 제안한다.

원격 저장소 데이터 아웃소싱에서 발생하는 중복 식별 과정에서의 부채널 분석 및 제거 (Analysis and Elimination of Side Channels during Duplicate Identification in Remote Data Outsourcing)

  • 구동영
    • 정보보호학회논문지
    • /
    • 제27권4호
    • /
    • pp.981-987
    • /
    • 2017
  • 클라우드 컴퓨팅의 대중화로 개인 및 기업의 로컬 저장소에서 관리되던 데이터가 클라우드 스토리지 등 제 3의 공간에 아웃소싱 되면서 유지, 관리 비용의 절감 효과를 얻을 수 있게 됨과 동시에, 다수의 원격저장 서비스 제공자는 공간 자원의 효율화를 위하여 아웃소싱된 데이터의 중복제거 기법을 도입하고 있다. 동일 데이터의 중복성 판단에 해시 트리가 사용되는 경우에는 검증 데이터의 크기 및 트리의 일부 정보에 대한 부채널이 존재하게 되는데, 이로부터 특정 데이터에 대한 정보 수집 및 검증의 우회 가능성이 증가하게 된다. 이러한 부채널로 인한 검증의 유효성 문제를 개선하기 위하여, 본 논문에서는 멀티 셋 해시함수를 이용한 동일성 검증 기법을 제시한다.

윈도우 서버 2012에서 데이터 중복 제거 기능이 적용된 파일의 복원 방법에 관한 연구 (A Study of Method to Restore Deduplicated Files in Windows Server 2012)

  • 손관철;한재혁;이상진
    • 정보보호학회논문지
    • /
    • 제27권6호
    • /
    • pp.1373-1383
    • /
    • 2017
  • 중복 제거는 데이터를 효과적으로 관리하여 저장 공간의 효율성을 높이기 위한 기능이다. 중복 제거 기능이 시스템에 적용되면 저장되어 있는 파일을 청크 단위로 분할하고 중복되는 부분은 하나의 청크로만 저장함으로써 저장 공간을 효율적으로 사용할 수 있게 한다. 하지만 중복 제거된 데이터에 대해 상용 디지털 포렌식 도구에서 파일시스템 해석을 지원하지 않으며, 도구로 추출된 원본 파일을 실행하거나 열람할 수 없는 상황이다. 따라서 본 논문에서는 중복 제거 기능을 적용할 수 있는 윈도우 서버 2012 시스템을 대상으로 청크 단위의 데이터를 생성하는 과정과 그 결과로 생성되는 파일의 구조를 분석하고, 기존 연구에서 다뤄지지 않은 청크가 압축되는 경우에 대해서도 분석결과를 도출하였다. 이러한 결과를 바탕으로 디지털 포렌식 조사에서 적용할 수 있는 수집 절차와 원본 파일로 재조합하기 위한 방법을 제시한다.