• 제목/요약/키워드: 중복데이터

검색결과 1,018건 처리시간 0.03초

클라우드 스토리지 시스템을 위한 중복제거 기술 연구 (A Study on De-Duplication for Cloud Storage Systems)

  • 김태훈;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.188-190
    • /
    • 2012
  • 클라우드 스토리지에 저장되는 데이터가 급증하면서 데이터 중복으로 인한 스토리지의 저장 비용이 증가하고 있다. 이러한 데이터 중복 문제를 해결하기 위해서 기존의 스토리지 환경에서는 다양한 데이터 중복제거 기술이 제안되었다. 이에 본 논문에서는 클라우드 스토리지를 위한 데이터 중복제거 기술의 분석을 통하여 대규모 클라우드 스토리지에서의 데이터 중복 제거율을 높이기 위해 데이터 유형의 특성을 고려한 스토리지 중복제거 기술의 필요성을 제시한다.

클라우드 스토리지 환경을 위한 안전하고 효율적인 암호데이터 중복제거 기술 (A Safe and Efficient Secure Data Deduplication for Cloud Storage Environment)

  • 김원빈;이임영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.714-717
    • /
    • 2015
  • 기존의 암호데이터 중복제거 기술은 데이터의 중복 여부를 판단하기 위해 다양한 방식으로 데이터를 전송하고 이를 기존에 저장된 데이터와 비교하여 중복여부를 판단하게 된다. 이러한 데이터 중복제거 기술의 중복제거 효율성을 높이기 위해 최근 블록 단위의 중복제거 기술이 사용되고 있다. 하지만 블록 단위 중복제거 기술의 적용 과정에서 다양한 보안 위협이 발생하는데, 이 중 포이즌 어택은 무결성 및 데이터 저장 시 저장되는 데이터에 대한 검증이 이루어지지 않는 시스템에서 발생하는 위협 중 하나이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 연구되어 제안되었지만 과도하게 많은 통신 횟수와 연산이 발생되어 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량에서 보다 효율적인 암호데이터 중복제거 기술을 제안한다.

공간 데이터베이스의 중복 제어를 위한 Floating Primary Copy 기법 (Floating Primary Copy Method for Replica Control of Spatial Data)

  • 최진오
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
    • /
    • pp.68-72
    • /
    • 2002
  • CIS 응용에서 공간 객체들이 여러 사이트에 걸쳐 중복 저장되어 있다면, 이 객체들의 수정 시 일관성 제어를 위한 중복 제어 기법이 필요하다. 그러나, 일반적인 비즈니스 데이터를 위한 정통적인 중복 제어기법은 공간 데이터에는 그대로 사용될 수 없다. 공간 데이터의 수정은 긴 트랜 션을 필요로 하며, 또한 일반 데이터와 달리 데이터간의 공간 종속성을 지니기 때문이다. 본 논문은 기존의 Primary Copy 중복 제어 기법을 확장하며, time-stamp에 기반하여 Primary Copy 사이트가 변경되는 Floating Primary Copy 기법을 제안한다. 본 논문에서 제안하는 중복 제어 기법은 Primary Copy 사이트를 동적으로 변경함으로써, 긴 트랜 션의 중복 일관성 제어를 지원할 수 있다.

  • PDF

중복 데이터 관리 기법을 통한 저장 시스템 성능 개선 (Performance Improvement of Storage System Using De-duplication)

  • 정호민;김병기;김진;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.909-912
    • /
    • 2009
  • 기존의 저장 방식은 대용량의 데이터를 비효율적으로 처리해 왔지만 데이터 중복 제거 기법을 이용하면서 저장 공간과 네트워크 대역폭을 효율적으로 사용할 수 있게 되었다. 그러나 기존의 데이터 중복 제거 알고리즘들은 수행시간이 길고 중복 데이터를 효율적으로 제거하지 못하는 문제가 있다. 본 논문에서는 개선된 중복 검색 및 제거 메커니즘을 제공하는 저장 시스템을 제안하고 있다. 제안하는 알고리즘은 저장 공간을 최소화하고 네트워크 대역폭을 줄일 수 있다. 주요 아이디어는 스트라이드 방식의 중복 검색 메커니즘이며 중복된 데이터 블록을 발견하는데 있어서 계산 시간을 줄여주고 있다. 제안하는 시스템의 성능을 검증하기 위하여 리눅스 배포 데이터를 저장하는 실험을 수행하였으며 실험 결과 스트라이드 방식이 저장 공간을 줄이고 중복된 데이터 블록을 효율적으로 관리할 수 있음을 보였다.

상용 DBMS 제품의 데이터 복제 기술을 이용한 대용량 데이터 이동 시스템 (Very Large Data Moving System Using Commercial Copy Technology)

  • 양진영;장혜정;송은정;김영곤;윤명상
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.217-219
    • /
    • 2003
  • 분산 DB 환경에서 데이터 접근의 병목현상을 방지하기 위하여 테이블 단위의 중복을 허용할 때 데이터 일치성을 유지함으로써 업무처리의 정확성이 요구된다. 분산 DB 환경에서 중복 테이블들은 일정 시간 간격으로 마스터 테이블과의 데이터 일치성을 유지하기 위한 작업은 대상 서버와 해당 테이블수의 증가에 따라 업무의 복잡성이 가중된다. 본 논문에서는 중복 테이블간의 데이터 일치성을 수행하는 작업을 데이터 이동이라고 하는 일련의 동작으로 모델링하고, 다수 서버 환경에서 다량의 중복테이블간의 데이터 일치성을 요구하는 업무 환경에 쉽게 적용할 수 있는 데이터 이동 시스템을 소개하고자 한다.

  • PDF

이동적응망에서 데이터 일관성 보장을 위한 주사본 기반 데이터 중복 기법 (Primary Copy based Data Replication Scheme for Ensuring Data Consistency in Mobile Ad-hoc Networks)

  • 문애경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (1)
    • /
    • pp.334-336
    • /
    • 2005
  • 이동적응망(MANET: Mobile Ad-hoc Network)은 네트워크 하부 구조를 필요로 하지 않은 무선 단말들로 구성된 네트워크이다. 이러한 특성은 네트워크 단절 가능성을 높게 하기 때문에 이동단말들의 데이터 액세스률이 낮아지게 된다는 문제점을 갖는다. 이를 해결하기 위하여 이동 노드들은 데이터의 중복사본을 갖는다. 이동 노드가 갖는 중복사본은 데이터 일관성을 유지하기 위하여 별도의 중복관리 기법이 필요하다. 하지만 MANET을 구성하는 이동 노드들은 일반적으로 제한된 전력을 가지고 있고 단절될 가능성이 높기 때문에 중복 사본의 일관성 보장은 어려운 문제로 지적되고 있다. 기존에 제안된 MANET에서의 데이터 중복관리 기법은 데이터 액세스 빈도수를 계산하여 액세스률을 높이는 방법에 주안점을 두고 있고 갱신 데이터의 일관성 보장은 그 어려움 때문에 주로 판독 연산만 고려하였다. 갱신 트랜잭션을 지원하는 경우 대부분 높은 통신비용을 이유로 데이터 일관성을 보장하지 않는다. 또한 이동 노드가 다수의 서버를 통해서 갱신 연산을 실행하기 때문에 통신 오버헤드로 인하여 전력소모가 크다. 본 논문에서는 주사본 노드를 통하여 갱신을 가능하게 함으로써 데이터 일관성을 유지할 수 있는 데이터 중복 기법을 제안한다. 제안된 기법은 이동 노드들의 에너지 특성을 고려하여 더 않은 에너지를 가진 노드에게 갱신 전파 및 일관성 유지를 의뢰함으로써 상대적으로 낮은 에너지를 갖는 이동 노드의 에너지 효율을 고려하였다.

  • PDF

데이터 중복 제거 기술 분석 (An analysis of Data Deduplication techniques)

  • 조민정;이창훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.305-308
    • /
    • 2016
  • 저장하는 데이터의 용량이 증가함에 따라 데이터들은 효율적으로 보관될 필요성이 증가하였다. 이에 따라, 데이터 용량을 줄이는 기술로 많은 서비스들이 데이터 중복 제거 기술을 사용한다. 본 연구에서는 일부 서비스의 데이터 중복 제거 기술을 분석하고, 데이터 중복 제거 기술의 발전 동향을 예측하고자한다.

블룸필터 활용을 통한 데이터 소유권 보호 암호데이터 중복제거 기술 (Secure Data De-duplication Scheme for Protect of Data Ownership Using Bloom Filter)

  • 김원빈;이임영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.270-273
    • /
    • 2016
  • 암호데이터 중복제거 기술이란 클라우드 서버에 전송된 데이터를 기존의 클라우드 서버에 저장된 데이터와 비교하여 데이터의 중복된 저장을 방지하는 기술이다. 이러한 데이터 중복제거 기술은 다양한 보안 위협이 발생하는데, 이 중 소유권 위조 공격은 원본 데이터를 소유하지 않은 공격자가 데이터의 소유권을 획득하여 클라우드 스토리지에 저장된 데이터를 취득할 수 있는 위협이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 제안되어왔지만 과도하게 많은 통신 횟수와 연산량으로 인해 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량 측면에서 효율적인 암호데이터 중복제거 기술을 제안한다.

키 발급 서버를 이용한 암호데이터 중복제거 기술 (Encrypted Data Deduplication Using Key Issuing Server)

  • 김현일;박철희;홍도원;서창호
    • 정보과학회 논문지
    • /
    • 제43권2호
    • /
    • pp.143-151
    • /
    • 2016
  • 데이터 중복제거 기술은 클라우드 스토리지를 절약하기 위해 반드시 필요한 기술이다. 평문데이터 중복제거 기술은 기본적으로 데이터의 기밀성을 유지하지 못하므로 암호데이터 중복제거 기술이 필요함은 당연하다. 본 논문은 키 발급 서버의 도움을 받는 암호데이터 중복제거 기술에 대해 연구하며 그 중 Bellare 등이 제안한 기법에 대한 분석 및 구현을 수행하였으며 키 발급 서버를 이용한 기술에 대한 효율성 측정을 위해 상용 클라우드 서비스 상에 Bellare 등이 제안한 기법과 평문 및 ConvergentEncryption에 대한 성능 측정을 수행하였다. 또한 상용 클라우드 서비스인 Dropbox 및 공개 클라우드 서비스 중 하나인 Openstack의 Swift상에 구현 및 효율성 측정을 수행함으로써 키 발급 서버를 이용한 암호데이터 중복제거 기술에 대한 범용성을 검증하였다.

AMI의 중복데이터 제거를 통한 데이터처리효율성 분석 (Analysis of Data Processing Efficiency using Duplicated Data Removal in AMI)

  • 오도환;박재형
    • 스마트미디어저널
    • /
    • 제10권2호
    • /
    • pp.9-15
    • /
    • 2021
  • AMI(Advanced Metering Infrastructure)의 구축 확대로 인해 계량데이터의 수집을 위한 원격검침서비스 이외에도 계량데이터를 이용한 수요관리, 에너지쉼표 등 다양한 융복합 서비스들이 늘어나고 있는 추세이다. 이러한 서비스를 안정적으로 운영하기 위해서는 계량데이터의 효율적 관리가 필수적이다. 본 논문에서는 중복데이터 제거를 통해 AMI의 시스템별 구축목적에 따라 계량데이터를 처리하는 효율성을 분석하고자 한다.