• Title/Summary/Keyword: 데이터 중복

Search Result 1,018, Processing Time 0.038 seconds

A Study on De-Duplication for Cloud Storage Systems (클라우드 스토리지 시스템을 위한 중복제거 기술 연구)

  • Kim, Taehun;Kim, Jee Hong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.188-190
    • /
    • 2012
  • 클라우드 스토리지에 저장되는 데이터가 급증하면서 데이터 중복으로 인한 스토리지의 저장 비용이 증가하고 있다. 이러한 데이터 중복 문제를 해결하기 위해서 기존의 스토리지 환경에서는 다양한 데이터 중복제거 기술이 제안되었다. 이에 본 논문에서는 클라우드 스토리지를 위한 데이터 중복제거 기술의 분석을 통하여 대규모 클라우드 스토리지에서의 데이터 중복 제거율을 높이기 위해 데이터 유형의 특성을 고려한 스토리지 중복제거 기술의 필요성을 제시한다.

A Safe and Efficient Secure Data Deduplication for Cloud Storage Environment (클라우드 스토리지 환경을 위한 안전하고 효율적인 암호데이터 중복제거 기술)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.714-717
    • /
    • 2015
  • 기존의 암호데이터 중복제거 기술은 데이터의 중복 여부를 판단하기 위해 다양한 방식으로 데이터를 전송하고 이를 기존에 저장된 데이터와 비교하여 중복여부를 판단하게 된다. 이러한 데이터 중복제거 기술의 중복제거 효율성을 높이기 위해 최근 블록 단위의 중복제거 기술이 사용되고 있다. 하지만 블록 단위 중복제거 기술의 적용 과정에서 다양한 보안 위협이 발생하는데, 이 중 포이즌 어택은 무결성 및 데이터 저장 시 저장되는 데이터에 대한 검증이 이루어지지 않는 시스템에서 발생하는 위협 중 하나이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 연구되어 제안되었지만 과도하게 많은 통신 횟수와 연산이 발생되어 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량에서 보다 효율적인 암호데이터 중복제거 기술을 제안한다.

Floating Primary Copy Method for Replica Control of Spatial Data (공간 데이터베이스의 중복 제어를 위한 Floating Primary Copy 기법)

  • 최진오
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.05c
    • /
    • pp.68-72
    • /
    • 2002
  • CIS 응용에서 공간 객체들이 여러 사이트에 걸쳐 중복 저장되어 있다면, 이 객체들의 수정 시 일관성 제어를 위한 중복 제어 기법이 필요하다. 그러나, 일반적인 비즈니스 데이터를 위한 정통적인 중복 제어기법은 공간 데이터에는 그대로 사용될 수 없다. 공간 데이터의 수정은 긴 트랜 션을 필요로 하며, 또한 일반 데이터와 달리 데이터간의 공간 종속성을 지니기 때문이다. 본 논문은 기존의 Primary Copy 중복 제어 기법을 확장하며, time-stamp에 기반하여 Primary Copy 사이트가 변경되는 Floating Primary Copy 기법을 제안한다. 본 논문에서 제안하는 중복 제어 기법은 Primary Copy 사이트를 동적으로 변경함으로써, 긴 트랜 션의 중복 일관성 제어를 지원할 수 있다.

  • PDF

Performance Improvement of Storage System Using De-duplication (중복 데이터 관리 기법을 통한 저장 시스템 성능 개선)

  • Jeong, Ho-Min;Kim, Byung-Ki;Kim, Jin;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.909-912
    • /
    • 2009
  • 기존의 저장 방식은 대용량의 데이터를 비효율적으로 처리해 왔지만 데이터 중복 제거 기법을 이용하면서 저장 공간과 네트워크 대역폭을 효율적으로 사용할 수 있게 되었다. 그러나 기존의 데이터 중복 제거 알고리즘들은 수행시간이 길고 중복 데이터를 효율적으로 제거하지 못하는 문제가 있다. 본 논문에서는 개선된 중복 검색 및 제거 메커니즘을 제공하는 저장 시스템을 제안하고 있다. 제안하는 알고리즘은 저장 공간을 최소화하고 네트워크 대역폭을 줄일 수 있다. 주요 아이디어는 스트라이드 방식의 중복 검색 메커니즘이며 중복된 데이터 블록을 발견하는데 있어서 계산 시간을 줄여주고 있다. 제안하는 시스템의 성능을 검증하기 위하여 리눅스 배포 데이터를 저장하는 실험을 수행하였으며 실험 결과 스트라이드 방식이 저장 공간을 줄이고 중복된 데이터 블록을 효율적으로 관리할 수 있음을 보였다.

Very Large Data Moving System Using Commercial Copy Technology (상용 DBMS 제품의 데이터 복제 기술을 이용한 대용량 데이터 이동 시스템)

  • 양진영;장혜정;송은정;김영곤;윤명상
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10b
    • /
    • pp.217-219
    • /
    • 2003
  • 분산 DB 환경에서 데이터 접근의 병목현상을 방지하기 위하여 테이블 단위의 중복을 허용할 때 데이터 일치성을 유지함으로써 업무처리의 정확성이 요구된다. 분산 DB 환경에서 중복 테이블들은 일정 시간 간격으로 마스터 테이블과의 데이터 일치성을 유지하기 위한 작업은 대상 서버와 해당 테이블수의 증가에 따라 업무의 복잡성이 가중된다. 본 논문에서는 중복 테이블간의 데이터 일치성을 수행하는 작업을 데이터 이동이라고 하는 일련의 동작으로 모델링하고, 다수 서버 환경에서 다량의 중복테이블간의 데이터 일치성을 요구하는 업무 환경에 쉽게 적용할 수 있는 데이터 이동 시스템을 소개하고자 한다.

  • PDF

Primary Copy based Data Replication Scheme for Ensuring Data Consistency in Mobile Ad-hoc Networks (이동적응망에서 데이터 일관성 보장을 위한 주사본 기반 데이터 중복 기법)

  • Moon, Ae-Kyung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11a
    • /
    • pp.334-336
    • /
    • 2005
  • 이동적응망(MANET: Mobile Ad-hoc Network)은 네트워크 하부 구조를 필요로 하지 않은 무선 단말들로 구성된 네트워크이다. 이러한 특성은 네트워크 단절 가능성을 높게 하기 때문에 이동단말들의 데이터 액세스률이 낮아지게 된다는 문제점을 갖는다. 이를 해결하기 위하여 이동 노드들은 데이터의 중복사본을 갖는다. 이동 노드가 갖는 중복사본은 데이터 일관성을 유지하기 위하여 별도의 중복관리 기법이 필요하다. 하지만 MANET을 구성하는 이동 노드들은 일반적으로 제한된 전력을 가지고 있고 단절될 가능성이 높기 때문에 중복 사본의 일관성 보장은 어려운 문제로 지적되고 있다. 기존에 제안된 MANET에서의 데이터 중복관리 기법은 데이터 액세스 빈도수를 계산하여 액세스률을 높이는 방법에 주안점을 두고 있고 갱신 데이터의 일관성 보장은 그 어려움 때문에 주로 판독 연산만 고려하였다. 갱신 트랜잭션을 지원하는 경우 대부분 높은 통신비용을 이유로 데이터 일관성을 보장하지 않는다. 또한 이동 노드가 다수의 서버를 통해서 갱신 연산을 실행하기 때문에 통신 오버헤드로 인하여 전력소모가 크다. 본 논문에서는 주사본 노드를 통하여 갱신을 가능하게 함으로써 데이터 일관성을 유지할 수 있는 데이터 중복 기법을 제안한다. 제안된 기법은 이동 노드들의 에너지 특성을 고려하여 더 않은 에너지를 가진 노드에게 갱신 전파 및 일관성 유지를 의뢰함으로써 상대적으로 낮은 에너지를 갖는 이동 노드의 에너지 효율을 고려하였다.

  • PDF

An analysis of Data Deduplication techniques (데이터 중복 제거 기술 분석)

  • Jho, Min-Jeong;Lee, Chang-hoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.305-308
    • /
    • 2016
  • 저장하는 데이터의 용량이 증가함에 따라 데이터들은 효율적으로 보관될 필요성이 증가하였다. 이에 따라, 데이터 용량을 줄이는 기술로 많은 서비스들이 데이터 중복 제거 기술을 사용한다. 본 연구에서는 일부 서비스의 데이터 중복 제거 기술을 분석하고, 데이터 중복 제거 기술의 발전 동향을 예측하고자한다.

Secure Data De-duplication Scheme for Protect of Data Ownership Using Bloom Filter (블룸필터 활용을 통한 데이터 소유권 보호 암호데이터 중복제거 기술)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.270-273
    • /
    • 2016
  • 암호데이터 중복제거 기술이란 클라우드 서버에 전송된 데이터를 기존의 클라우드 서버에 저장된 데이터와 비교하여 데이터의 중복된 저장을 방지하는 기술이다. 이러한 데이터 중복제거 기술은 다양한 보안 위협이 발생하는데, 이 중 소유권 위조 공격은 원본 데이터를 소유하지 않은 공격자가 데이터의 소유권을 획득하여 클라우드 스토리지에 저장된 데이터를 취득할 수 있는 위협이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 제안되어왔지만 과도하게 많은 통신 횟수와 연산량으로 인해 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량 측면에서 효율적인 암호데이터 중복제거 기술을 제안한다.

Encrypted Data Deduplication Using Key Issuing Server (키 발급 서버를 이용한 암호데이터 중복제거 기술)

  • Kim, Hyun-il;Park, Cheolhee;Hong, Dowon;Seo, Changho
    • Journal of KIISE
    • /
    • v.43 no.2
    • /
    • pp.143-151
    • /
    • 2016
  • Data deduplication is an important technique for cloud storage savings. These techniques are especially important for encrypted data because data deduplication over plaintext is basically vulnerable for data confidentiality. We examined encrypted data deduplication with the aid of a key issuing server and compared Convergent Encryption with a technique created by M.Bellare et al. In addition, we implemented this technique over not only Dropbox but also an open cloud storage service, Openstack Swift. We measured the performance for this technique over Dropbox and Openstack Swift. According to our results, we verified that the encrypted data deduplication technique with the aid of a key issuing server is a feasible and versatile method.

De-Duplication Performance Test for Massive Data (대용량 데이터의 중복제거(De-Duplication) 성능 실험)

  • Lee, Choelmin;Kim, Jai-Hoon;Kim, Young Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.271-273
    • /
    • 2012
  • 중복 제거(De-duplication) 여러 데이터를 저장한 스토리지에서 같은 내용을 담고 있는 파일자체나 블록단위의 chunk 등을 찾아 중복된 내용을 제거하여 중복된 부분은 하나의 데이터 단위를 유지함으로써 스토리지 공간을 절약할 수 있다. 본 논문에서는 실험적인 데이터가 아닌 실제 업무 환경에서 적용될만한 대용량의 데이터 백업을 가정한 상황에 대해 중복 제거 기법을 테스트해봄으로써 중복제거율과 성능을 측정하였으며 이를 시각적으로 표현하는 방법을 제안함으로써 평가자 및 사용자가 알아보기 쉽게 하였다.