• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.271-273
• /
• 2012

중복 제거(De-duplication) 여러 데이터를 저장한 스토리지에서 같은 내용을 담고 있는 파일자체나 블록단위의 chunk 등을 찾아 중복된 내용을 제거하여 중복된 부분은 하나의 데이터 단위를 유지함으로써 스토리지 공간을 절약할 수 있다. 본 논문에서는 실험적인 데이터가 아닌 실제 업무 환경에서 적용될만한 대용량의 데이터 백업을 가정한 상황에 대해 중복 제거 기법을 테스트해봄으로써 중복제거율과 성능을 측정하였으며 이를 시각적으로 표현하는 방법을 제안함으로써 평가자 및 사용자가 알아보기 쉽게 하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 춘계학술발표대회
• /
• pp.202-205
• /
• 2012

기존의 고정 길이 분할 (FLC: Fixed Length Chunking) 중복 제거 기법은 파일이 조금이라도 수정이 되면 수정된 블록에 대한 해시 정보가 달라져 중복 데이터 임에도 불구하고 중복 블록으로 검색이 되지 않는 문제점이 있다. 본 연구에서는 FLC 기반의 중복 제거 기법에 데이터 위치(offset) 정보를 활용하여 중복 블록을 효율적으로 찾아냄으로써 기존의 FLC 기반의 중복 제거 기법보다 더 좋은 성능을 발휘하는 유사도 정보를 활용하는 중복 제거 기법(FS_FLC: File Similarity based Fixed Length Chunking)을 설계하고 구현했다. 실험 결과 제안한 알고리즘은 낮은 오버헤드로 가변 분할 기법(VLC: Variable Length Chunking)만큼의 높은 중복 데이터 탐색 성능을 보여주었다.

• 정보과학회 논문지
• /
• 제43권10호
• /
• pp.1165-1172
• /
• 2016

클라우드 스토리지 환경에서 중복제거 기술은 스토리지의 효율적인 활용을 가능하게 한다. 또한 클라우드 스토리지 서비스 제공자들은 네트워크 대역폭을 절약하기 위해 클라이언트 측 중복제거 기술을 도입하고 있다. 클라우드 스토리지 서비스를 이용하는 사용자들은 민감한 데이터의 기밀성을 보장하기 위해 데이터를 암호화하여 업로드하길 원한다. 그러나 일반적인 암호화 방식은 사용자마다 서로 다른 비밀키를 사용하기 때문에 중복제거와 조화를 이룰 수 없다. 또한 클라이언트 측 중복제거는 태그 값이 전체 데이터를 대신하기 때문에 안전성에 취약할 수 있다. 최근 클라이언트 측 중복제거의 취약점을 보완하기 위해 소유권 증명 기법들이 제안되었지만 여전히 암호데이터 상에서 클라이언트 측 중복제거 기술은 효율성과 안전성에 문제점을 가지고 있다. 본 논문에서는 전수조사 공격에 저항성을 갖고 암호데이터 상에서 소유권 증명을 수행하는 안전하고 실용적인 클라이언트 측 중복제거 기술을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.626-628
• /
• 2015

빅 데이터의 시대가 도래 하면서 데이터의 양이 기하급수적으로 증가 하고 있으며, 이에 따라 데이터를 효율적으로 처리하는 기술의 중요성이 부각 되고 있다. 데이터를 효율적으로 처리하기 위한 기술 중 하나인, 데이터 중복제거 기술은 저장 시스템 공간을 효율적으로 사용 할 수 있게 할 뿐만 아니라, 네트워크 환경에서 전송되는 데이터의 양도 획기적으로 줄여 주어 통신비용을 절감하게 한다. 기존의 데이터 중복제거 기술과 데이터 동기화 기법을 분석하고, 이를 바탕으로 클라우드 환경에서 데이터 중복제거를 통한 효율적인 데이터 동기화 기법을 제안하고자 한다.

• 한국콘텐츠학회논문지
• /
• 제18권2호
• /
• pp.438-449
• /
• 2018

최근 소셜 네트워크, 인용 네트워크 등 여러 분야에서 다양한 그래프 데이터가 활용되고 있다. 시간에 따라 그래프가 동적으로 변화함에 따라 변경 내용 추적 및 특정 시점 그래프 검색을 위해 그래프 이력 데이터를 관리하는 것이 필요하다. 대부분의 이력 데이터는 시간에 따라 부분적인 변화가 발생하기 때문에 시간 단위로 데이터를 저장할 경우 변경되지 않은 데이터가 중복 저장된다. 본 논문에서는 시간별 그래프의 중복 저장을 최소화하기 위한 그래프 이력 저장 관리 기법을 제안한다. 제안하는 기법은 그래프의 변화를 계속적으로 탐지하여 과거 그래프와 중복되는 서브 그래프를 하나의 중복 스냅샷에 저장한다. 중복 스냅샷에는 다수의 델타 스냅샷이 연결되어 각 시간에 따른 변화 데이터를 유지한다. 중복 스냅샷에 저장된 중복 데이터를 공통으로 관리하여 공간의 효율을 향상시킨다. 또한, 해당 시점의 그래프를 탐색하기 위해서 중복 스냅샷과 델타 스냅샷을 연결하였다. 제안하는 기법의 우수성을 보이기 위해 다양한 성능평가를 수행한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.730-732
• /
• 2015

데이터 중복 제거 기술은 클라우드 스토리지에 저장되어 있는 중복된 데이터들 중에 하나의 데이터만 저장하는 기술로, 클라우드 스토리지 서비스에서 저장효율을 높이기 위한 핵심적인 기술 중 하나이다. 하지만 아웃소싱된 데이터가 암호화가 되지 않으면 기밀성을 유지하지 못해 프라이버시에 큰 영향을 끼치게 된다. 데이터를 암호화하여 아웃소싱하는 경우에는 암호문의 특성으로 인해 중복 제거 기술이 적용하기 힘든 단점을 가지고 있으며 이를 위해 수렴 암호화를 사용한다. 본 논문에서는 수렴 암호화로 암호화된 데이터에 대해 중복제거 기술을 적용하는 여러 제안모델을 분석하고, 개선방안을 제시한다.

• 한국멀티미디어학회논문지
• /
• 제7권5호
• /
• pp.689-697
• /
• 2004

모바일 컴퓨팅의 급속한 발전과 무선 통신의 유용성은 모바일 사용자들에게 사용자나 데이터의 위치에 상관없이 데이터 접근을 용이하게 제공해 주고있다. 기존 기법인 정적중복배치(SRA)는 서버상에서 중복 데이터 사용을 위해 현재 사용되고 있으며 이동 호스트가 셀에 이동하고 나서 복제서버에 데이터를 복제하는 방법이다. 이 기법은 복제 작업이 간단하고 쉽게 재배치 할 수 있다. 그러나 이동한 셀에 이동사용자가 존재하지 않을 경우에는 데이터 일관성 문제로 인하여 데이터가 삭제된다. 그리고 이동호스트가 복제된 셀로부터 이동하게 되면 경로를 통한 데이터의 접근도 어렵게 된다. 따라서 이 논문에서는 데이터 공유와 효율적 중복데이터 관리를 위해 데이터 일관성 유지 메커니즘을 기반으로 한 새로운 재배치 전략인 일관성 기반 사용자 선택 중복배치(USRAC)를 제안하며 이동사용자의 이동율, 이동 호스트의 접근율 그리고 이동사용자와 이동 호스트의 셀 수에 따른 접근 비용에 대해 기존방법과 비교 분석한다.

• 한국통신학회논문지
• /
• 제30권8C호
• /
• pp.810-823
• /
• 2005

패킷 손실망을 통한 비디오 전송시 중복 패킷 전송에 의하여 복구에 소요되는 불필요한 시간지연을 방지하고 손실된 패킷에 대한 강인한 복구 성능을 얻을 수 있다. 그러나 이 방법의 단점은 중복적인 데이터 전송으로 전송 데이터량이 증가하여 망에서의 트래픽량을 증가시키는 것이다. 본 논문에서는 중복 전송 기법을 위한 효과적인 중복 데이터 생성, 패킷화 및 전송원리를 제안한다. 제안된 방법은 영상 재생을 위해 필요한 중요한 부호화 정보만을 중복 패킷화하여 전송함으로써 중복 데이터 생성을 위해 필요한 추가 비트량을 감소시킨다. 또한 중복 데이터 전송을 위해 필요한 패킷화 과정에서 이전 영상의 중복 데이터를 현재 영상의 패킷에 포함시켜 패킷화 하는 Piggyback 패킷화 개념을 도입하여 패킷 오버헤드를 급격히 감소시킨다. 실험결과를 통해 제안된 중복 패킷 전송 방법은 단일 패킷 전송 방법에 비해 적은 량의 추가적인 비트량으로 패킷 손실 환경에서 매우 우수한 복구 특성을 보임을 확인한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.172-173
• /
• 2018

CCTV 기술은 실시간으로 영상을 수집하여 저장소에 보관하는 기술을 의미한다. 이러한 환경에서 데이터 저장소의 가용성은 매우 중요하다. 데이터가 축적될수록 스토리지 공간의 확장은 매우 중요해지며, 이를 위해 최근에는 클라우드 스토리지를 이용하여 저장 공간을 비교적 수월하게 확장하고 이용할 수 있는 환경이 제시되고 있다. 하지만 이러한 환경에서도 데이터의 지속된 저장은 저장 공간의 추가 이용을 위한 비용의 증가로 직결되기 때문에 데이터를 효율적으로 저장하기 위한 방안의 논의되었다. 데이터 중복제거 기술은 이러한 기술 중 하나로 데이터의 중복된 저장을 방지하여 스토리지 공간을 보다 효율적으로 이용할 수 있도록 하는 기술이다. 하지만 CCTV 환경에 클라우드 스토리지와 데이터 중복제거 기술을 적용하면서 추가적인 보안 이슈가 발생하였다. 따라서 본 연구에서는 이러한 문제를 해결하기 위한 연구를 수행하며, 이를 통해 보다 효율적인 데이터 저장을 수행하는 동시에 안전하게 데이터를 보관하는 방법을 제안한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제61차 동계학술대회논문집 28권1호
• /
• pp.61-62
• /
• 2020

RDF의 활용이 증가하면서 RDF데이터를 저장하는 방법 또한 많은 연구가 이루어졌다. 그래프 형태인 RDF 데이터를 테이블로 바꿀 때, 동일한 데이터가 중복 저장되어 검색 시 불필요한 연산을 하는 문제점이 발생한다. 본 논문에서는 중복저장 및 불필요한 검색을 줄이기 위해 색인을 주어(S), 목적어(O) 색인과 이들의 중복 값을 별도의 색인을 만들고, 검색 시 중복 값을 확인하여 필요한 색인만 검색하는 기법을 제안한다. 실험에서 본 기법을 사용하여 불필요한 검색을 줄여서 전체적인 검색 시간이 줄어드는 것을 확인하였다.