• International journal of advanced smart convergence
• /
• v.1 no.1
• /
• pp.34-37
• /
• 2012

In a storage system, the performance of data deduplication can be increased if we consider the file modification pattern. For example, if a file is modified at the end of file region then fixed-length chunking algorithm superior to variable-length chunking. Therefore, it is important to predict in which location of a file is modified between files. In this paper, the essential idea is to exploit an efficient file pattern checking scheme that can be used for data deduplication system. The file modification pattern can be used for elaborating data deduplication system for selecting deduplication algorithm. Experiment result shows that the proposed system can predict file modification region with high probability.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.202-205
• /
• 2012

기존의 고정 길이 분할 (FLC: Fixed Length Chunking) 중복 제거 기법은 파일이 조금이라도 수정이 되면 수정된 블록에 대한 해시 정보가 달라져 중복 데이터 임에도 불구하고 중복 블록으로 검색이 되지 않는 문제점이 있다. 본 연구에서는 FLC 기반의 중복 제거 기법에 데이터 위치(offset) 정보를 활용하여 중복 블록을 효율적으로 찾아냄으로써 기존의 FLC 기반의 중복 제거 기법보다 더 좋은 성능을 발휘하는 유사도 정보를 활용하는 중복 제거 기법(FS_FLC: File Similarity based Fixed Length Chunking)을 설계하고 구현했다. 실험 결과 제안한 알고리즘은 낮은 오버헤드로 가변 분할 기법(VLC: Variable Length Chunking)만큼의 높은 중복 데이터 탐색 성능을 보여주었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.05a
• /
• pp.79-82
• /
• 2013

현재 널리 사용되는 클라우드 스토리지 서비스들의 파일 동기화 기능에 있어 적게 변경된 파일 또는 이름만 변경된 파일에 있어 동기화 시 전체를 전송하는 문제가 있다. 또한 사용자들 간 동일한 파일이 존재함에도 불구하고 전체를 전송하는 문제가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 이중 레벨 메타데이터를 사용한 중복 제거 동기화 시스템을 구현하였다. 주요 아이디어는 VLC(Variable-length Chunking)를 사용하여 중복되지 않은 데이터만 전송하며 서버는 글로벌 메타데이터를 유지하여 사용자 간 중복된 데이터를 검출하는 것이다. 실험 결과로 부분 추가/삭제된 파일 전송 시 제안한 시스템이 네트워크 대역폭과 시간을 감소시키는 것을 보였다.