• Title/Summary/Keyword: de-duplication

Search Result 38, Processing Time 0.033 seconds

De-duplication of Parity Disk in SSD-Based RAID System (SSD 기반의 RAID 시스템에서 패리티 디스크의 중복 제거)

  • Yang, Yu-Seok;Lee, Seung-Kyu;Kim, Deok-Hwan
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.50 no.1
    • /
    • pp.105-113
    • /
    • 2013
  • RAID systems have been widely used by connecting several disks in parallel structure. to resolve the delay and bottleneck of data I/O. Recently, SSD based RAID systems are emerging since SSDs have better I/O performance than HDD. However, endurance and power consumption problems due to frequent write operation in SSD based RAID system should be resolved. In this paper, we propose a de-duplication method of parity disk in SSD based RAID system with expensive update cost. The proposed method segments chunk of parity data into small pieces and removes duplicate data, therefore, it can reduce wear-leveling and power consumption by decreasing write operation for duplicated parity data. Experimental results show that bit update rate of the proposed method is 16% in total disk, 31% in parity disk less than that of existing method in RAID-6 system using EVENODD erasure code, and the power consumption of the proposed method is 30% less than that of existing method. Besides the proposed method is 12% in total disk, 32% in parity disk less than that of existing method in RAID-5 system, and the power consumption of the proposed method is 36% less than that of existing method.

A Method of Summary based Indexing in De-duplication File System (중복제거 파일시스템에서 서머리 기반 인덱싱 기법)

  • Lee, Joongsoo;Ahn, Chang-Won
    • Annual Conference of KIPS
    • /
    • 2012.11a
    • /
    • pp.312-313
    • /
    • 2012
  • 중복제거 파일 시스템은 가상머신 이미지와 같이 서로 중복되는 데이터가 많은 파일에서 용량을 줄이기 위하여 많이 사용된다. 중복제거를 위하여 많은 경우 서머리 벡터와 인덱스를 함께 사용하고 있는데, 이는 메모리를 많이 소모하고 인덱스 구조에 따라 여러 번의 하드 디스크 접근을 해야 하는 한계가 있었다. 본 논문에서는 서머리 벡터를 인덱스 내에서 활용하고 하드디스크를 접근하는 횟수를 감소할 수 있는 인덱싱 기법을 제안한다.

A Study on De-Duplication for Cloud Storage Systems (클라우드 스토리지 시스템을 위한 중복제거 기술 연구)

  • Kim, Taehun;Kim, Jee Hong;Eom, Young Ik
    • Annual Conference of KIPS
    • /
    • 2012.04a
    • /
    • pp.188-190
    • /
    • 2012
  • 클라우드 스토리지에 저장되는 데이터가 급증하면서 데이터 중복으로 인한 스토리지의 저장 비용이 증가하고 있다. 이러한 데이터 중복 문제를 해결하기 위해서 기존의 스토리지 환경에서는 다양한 데이터 중복제거 기술이 제안되었다. 이에 본 논문에서는 클라우드 스토리지를 위한 데이터 중복제거 기술의 분석을 통하여 대규모 클라우드 스토리지에서의 데이터 중복 제거율을 높이기 위해 데이터 유형의 특성을 고려한 스토리지 중복제거 기술의 필요성을 제시한다.

Data Backup System Exploiting De-duplication TAR Scheme (중복제거 TAR 기법을 적용한 백업 시스템)

  • Kang, Sung-Woon;Jung, Ho-Min;Lee, Jeong-Gun;Ko, Young-Woong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.539-542
    • /
    • 2011
  • TAR와 같은 아카이브 포맷에는 파일 중복을 제거하는 기능이 포함되어 있지 않아서 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생하였다. 본 연구에서는 파일 중복 제거 기능을 추가한 TAR형태의 압축 포맷인 DTAR와 이를 제어하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 클라이언트에서 DTAR 생성 시, 헤더에 SHA1 해시 정보를 추가하여 DTM 유틸리티를 통해 SHA1 해시를 노드로 하는 R-B Tree를 생성하고 이를 서버에 저장된 해시 정보와 비교하여 DTAR내에서 중복이 없는 파일을 선택적으로 파일을 압축하고 서버로 백업하고 관리하는 것이다. 실험 결과 DTM을 통한 백업은 중복 데이터가 누적될수록 DTAR가 tar.gz보다 공간적인 측면이나 백업을 위한 데이터 패킷 전송 시간에서 크게 향상된 성능을 보였다.

Secure Data De-duplication Scheme for Protect of Data Ownership Using Bloom Filter (블룸필터 활용을 통한 데이터 소유권 보호 암호데이터 중복제거 기술)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Annual Conference of KIPS
    • /
    • 2016.04a
    • /
    • pp.270-273
    • /
    • 2016
  • 암호데이터 중복제거 기술이란 클라우드 서버에 전송된 데이터를 기존의 클라우드 서버에 저장된 데이터와 비교하여 데이터의 중복된 저장을 방지하는 기술이다. 이러한 데이터 중복제거 기술은 다양한 보안 위협이 발생하는데, 이 중 소유권 위조 공격은 원본 데이터를 소유하지 않은 공격자가 데이터의 소유권을 획득하여 클라우드 스토리지에 저장된 데이터를 취득할 수 있는 위협이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 제안되어왔지만 과도하게 많은 통신 횟수와 연산량으로 인해 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량 측면에서 효율적인 암호데이터 중복제거 기술을 제안한다.

Study on CCTV Data De-duplication in Cloud Storage Environments (클라우드 스토리지 환경에서의 CCTV 데이터 중복제거 수행 기술 연구)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.172-173
    • /
    • 2018
  • CCTV 기술은 실시간으로 영상을 수집하여 저장소에 보관하는 기술을 의미한다. 이러한 환경에서 데이터 저장소의 가용성은 매우 중요하다. 데이터가 축적될수록 스토리지 공간의 확장은 매우 중요해지며, 이를 위해 최근에는 클라우드 스토리지를 이용하여 저장 공간을 비교적 수월하게 확장하고 이용할 수 있는 환경이 제시되고 있다. 하지만 이러한 환경에서도 데이터의 지속된 저장은 저장 공간의 추가 이용을 위한 비용의 증가로 직결되기 때문에 데이터를 효율적으로 저장하기 위한 방안의 논의되었다. 데이터 중복제거 기술은 이러한 기술 중 하나로 데이터의 중복된 저장을 방지하여 스토리지 공간을 보다 효율적으로 이용할 수 있도록 하는 기술이다. 하지만 CCTV 환경에 클라우드 스토리지와 데이터 중복제거 기술을 적용하면서 추가적인 보안 이슈가 발생하였다. 따라서 본 연구에서는 이러한 문제를 해결하기 위한 연구를 수행하며, 이를 통해 보다 효율적인 데이터 저장을 수행하는 동시에 안전하게 데이터를 보관하는 방법을 제안한다.

High-throughput identification of chrysanthemum gene function and expression: An overview and an effective proposition

  • Nguyen, Toan Khac;Lim, Jin Hee
    • Journal of Plant Biotechnology
    • /
    • v.48 no.3
    • /
    • pp.139-147
    • /
    • 2021
  • Since whole-genome duplication (WGD) of diploid Chrysanthemum nankingense and de novo assembly whole-genome of C. seticuspe have been obtained, they have afforded to perceive the diversity evolution and gene discovery in the improved investigation of chrysanthemum breeding. The robust tools of high-throughput identification and analysis of gene function and expression produce their vast importance in chrysanthemum genomics. However, the gigantic genome size and heterozygosity are also mentioned as the major obstacles preventing the chrysanthemum breeding practices and functional genomics analysis. Nonetheless, some of technological contemporaries provide scientific efficient and promising solutions to diminish the drawbacks and investigate the high proficient methods for generous phenotyping data obtaining and system progress in future perspectives. This review provides valuable strategies for a broad overview about the high-throughput identification, and molecular analysis of gene function and expression in chrysanthemum. We also contribute the efficient proposition about specific protocols for considering chrysanthemum genes. In further perspective, the proper high-throughput identification will continue to advance rapidly and advertise the next generation in chrysanthemum breeding.

Memory De-duplication Mechanism using File I/O Operations in Mobile Devices (모바일 환경에서 파일 입출력 연산을 활용한 메모리 중복 제거 기법)

  • Lee, Seho;Kim, Inhyeok;Eom, Young Ik
    • Annual Conference of KIPS
    • /
    • 2013.11a
    • /
    • pp.44-45
    • /
    • 2013
  • 전 세계의 스마트폰 보급률이 증가와 함께 새로운 형태의 스마트 워치, 구글 글래스 등의 모바일 장비들이 등장하고 있다. 이는 제한된 자원을 사용하는 스마트폰 환경에서 효율적으로 CPU, 메모리, 저장 장치들을 효과적으로 사용하기 위한 연구를 필요로 한다. 이에 본 논문에서는 안드로이드 환경에서 부족 메모리의 공간 확보를 위해 동일한 내용의 페이지 캐시를 찾고, 중복 제거하는 기법을 제안한다. 이는 부족한 메모리 공간 확보와 캐시를 지속하여 I/O 연산의 빈도를 줄여 스마트폰 성능 향상을 가져올 것으로 기대된다.

Performance Improvement of Storage System Using De-duplication (중복 데이터 관리 기법을 통한 저장 시스템 성능 개선)

  • Jeong, Ho-Min;Kim, Byung-Ki;Kim, Jin;Ko, Young-Woong
    • Annual Conference of KIPS
    • /
    • 2009.04a
    • /
    • pp.909-912
    • /
    • 2009
  • 기존의 저장 방식은 대용량의 데이터를 비효율적으로 처리해 왔지만 데이터 중복 제거 기법을 이용하면서 저장 공간과 네트워크 대역폭을 효율적으로 사용할 수 있게 되었다. 그러나 기존의 데이터 중복 제거 알고리즘들은 수행시간이 길고 중복 데이터를 효율적으로 제거하지 못하는 문제가 있다. 본 논문에서는 개선된 중복 검색 및 제거 메커니즘을 제공하는 저장 시스템을 제안하고 있다. 제안하는 알고리즘은 저장 공간을 최소화하고 네트워크 대역폭을 줄일 수 있다. 주요 아이디어는 스트라이드 방식의 중복 검색 메커니즘이며 중복된 데이터 블록을 발견하는데 있어서 계산 시간을 줄여주고 있다. 제안하는 시스템의 성능을 검증하기 위하여 리눅스 배포 데이터를 저장하는 실험을 수행하였으며 실험 결과 스트라이드 방식이 저장 공간을 줄이고 중복된 데이터 블록을 효율적으로 관리할 수 있음을 보였다.

Design and Implementation of Disk Archive System Exploiting De-duplication Scheme (데이터 중복 제거 기반의 디스크 아카이브 시스템 설계 및 구현)

  • Kang, Sung-Woon;Jung, Ho-Min;Ko, Young-Woong;Lee, Jeong-Gun
    • Annual Conference of KIPS
    • /
    • 2011.04a
    • /
    • pp.204-206
    • /
    • 2011
  • 기존의 TAR와 같은 아카이브 포맷은 파일의 중복을 제거하는 기능이 포함되지 않아 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생했다. 본 연구에서는 중복 제거 기능이 포함된 아카이브 포맷인 DTAR와 이를 지원하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 DTAR 헤더에 SHA1 해시를 삽입하고 SHA1 해시를 노드로 하는 R-B Tree를 생성하여 중복을 검색 및 제거하는 것이다. 실험 결과 DTAR가 tar.gz보다 최대 31% 공간을 절약하고, 수행 시간도 줄어드는 것을 확인하여 효율적임을 보였다.