• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 춘계학술발표대회
• /
• pp.68-70
• /
• 2013

대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

• 정보보호학회논문지
• /
• 제25권1호
• /
• pp.123-132
• /
• 2015

최근 클라우드 스토리지 사용이 급증함에 따라 스토리지의 효율적인 사용을 위한 데이터 중복제거 기술이 활용되고 있다. 그러나 외부 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근, 스토리지의 절약뿐만 아니라 네트워크 대역폭의 효율적인 사용을 위해 클라이언트측 중복제거 기술이 주목을 받으면서 다양한 클라이언트측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트측 소스기반 중복제거 기술을 제안한다.

• 한국차세대컴퓨팅학회논문지
• /
• 제14권5호
• /
• pp.60-70
• /
• 2018

클라우드 환경에서 다수의 사용자가 물리적 서버를 가상화하여 사용할 수 있도록 편의성을 제공하는 Software Defined Storage(SDS)를 적용하고 있지만 한정된 물리적 자원을 고려하여 공간 효율성을 최적화하는 솔루션이 필요하다. 기존의 데이터 중복제거 시스템에서는 서로 다른 스토리지에 업로드 된 중복 데이터가 중복제거되기 어렵다는 단점이 있다. 본 논문에서는 유사도기반 클러스터링과 다중 계층 블룸 필터를 적용한 분산 중복제거 기법을 제안한다. 라빈 해시를 이용하여 가상 머신 서버들 간의 유사도를 판단하고 유사도가 높은 가상머신들을 클러스터 함으로써 개별 스토리지 노드별 중복제거 효율에 비하여 성능을 향상시킨다. 또한 중복제거 프로세스에 다중 계층 블룸 필터를 접목하여 처리 시간을 단축하고 긍정오류를 감소시킬 수 있다. 실험결과 제안한 방법은 IP주소 기반 클러스터를 이용한 중복제거 기법에 비해 처리 시간의 차이가 없으면서, 중복제거율이 9% 높아짐을 확인하였다.

• 한국정보전자통신기술학회논문지
• /
• 제14권1호
• /
• pp.29-36
• /
• 2021

IT기술의 발달로 인해 발생되는 데이터양은 기하급수적으로 급격하게 증가하고 있으며, 데이터 구조의 복잡성은 높아지고 있다. 빅데이터 분석가와 빅데이터 엔지니어들은 이러한 빅데이터들을 보다 빠르게 데이터 처리 및 데이터 분석을 수행을 목표로 분석 대상의 데이터양을 최소화하기 위한 연구가 기업 및 가관 등 활발하게 이뤄지고 있다. 빅데이터 플랫폼으로 많이 활용되는 하둡은 서브프로젝트인 Hive를 통해 분석 대상의 데이터 최소화 등 다양한 데이터 처리 및 데이터 분석 기능을 제공하고 있다. 그러나 Hive는 데이터의 복잡성을 고려하지 않고 구현되어 중복 제거에 방대한 양의 메모리를 사용한다. 이에 복잡한 구조의 데이터 중복제거를 위한 효율적인 알고리즘을 제안한다. 성능평가 결과, 제안하는 알고리즘은 Hive에 비해 메모리 사용량은 최대 79%, 데이터 중복제거 시간은 0.677% 감소한다. 향후, 제안하는 알고리즘의 현실적인 검증을 위해 다수의 데이터 노드 기반 성능 평가가 필요하다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
• /
• pp.391-392
• /
• 2020

본 논문에서는 중복 데이터가 가장 많은 인터넷 뉴스 상에서 중복 뉴스를 제거하는 경우 중복 뉴스로 판단되는 유사 중복 문서를 제거할 때 정보의 유실이 발생한다. 본 논문에서는 인터넷 뉴스를 대상으로 유사 중복 뉴스를 제거할 때 발생하는 정보의 유실을 해결하기 위해 제거 된 뉴스와 결합하여 새로운 뉴스를 만드는 중복 뉴스 결합 시스템을 제안한다. 제안하는 방법은 뉴스의 기본 문장과 탐지된 중복 뉴스의 문장 간의 관계 유사도를 활용하여 유실 된 정보를 파악하고 파악된 결과를 기본 뉴스에 결합하여 정보의 유실을 최소화 시키는 것을 실험을 통해 보였다. 향후 뉴스분야뿐만 아니라 중복 문서 제거가 필요한 문서를 다루는 모든 분야에서 정보의 유실을 최소화하기 위한 방법으로 활용할 수 있을 것으로 기대 한다.

• 정보보호학회논문지
• /
• 제25권1호
• /
• pp.155-164
• /
• 2015

저장된 데이터에 대한 높은 가용성과 기밀성을 보장하는 정보분산 알고리즘은 클라우드 스토리지 등 장애 발생 비율이 높고 신뢰할 수 없는 분산 스토리지 시스템에서 유용한 방법이다. 스토리지에 저장되는 데이터의 양이 증가하면서 IT 자원을 효율적으로 활용하기 위한 데이터 중복제거기법이 많은 주목을 받고 있으며 이에 따라 데이터 중복제거가 가능한 정보분산기법에 대한 연구도 필요한 시점이다. 본 논문은 분산 스토리지 시스템에서 클라이언트 기반 중복 제거를 위한 정보분산 알고리즘과 소유권 증명 기법을 제안한다. 제안하는 방법은 저장공간 뿐만 아니라 네트워크 대역 절감이 가능하여 높은 효율성을 얻을 수 있으며 신뢰할 수 없는 스토리지 서버와 악의적인 클라이언트로부터 안전성을 보장할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.285-287
• /
• 2012

기존의 타깃(target) 기반 중복제거 시스템은 저장된 모든 파일에 대하여 각각 중복 제거를 수행한다. 이러한 중복제거 시스템의 문제점은 파일의 크기가 작고 파일의 개수가 많아지는 경우에 해시 값을 구하는 시간과 메타 데이터를 유지하는데 오버헤드가 증가한다. 이러한 문제점을 해결하기 위해 본 논문에서는 논리 파티션을 이용하여 개별 파일들을 묶어서 중복 제거를 수행하는 시스템을 설계 및 구현하였다. 실험 결과 논리 파티션의 용량이 50% 이상일 때 기존 중복제거 기법에 비해서 중복 제거 비율 및 시간적인 측면에서 더 효율적임을 보였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제11권8호
• /
• pp.259-268
• /
• 2022

데이터 양의 폭발적 증가에 따른 관리 효율성 제고를 위한 클라우드 서비스 활용이 일상으로 자리잡고 있는 현재, 데이터 프라이버시 보존을 위한 다양한 암호화 기법이 적용되고 있다. 클라우드 시스템의 방대한 컴퓨팅 자원에도 불구하고 다수 사용자로부터 아웃소싱된 데이터의 중복으로 인한 저장 효율성의 저하는 서비스 효율을 현저히 감소시키는 요인으로 작용하면서, 프라이버시가 보장된 암호문에 대한 데이터 중복제거에서의 효율성 향상을 위한 다양한 연구가 진행되고 있다. 본 연구에서는 최신 USENIX ATC에 발표된 Ren et al.의 신뢰실행환경을 활용한 암호문에 대한 중복제거의 효율성 개선을 위한 연구결과를 분석하고 서비스에 참여하는 키 관리 서버를 사용자에 통합함으로써 제3의 독립적인 키 관리 서버의 필요성을 제거하면서도 키 관리의 안정성 개선 방법을 제시한다. 실험을 통하여 제안 기법에서 약 30%의 통신 효율 개선 효과를 얻을 수 있음을 확인하였다.

• 컴퓨터교육학회논문지
• /
• 제17권2호
• /
• pp.97-106
• /
• 2014

다양한 데이터 집중적인 응용 서비스의 증가로 인해 사용자 데이터가 급증하고 있으며 방대한 양의 데이터 저장 및 백업에 대한 관심이 높아지고 있다. 특히 기존 일반적 증분백업 기술들이 SAN 기반의 대용량 데이터 서비스 환경에 적합하지 않아 백업 시스템의 성능저하 문제가 심각하다. SANique Smart Vault 시스템은 이러한 요구사항을 만족하는 데이터 중복제거 기반의 고성능 백업 솔루션이다. 본 논문에서는 SANique Smart Vault 시스템의 개략적 시스템 구조에 대하여 설명하고 특히 백업대상 목록의 탐색과정을 개선한 저널링 기반의 델타 증분백업 기술 및 레코드 레벨의 데이터 중복제거 기능의 구현기술에 대하여 설명한다. 또한 제안된 무기한 증분백업 기능과 데이터 중복 제거 기능은 타 상용 시스템들과의 성능비교를 통해 백업 오버헤드 측면의 성능 우수성을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.274-277
• /
• 2012

중복 제거(De-duplication) 기법은 파일시스템 내에서 동일한 내용의 데이터 블록이나 파일의 중복을 제거하여 유일한 내용만을 보관함으로써, 저장장치의 낭비를 막을 수 있다. 상반된 개념으로 결함극복을 위하여 동일한 파일시스템이나 시스템 구성요소를 복제(이중화)함으로써, 일부 시스템 결함시 복제(이중화)된 다른 시스템을 이용하여 신뢰성과 가용도를 향상시킬 수 있다. 그러나 결함 극복을 위한 파일시스템의 이중화는 저장장치의 낭비화 복제된 파일시스템의 일치성 유지에 비용이 소요된다. 본 논문에서는 일정 수준의 가용도를 유지하기 위한 중복제거 기법을 제안하고 성능을 평가하였다. 제안하는 고가용도 중복제거 기법에서는 요구되는 가용도를 유지할 수 있는 범위내에서 중복을 제거하며, 필요에 따라 선택적으로 중복을 유지할 수 있도록 한다.