• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2019년도 춘계종합학술대회
• /
• pp.9-10
• /
• 2019

NGS 분석과정 중 증폭된 DNA 리드(Read)는 중복이 발생하여 이로 인해 다음 단계의 정확도 저하 등의 문제를 야기한다. 이 논문에서는 기존 DNA 리드 중복 제거 도구 중 하나인 Samblaster의 중복제거 알고리즘을 이용하여 분산 병렬 형태로 중복제거를 수행하는 방법을 제안한다. 제안하는 중복제거 방법은 중복제거 전단계인 정렬단계애서 정렬된 리드에 대해 중복제거 키를 생성하고 이를 스트림으로 전달하여 중복제거를 수행한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.714-717
• /
• 2015

기존의 암호데이터 중복제거 기술은 데이터의 중복 여부를 판단하기 위해 다양한 방식으로 데이터를 전송하고 이를 기존에 저장된 데이터와 비교하여 중복여부를 판단하게 된다. 이러한 데이터 중복제거 기술의 중복제거 효율성을 높이기 위해 최근 블록 단위의 중복제거 기술이 사용되고 있다. 하지만 블록 단위 중복제거 기술의 적용 과정에서 다양한 보안 위협이 발생하는데, 이 중 포이즌 어택은 무결성 및 데이터 저장 시 저장되는 데이터에 대한 검증이 이루어지지 않는 시스템에서 발생하는 위협 중 하나이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 연구되어 제안되었지만 과도하게 많은 통신 횟수와 연산이 발생되어 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량에서 보다 효율적인 암호데이터 중복제거 기술을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 춘계학술발표대회
• /
• pp.188-190
• /
• 2012

클라우드 스토리지에 저장되는 데이터가 급증하면서 데이터 중복으로 인한 스토리지의 저장 비용이 증가하고 있다. 이러한 데이터 중복 문제를 해결하기 위해서 기존의 스토리지 환경에서는 다양한 데이터 중복제거 기술이 제안되었다. 이에 본 논문에서는 클라우드 스토리지를 위한 데이터 중복제거 기술의 분석을 통하여 대규모 클라우드 스토리지에서의 데이터 중복 제거율을 높이기 위해 데이터 유형의 특성을 고려한 스토리지 중복제거 기술의 필요성을 제시한다.

• 정보과학회 논문지
• /
• 제43권10호
• /
• pp.1165-1172
• /
• 2016

클라우드 스토리지 환경에서 중복제거 기술은 스토리지의 효율적인 활용을 가능하게 한다. 또한 클라우드 스토리지 서비스 제공자들은 네트워크 대역폭을 절약하기 위해 클라이언트 측 중복제거 기술을 도입하고 있다. 클라우드 스토리지 서비스를 이용하는 사용자들은 민감한 데이터의 기밀성을 보장하기 위해 데이터를 암호화하여 업로드하길 원한다. 그러나 일반적인 암호화 방식은 사용자마다 서로 다른 비밀키를 사용하기 때문에 중복제거와 조화를 이룰 수 없다. 또한 클라이언트 측 중복제거는 태그 값이 전체 데이터를 대신하기 때문에 안전성에 취약할 수 있다. 최근 클라이언트 측 중복제거의 취약점을 보완하기 위해 소유권 증명 기법들이 제안되었지만 여전히 암호데이터 상에서 클라이언트 측 중복제거 기술은 효율성과 안전성에 문제점을 가지고 있다. 본 논문에서는 전수조사 공격에 저항성을 갖고 암호데이터 상에서 소유권 증명을 수행하는 안전하고 실용적인 클라이언트 측 중복제거 기술을 제안한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제20권12호
• /
• pp.623-631
• /
• 2014

데이터 중복제거 파일시스템인 LessFS와 SDFS의 성능을 비교하면, LessFS는 CPU 점유율과 수행 시간에서 성능이 우수하고, SDFS는 중복제거 이후 저장소 사용량이 다른 파일시스템보다 1/8 정도의 이점을 가지고 있다. 본 논문은 SDFS의 장점인 중복제거 이후 저장소 사용량 감소와 LessFS의 장점인 낮은 CPU 점유율과 수행 시간 감소의 장점을 지니는 새로운 방식을 제안한다. SDFS의 Dedup File Engines (DFE) n개를 이용하되, Dedup Storage Engines (이하 DSE) 1개를 두어 중복제거 데이터의 정합성과 일관성을 유지하는 방식이다. 제안하는 방식을 2개의 DFE와 1개의 DSE를 가진 시험환경에 구현하고 성능 비교를 수행한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
• /
• pp.391-392
• /
• 2020

본 논문에서는 중복 데이터가 가장 많은 인터넷 뉴스 상에서 중복 뉴스를 제거하는 경우 중복 뉴스로 판단되는 유사 중복 문서를 제거할 때 정보의 유실이 발생한다. 본 논문에서는 인터넷 뉴스를 대상으로 유사 중복 뉴스를 제거할 때 발생하는 정보의 유실을 해결하기 위해 제거 된 뉴스와 결합하여 새로운 뉴스를 만드는 중복 뉴스 결합 시스템을 제안한다. 제안하는 방법은 뉴스의 기본 문장과 탐지된 중복 뉴스의 문장 간의 관계 유사도를 활용하여 유실 된 정보를 파악하고 파악된 결과를 기본 뉴스에 결합하여 정보의 유실을 최소화 시키는 것을 실험을 통해 보였다. 향후 뉴스분야뿐만 아니라 중복 문서 제거가 필요한 문서를 다루는 모든 분야에서 정보의 유실을 최소화하기 위한 방법으로 활용할 수 있을 것으로 기대 한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.285-287
• /
• 2012

기존의 타깃(target) 기반 중복제거 시스템은 저장된 모든 파일에 대하여 각각 중복 제거를 수행한다. 이러한 중복제거 시스템의 문제점은 파일의 크기가 작고 파일의 개수가 많아지는 경우에 해시 값을 구하는 시간과 메타 데이터를 유지하는데 오버헤드가 증가한다. 이러한 문제점을 해결하기 위해 본 논문에서는 논리 파티션을 이용하여 개별 파일들을 묶어서 중복 제거를 수행하는 시스템을 설계 및 구현하였다. 실험 결과 논리 파티션의 용량이 50% 이상일 때 기존 중복제거 기법에 비해서 중복 제거 비율 및 시간적인 측면에서 더 효율적임을 보였다.

• 정보과학회 논문지
• /
• 제43권2호
• /
• pp.143-151
• /
• 2016

데이터 중복제거 기술은 클라우드 스토리지를 절약하기 위해 반드시 필요한 기술이다. 평문데이터 중복제거 기술은 기본적으로 데이터의 기밀성을 유지하지 못하므로 암호데이터 중복제거 기술이 필요함은 당연하다. 본 논문은 키 발급 서버의 도움을 받는 암호데이터 중복제거 기술에 대해 연구하며 그 중 Bellare 등이 제안한 기법에 대한 분석 및 구현을 수행하였으며 키 발급 서버를 이용한 기술에 대한 효율성 측정을 위해 상용 클라우드 서비스 상에 Bellare 등이 제안한 기법과 평문 및 ConvergentEncryption에 대한 성능 측정을 수행하였다. 또한 상용 클라우드 서비스인 Dropbox 및 공개 클라우드 서비스 중 하나인 Openstack의 Swift상에 구현 및 효율성 측정을 수행함으로써 키 발급 서버를 이용한 암호데이터 중복제거 기술에 대한 범용성을 검증하였다.

• 한국차세대컴퓨팅학회논문지
• /
• 제14권5호
• /
• pp.60-70
• /
• 2018

클라우드 환경에서 다수의 사용자가 물리적 서버를 가상화하여 사용할 수 있도록 편의성을 제공하는 Software Defined Storage(SDS)를 적용하고 있지만 한정된 물리적 자원을 고려하여 공간 효율성을 최적화하는 솔루션이 필요하다. 기존의 데이터 중복제거 시스템에서는 서로 다른 스토리지에 업로드 된 중복 데이터가 중복제거되기 어렵다는 단점이 있다. 본 논문에서는 유사도기반 클러스터링과 다중 계층 블룸 필터를 적용한 분산 중복제거 기법을 제안한다. 라빈 해시를 이용하여 가상 머신 서버들 간의 유사도를 판단하고 유사도가 높은 가상머신들을 클러스터 함으로써 개별 스토리지 노드별 중복제거 효율에 비하여 성능을 향상시킨다. 또한 중복제거 프로세스에 다중 계층 블룸 필터를 접목하여 처리 시간을 단축하고 긍정오류를 감소시킬 수 있다. 실험결과 제안한 방법은 IP주소 기반 클러스터를 이용한 중복제거 기법에 비해 처리 시간의 차이가 없으면서, 중복제거율이 9% 높아짐을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 춘계학술발표대회
• /
• pp.218-221
• /
• 2010

현재 중복 제거 기술은 클라이언트 기반 중복 제거 모델, 인라인(in-line) 중복 제거 모델 그리고 포스트 프로세스(post-process) 중복 제거 모델로 구분할 수 있다. 본 연구에서는 클라이언트와 서버의 부하를 모니터링하여 시스템 부하에 따라 중복 제거의 핵심 작업을 동적으로 변경한다. 즉, 클라이언트가 유휴하고 서버의 자원 사용량이 높은 경우에는 클라이언트 기반 중복 제거 모델로 동작시키고, 클라이언트의 자원 사용량이 높고 서버가 유휴한(idle) 경우에는 인라인 중복 제거 모델로 동작시킨다. 그리고 전체 시스템이 과부하인 경우는 포스트 프로세스 모델로 동작하게 된다. 제안하는 방식에 대한 실험 결과 전체 시스템의 처리율이 높아지는 것을 확인하였다.