• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 춘계학술발표대회
• /
• pp.218-221
• /
• 2010

현재 중복 제거 기술은 클라이언트 기반 중복 제거 모델, 인라인(in-line) 중복 제거 모델 그리고 포스트 프로세스(post-process) 중복 제거 모델로 구분할 수 있다. 본 연구에서는 클라이언트와 서버의 부하를 모니터링하여 시스템 부하에 따라 중복 제거의 핵심 작업을 동적으로 변경한다. 즉, 클라이언트가 유휴하고 서버의 자원 사용량이 높은 경우에는 클라이언트 기반 중복 제거 모델로 동작시키고, 클라이언트의 자원 사용량이 높고 서버가 유휴한(idle) 경우에는 인라인 중복 제거 모델로 동작시킨다. 그리고 전체 시스템이 과부하인 경우는 포스트 프로세스 모델로 동작하게 된다. 제안하는 방식에 대한 실험 결과 전체 시스템의 처리율이 높아지는 것을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 춘계학술발표대회
• /
• pp.909-912
• /
• 2009

기존의 저장 방식은 대용량의 데이터를 비효율적으로 처리해 왔지만 데이터 중복 제거 기법을 이용하면서 저장 공간과 네트워크 대역폭을 효율적으로 사용할 수 있게 되었다. 그러나 기존의 데이터 중복 제거 알고리즘들은 수행시간이 길고 중복 데이터를 효율적으로 제거하지 못하는 문제가 있다. 본 논문에서는 개선된 중복 검색 및 제거 메커니즘을 제공하는 저장 시스템을 제안하고 있다. 제안하는 알고리즘은 저장 공간을 최소화하고 네트워크 대역폭을 줄일 수 있다. 주요 아이디어는 스트라이드 방식의 중복 검색 메커니즘이며 중복된 데이터 블록을 발견하는데 있어서 계산 시간을 줄여주고 있다. 제안하는 시스템의 성능을 검증하기 위하여 리눅스 배포 데이터를 저장하는 실험을 수행하였으며 실험 결과 스트라이드 방식이 저장 공간을 줄이고 중복된 데이터 블록을 효율적으로 관리할 수 있음을 보였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제33권12호
• /
• pp.907-917
• /
• 2006

본 논문에서는 각 중복서비스의 수행형태가 결정적이냐 비결정적이냐에 따라 알맞은 수동형중복 프로토콜을 적용함으로써 이동 에이전트 시스템에서 중복 서비스의 결함포용성과 확장성을 향상시키는 새로운 전략을 제안한다. 이러한 목적을 위해 두 개의 수동형 중복 프로토콜들인 PRPNS과 PRPDS를 각각 비결정적 중복 서비스와 결정적 중복 서비스를 위해 설계한다. 이 두 프로토콜들은 모두 방문 이동 에이전트들이 반드시 주 서비스 에이전트만이 아니라 보조 서비스 에이전트를 수행하는 임의의 노드로 전달되어 수행될 수 있도록 한다. 특히, 프로토콜 PRPDS는 임의의 보조 서비스 에이전트가 이동 에이전트 요구 메시지를 수신하고, 주 서비스 에이전트로부터 그 요구 메시지의 전달 일련번호를 얻은 후에, 그 보조 서비스 에이전트가 해당 요구 메시지를 처리하고 다른 중복 서비스 에이전트들과의 조정역할을 할 수 있도록 한다. 따라서, 이 두 프로토콜들을 사용하는 본 논문의 전략은 이동 에이전트 시스템에서 매우 많은 수의 이동 에이전트들이 동시에 접근하고자 하는 중복서비스의 높은 확장성을 보장할 수 있다. 본 시뮬레이션 결과는 제안된 전략이 기존의 수동형 중복프로토콜만을 사용하는 전략에 비해 매우 향상된 성능을 발휘한다는 것을 보여준다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제20권12호
• /
• pp.623-631
• /
• 2014

데이터 중복제거 파일시스템인 LessFS와 SDFS의 성능을 비교하면, LessFS는 CPU 점유율과 수행 시간에서 성능이 우수하고, SDFS는 중복제거 이후 저장소 사용량이 다른 파일시스템보다 1/8 정도의 이점을 가지고 있다. 본 논문은 SDFS의 장점인 중복제거 이후 저장소 사용량 감소와 LessFS의 장점인 낮은 CPU 점유율과 수행 시간 감소의 장점을 지니는 새로운 방식을 제안한다. SDFS의 Dedup File Engines (DFE) n개를 이용하되, Dedup Storage Engines (이하 DSE) 1개를 두어 중복제거 데이터의 정합성과 일관성을 유지하는 방식이다. 제안하는 방식을 2개의 DFE와 1개의 DSE를 가진 시험환경에 구현하고 성능 비교를 수행한다.

• 한국정보과학회논문지:데이타베이스
• /
• 제32권2호
• /
• pp.177-192
• /
• 2005

본 논문에서는 XML 데이타를 릴레이션으로 분할 저장할 경우, 분할된 XML 데이타로부터 질의 결과 XML 문서를 재구성하는데 소모되는 질의 처리비용을 줄이기 위한 구조적 중복 방법을 소개한다. 기본 아이디어는 주어진 질의 패턴을 분석하여, 적절한 데이타들을 중복시킴으로서 질의 처리 성능을 향상시키는 것이다. 이러한 구조적 중복 방법으로 실질적으로 유효할 수 있는 ID, VALUE, SUBTREE의 세 가지 유형의 특성을 분석하였다. 본 논문에서는 추가적으로 주어진 XML 데이타와 질의들이 매우 크고 복잡할 경우 최적의 중복 집합을 팎는 것이 매우 어려운 작업이 될 수 있으므로, 이를 위한 경험적 탐색 방법을 소개한다. 마지막으로 몇 가지 실험을 통하여, 중복 데이타를 사용함으로 발생하는 XML 질의 처리비용과 제안된 탐색 방법의 효율성을 분석한다. 중복 데이타를 사용함으로 XML 판독 질의는 빨라지지만, XML 갱신 질의는 중복 데이타의 갱신 일관성 비용 때문에 느려지는 것은 당연하다. 하지만 실험 결과는 매우 과도한 갱신 비용의 경우에도 in-place ID 중복은 효율적이며, 갱신 비용이 매우 과도하지만 않다면 multiple-place SUBTREE 중복은 판독 질의 처리 성능을 크게 향상시킬 수 있음을 보여주었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.379-381
• /
• 2012

중복 제거(deduplication)기법은 저장장치의 공간을 효율적으로 사용할 수 있도록 해 주기 때문에 기존의 스토리지 시스템에서 많이 사용된 기법이다. 최근에는 플래시 메모리 기반의 SSD를 위한 중복 제거 기법도 많이 제안되었지만, 플래시 메모리의 특성을 고려하지 못하고 있다. 본 논문에서는 오프라인 중복 제거 기법을 대상으로 SSD의 특성을 고려하여 가비지 컬렉션의 비용을 절감할 수 있도록 중복 가능성이 있는 데이터와 중복 가능성이 없는 데이터를 온라인에 구분하여 플래시 메모리의 다른 영역에 기록하여 오프라인 중복 제거 후에 가비지 컬렉션 성능을 향상시키는 기법을 제안하였다. 실험결과, 제시된 기법은 가비지 컬렉션 비용인 페이지 이동 횟수를 약 80%이상 감소시켰다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.285-287
• /
• 2012

기존의 타깃(target) 기반 중복제거 시스템은 저장된 모든 파일에 대하여 각각 중복 제거를 수행한다. 이러한 중복제거 시스템의 문제점은 파일의 크기가 작고 파일의 개수가 많아지는 경우에 해시 값을 구하는 시간과 메타 데이터를 유지하는데 오버헤드가 증가한다. 이러한 문제점을 해결하기 위해 본 논문에서는 논리 파티션을 이용하여 개별 파일들을 묶어서 중복 제거를 수행하는 시스템을 설계 및 구현하였다. 실험 결과 논리 파티션의 용량이 50% 이상일 때 기존 중복제거 기법에 비해서 중복 제거 비율 및 시간적인 측면에서 더 효율적임을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 추계학술발표논문집 (하)
• /
• pp.1453-1456
• /
• 2003

데이터의 중복은 데이터의 가용성과 시스템의 성능을 향상시키기 위해 사용한다. 대규모 부분 중복 데이터베이스에서 효율적인 중복 관리를 위해서는 정확한 수행을 보장하기 위한 정확성 검증방법과 효율적인 갱신 전파 방법이 필요하다. 이 논문에서는 부분 중복 환경에서 각 주사본 사이트의 중복 데이터에 대한 트리 구조를 기반으로 한 갱신 전파 방법을 제시하며, 갱신 지연 전파로 인해 갱신 전파도중에 발생할 수 있는 전파 트랜잭션과 주 트랜잭션의 충돌로 인한 비직렬성 문제를 타임스탬프와 상태 데이터베이스를 이용하여 해결한다. 이것은 판독 가용성을 증가시키면서 비직렬성으로 인한 재수행을 회피하게 되어 트랜잭션의 완료율을 증가시킨다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.274-277
• /
• 2012

중복 제거(De-duplication) 기법은 파일시스템 내에서 동일한 내용의 데이터 블록이나 파일의 중복을 제거하여 유일한 내용만을 보관함으로써, 저장장치의 낭비를 막을 수 있다. 상반된 개념으로 결함극복을 위하여 동일한 파일시스템이나 시스템 구성요소를 복제(이중화)함으로써, 일부 시스템 결함시 복제(이중화)된 다른 시스템을 이용하여 신뢰성과 가용도를 향상시킬 수 있다. 그러나 결함 극복을 위한 파일시스템의 이중화는 저장장치의 낭비화 복제된 파일시스템의 일치성 유지에 비용이 소요된다. 본 논문에서는 일정 수준의 가용도를 유지하기 위한 중복제거 기법을 제안하고 성능을 평가하였다. 제안하는 고가용도 중복제거 기법에서는 요구되는 가용도를 유지할 수 있는 범위내에서 중복을 제거하며, 필요에 따라 선택적으로 중복을 유지할 수 있도록 한다.

• 응용통계연구
• /
• 제13권1호
• /
• pp.105-113
• /
• 2000

Wollenberg(1977)의 중복분석(redundancy analysis)을 두 개 이상의 변수집단이 주어져 있는 경우로 확장하고, 확장된 중복분석과 일반화 정준상관분석의 관계를 논의하며, 이 관계를 이용하여 새로운 형태의 일반화 정준상관분석을 제안한다.