• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 추계학술발표논문집 (하)
• /
• pp.1453-1456
• /
• 2003

데이터의 중복은 데이터의 가용성과 시스템의 성능을 향상시키기 위해 사용한다. 대규모 부분 중복 데이터베이스에서 효율적인 중복 관리를 위해서는 정확한 수행을 보장하기 위한 정확성 검증방법과 효율적인 갱신 전파 방법이 필요하다. 이 논문에서는 부분 중복 환경에서 각 주사본 사이트의 중복 데이터에 대한 트리 구조를 기반으로 한 갱신 전파 방법을 제시하며, 갱신 지연 전파로 인해 갱신 전파도중에 발생할 수 있는 전파 트랜잭션과 주 트랜잭션의 충돌로 인한 비직렬성 문제를 타임스탬프와 상태 데이터베이스를 이용하여 해결한다. 이것은 판독 가용성을 증가시키면서 비직렬성으로 인한 재수행을 회피하게 되어 트랜잭션의 완료율을 증가시킨다.

• 정보처리학회논문지D
• /
• 제10D권4호
• /
• pp.647-654
• /
• 2003

데이터의 중복은 가용성과 시스템의 성능을 향상시키기 위하여 사용한다. 분산 데이터베이스 시스템에서는 데이터베이스의 일관성뿐만 아니라 중복 일판성도 유지해야 한다. 이 논문에서는 부분 중복 환경에서 각 데이터 마다 주사본을 루트로 하여 그 데이터의 사본들을 계층적인 트리로 조직화하고, 이 트리를 이용하여 연산들의 충돌문제를 해결하는 효율적인 알고리즘을 제안한다. 각 데이터의 계층구조화는 갱신이 데이터의 계층구조를 따라 사본이 갖는 사이트에만 전파될 수 있으므로 갱신의 불필요한 전파시간을 제거하여 갱신 전달 시간을 줄일 수 있다. 그리고 제안한 알고리즘은 지연 갱신 전파로 인하여 갱신 전파 도중에 발생할 수 있는 충돌로 인한 비직렬성 문제를 타임스탬프와 보상 트랜잭션을 이용하여 해결한다. 이러한 방식의 연산들의 충돌문제의 해결은 갱신전파 시간을 줄이면서도 일관성 있는 데이터를 제공할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.271-273
• /
• 2012

중복 제거(De-duplication) 여러 데이터를 저장한 스토리지에서 같은 내용을 담고 있는 파일자체나 블록단위의 chunk 등을 찾아 중복된 내용을 제거하여 중복된 부분은 하나의 데이터 단위를 유지함으로써 스토리지 공간을 절약할 수 있다. 본 논문에서는 실험적인 데이터가 아닌 실제 업무 환경에서 적용될만한 대용량의 데이터 백업을 가정한 상황에 대해 중복 제거 기법을 테스트해봄으로써 중복제거율과 성능을 측정하였으며 이를 시각적으로 표현하는 방법을 제안함으로써 평가자 및 사용자가 알아보기 쉽게 하였다.

• 한국통신학회논문지
• /
• 제36권12B호
• /
• pp.1498-1508
• /
• 2011

시스템의 고장, 크래킹, 오작동, 정전 등의 이유로 저장된 고객 데이터의 영구적 유실이나 일정 기간 동안의 접근 불가 상황이 발생할 때, 클라우드 스토리지 서비스 고객은 클라우드 서비스 제공자에 의한 데이터 복원이 가능하기를 기대할 수밖에 없다. 본 논문에서는 이 문제에 대해 클라우드 스토리지 시스템 내에서가 아니라 클라우드 고객의 영역에서 실현할 수 있는 솔루션을 고려한다. 본 논문은 고객이 다수의 클라우드 스토리지 제공자 들을 선택하여, 저장할 데이터 단위를 분할, 암호화 후 부분 중복 저장함으로써 일부 클라우드 스토리지에 접근이 불가능한 상황에서도 데이터 단위를 복원할 수 있는 기법 및 그 적용 구조를 제안한다. 제안 방식은 높은 데이터 가용성 보장과 더불어, 개별 사용자에 투명하게 데이터 암호화 키를 갱신할 수 있으며, 사용자별로 접근했던 데이터 단위의 목록들을 명시할 수 있어 필요 시 데이터 유출의 범위를 명확히 규정할 수 있도록 한다.

• 한국콘텐츠학회논문지
• /
• 제18권2호
• /
• pp.438-449
• /
• 2018

최근 소셜 네트워크, 인용 네트워크 등 여러 분야에서 다양한 그래프 데이터가 활용되고 있다. 시간에 따라 그래프가 동적으로 변화함에 따라 변경 내용 추적 및 특정 시점 그래프 검색을 위해 그래프 이력 데이터를 관리하는 것이 필요하다. 대부분의 이력 데이터는 시간에 따라 부분적인 변화가 발생하기 때문에 시간 단위로 데이터를 저장할 경우 변경되지 않은 데이터가 중복 저장된다. 본 논문에서는 시간별 그래프의 중복 저장을 최소화하기 위한 그래프 이력 저장 관리 기법을 제안한다. 제안하는 기법은 그래프의 변화를 계속적으로 탐지하여 과거 그래프와 중복되는 서브 그래프를 하나의 중복 스냅샷에 저장한다. 중복 스냅샷에는 다수의 델타 스냅샷이 연결되어 각 시간에 따른 변화 데이터를 유지한다. 중복 스냅샷에 저장된 중복 데이터를 공통으로 관리하여 공간의 효율을 향상시킨다. 또한, 해당 시점의 그래프를 탐색하기 위해서 중복 스냅샷과 델타 스냅샷을 연결하였다. 제안하는 기법의 우수성을 보이기 위해 다양한 성능평가를 수행한다.

• 정보처리학회논문지D
• /
• 제14D권2호
• /
• pp.217-224
• /
• 2007

CTOC에서는 정적으로 값과 타입을 결정하기 위해 변수를 배정에 따라 분리하는 SSA Form을 사용한다. SSA Form은 최근 데이터 흐름분석과 코드 최적화를 위해 컴파일러의 중간 표현으로 많이 사용되고 있다. 하지만 기존의 SSA Form은 표현적보다는 주로 변수에 관련된 것이다. 따라서 SSA Form 형태의 표현식에 대해 최적화를 적용하기 위해 중복된 표현식을 제거한다. 본 논문에서는 좀더 최적화된 코드를 얻기 위해 부분 중복 표현식을 정의하고, 부분 중복 표현식을 제거하는 방법을 구현한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 춘계학술발표대회
• /
• pp.79-82
• /
• 2013

현재 널리 사용되는 클라우드 스토리지 서비스들의 파일 동기화 기능에 있어 적게 변경된 파일 또는 이름만 변경된 파일에 있어 동기화 시 전체를 전송하는 문제가 있다. 또한 사용자들 간 동일한 파일이 존재함에도 불구하고 전체를 전송하는 문제가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 이중 레벨 메타데이터를 사용한 중복 제거 동기화 시스템을 구현하였다. 주요 아이디어는 VLC(Variable-length Chunking)를 사용하여 중복되지 않은 데이터만 전송하며 서버는 글로벌 메타데이터를 유지하여 사용자 간 중복된 데이터를 검출하는 것이다. 실험 결과로 부분 추가/삭제된 파일 전송 시 제안한 시스템이 네트워크 대역폭과 시간을 감소시키는 것을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
• /
• pp.466-469
• /
• 2011

최근에 등장한 Next Generation Sequencing(NGS)은 전통적인 방법에 비해 빠르고 저비용으로 대용량의 시퀀스 데이터를 이용한 차세대 시퀀싱 기술을 말한다. 이렇게 얻은 NGS 데이터를 분석하는 단계 중에서 alignment 단계는 시퀀서에서 얻은 대량의 read를 참조 염기서열에 맵핑하는 단계로 NGS 데이터 분석의 가장 기본이면서 핵심인 단계이다. alignment 도구는 긴 참조 염기서열을 색인화해서 짧은 read를 빠르게 맵핑하는 용도로 사용된다. 현재 많이 사용되고 있는 일반적인 alignment 도구들은 입력데이터에 대한 별도의 전처리 과정이 없으며 나열된 read를 순차적으로 맵핑하는 단순한 구조를 가지고 있다. 본 논문은 NGS 데이터의 특징 중에 특히 read간의 중복성이 존재하고 이를 이용한 read의 효율적 공통부분 서열을 찾는다. 중복이 가능한 read의 공통부분서열과 read의 관계를 그래프 이론의 Hitting Set 문제로 모델링하고 여러 read가 포함하는 공통 부분서열을 사용해서 alignment 단계의 효율을 높일 수 방법을 제안한다.

• 한국데이타베이스학회:학술대회논문집
• /
• 한국데이타베이스학회 1994년도 DB산업기술 활성화를 위한 학술대회 및 기술 심포지움
• /
• pp.71-103
• /
• 1994

중복데이타 서버(replication server) 는 자주 사용되는 데이타의 부분 또는 전부를 뷰 형태로 여러 지역에 중복하여 저장함으로써 최종 사용자가 원하는 데이터에 빨리 접근할 수 있도록 해준다. 또한 기본 테이블의 변화된 내용을 주기적으로 뷰에 반영함으로써 데이타 동시성의 문제를 완화하며 통신량을 감소시킬 수 있다. 본 연구에서는 기본 테이블에 일어난 변화를 저장뷰(materialized view)에 반영시켜주기 위해 테이블 전체를 읽는 방식을 피하고 일정기간 동안 테이블에 일어난 변화가 기록된 로그(log)를 이용하는 디프런셜 갱신(differential update) 방법을 사용한다. 이 방법은 테이블의 잠금(locking) 을 피함으로 시스템의 성능을 향상시 킬 수 있다. 또한 갱신에 관련된 통신량을 최소화하기 위한 기법들을 제안한다. 위의 방법을 이용하여 분산 상황에서 조인 저장뷰(join materialized view)의 갱신을 효과적으로 지원해 주는 중복데이타 서버(replication server)의 구조에 관해 연구한다.

• 정보보호학회논문지
• /
• 제27권6호
• /
• pp.1373-1383
• /
• 2017

중복 제거는 데이터를 효과적으로 관리하여 저장 공간의 효율성을 높이기 위한 기능이다. 중복 제거 기능이 시스템에 적용되면 저장되어 있는 파일을 청크 단위로 분할하고 중복되는 부분은 하나의 청크로만 저장함으로써 저장 공간을 효율적으로 사용할 수 있게 한다. 하지만 중복 제거된 데이터에 대해 상용 디지털 포렌식 도구에서 파일시스템 해석을 지원하지 않으며, 도구로 추출된 원본 파일을 실행하거나 열람할 수 없는 상황이다. 따라서 본 논문에서는 중복 제거 기능을 적용할 수 있는 윈도우 서버 2012 시스템을 대상으로 청크 단위의 데이터를 생성하는 과정과 그 결과로 생성되는 파일의 구조를 분석하고, 기존 연구에서 다뤄지지 않은 청크가 압축되는 경우에 대해서도 분석결과를 도출하였다. 이러한 결과를 바탕으로 디지털 포렌식 조사에서 적용할 수 있는 수집 절차와 원본 파일로 재조합하기 위한 방법을 제시한다.