• 제목/요약/키워드: deduplication

검색결과 71건 처리시간 0.247초

효율적인 중복제거 메커니즘을 적용한 백업 시스템 (Backup System with Effective File Deduplication Mechanism)

  • 정호민;김병기;유재봉;김진;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.1233-1236
    • /
    • 2007
  • 인터넷과 PC 사용의 증대로 개인 사용자, 소규모 그룹의 중요한 파일 백업의 필요성이 증가하고 있다. 그러나 상용 백업 소프트웨어의 규모나 비용이 개인 또는 소규모 그룹에 맞지 않는 문제점을 안고 있다. 본 논문에서는 오픈소스의 범용 시스템을 기반으로 한 백업 시스템을 네트워크를 통해 연결된 백업 서버에 자동으로 백업 및 복구를 해주는 시스템을 제안하고 구현하였다.

  • PDF

효율적인 RDF 데이터 검색을 위한 중복 제거 색인 방법 (Indexing method with deduplication for efficient RDF data retrieving)

  • 장형규;방성호;오상윤
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제61차 동계학술대회논문집 28권1호
    • /
    • pp.61-62
    • /
    • 2020
  • RDF의 활용이 증가하면서 RDF데이터를 저장하는 방법 또한 많은 연구가 이루어졌다. 그래프 형태인 RDF 데이터를 테이블로 바꿀 때, 동일한 데이터가 중복 저장되어 검색 시 불필요한 연산을 하는 문제점이 발생한다. 본 논문에서는 중복저장 및 불필요한 검색을 줄이기 위해 색인을 주어(S), 목적어(O) 색인과 이들의 중복 값을 별도의 색인을 만들고, 검색 시 중복 값을 확인하여 필요한 색인만 검색하는 기법을 제안한다. 실험에서 본 기법을 사용하여 불필요한 검색을 줄여서 전체적인 검색 시간이 줄어드는 것을 확인하였다.

  • PDF

중복 제거 기술을 이용한 스마트폰 백업 시스템 (Smartphone Backup System Using Deduplication Scheme)

  • 정호민;김병기;송창근;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.1803-1806
    • /
    • 2010
  • 스마트폰에서 용량을 많이 차지하는 멀티미디어 컨텐츠, 응용 프로그램 데이터가 증가하면서 스마트폰을 위한 백업 프로그램에 대한 요구가 증가하고 있다. 본 논문에서는 중복 제거 기법을 적용한 스마트폰 백업 기술을 제안함으로 네트워크 대역폭을 효율적으로 사용하고 저장 공간을 줄일 수 있는 방안을 제시하고 있다. 제안하는 중복 제거 방식은 스마트폰에서 각 파일을 일정한 크기의 블록 단위로 분할하고 지문을 부여하고, 지문이 동일하지 않을 경우에만 데이터를 전송하는 방식을 사용한다. 실험결과 제안하는 방식이 네트워크 대역폭 및 저장 공간을 효율적으로 사용함을 보이고 있다.

  • PDF

동적 모드 변경을 제공하는 중복 제거 서버 (Deduplication Server Supporting Dynamic Mode Change)

  • 정호민;김진;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.218-221
    • /
    • 2010
  • 현재 중복 제거 기술은 클라이언트 기반 중복 제거 모델, 인라인(in-line) 중복 제거 모델 그리고 포스트 프로세스(post-process) 중복 제거 모델로 구분할 수 있다. 본 연구에서는 클라이언트와 서버의 부하를 모니터링하여 시스템 부하에 따라 중복 제거의 핵심 작업을 동적으로 변경한다. 즉, 클라이언트가 유휴하고 서버의 자원 사용량이 높은 경우에는 클라이언트 기반 중복 제거 모델로 동작시키고, 클라이언트의 자원 사용량이 높고 서버가 유휴한(idle) 경우에는 인라인 중복 제거 모델로 동작시킨다. 그리고 전체 시스템이 과부하인 경우는 포스트 프로세스 모델로 동작하게 된다. 제안하는 방식에 대한 실험 결과 전체 시스템의 처리율이 높아지는 것을 확인하였다.

  • PDF

파일유사도 정보를 이용한 고정 분할 기반 중복 제거 기법 (Efficient Deduplication Scheme on Fixed-length Chunking System Using File Similarity Information)

  • 문영찬;정호민;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.202-205
    • /
    • 2012
  • 기존의 고정 길이 분할 (FLC: Fixed Length Chunking) 중복 제거 기법은 파일이 조금이라도 수정이 되면 수정된 블록에 대한 해시 정보가 달라져 중복 데이터 임에도 불구하고 중복 블록으로 검색이 되지 않는 문제점이 있다. 본 연구에서는 FLC 기반의 중복 제거 기법에 데이터 위치(offset) 정보를 활용하여 중복 블록을 효율적으로 찾아냄으로써 기존의 FLC 기반의 중복 제거 기법보다 더 좋은 성능을 발휘하는 유사도 정보를 활용하는 중복 제거 기법(FS_FLC: File Similarity based Fixed Length Chunking)을 설계하고 구현했다. 실험 결과 제안한 알고리즘은 낮은 오버헤드로 가변 분할 기법(VLC: Variable Length Chunking)만큼의 높은 중복 데이터 탐색 성능을 보여주었다.

  • PDF

확공비트의 기술동향 및 특허분석 (Technical Trends and Patent Analysis for Reaming Bits)

  • 민경남;정찬묵;김계웅
    • 지질공학
    • /
    • 제23권2호
    • /
    • pp.127-136
    • /
    • 2013
  • 본 연구에서는 확공비트에 대한 향후 연구개발 방향을 설정하기 위하여 전체 굴착비트에 대한 한국, 미국, 일본 및 유럽에서의 출원 공개/등록된 특허를 중심으로 특허 동향을 분석하였다. 굴착비트를 대상으로 1차적으로 굴착기능에 따라 확공구조와 고정구조로 분류하고, 2차적으로 굴착방식에 따라 슬라이딩 구조, 컨센트릭 구조 등 7가지로 분류하였다. 특허 검색 결과 총 33,614개가 검색되었으며 중복제거 및 필터링을 통하여 870건의 유효 분석대상 특허를 선별하였다. 특허건수와 출원인수의 상관관계를 이용한 포트폴리오 분석 결과 성장가능성이 가장 높다고 판단되는 슬라이딩구조를 핵심기술로 선정하였으며 이에 대한 특허장벽 분석을 통하여 핵심기술과 유사성이 높은 특허가 있을 경우 회피설계 및 타기술과 차별화된 기술 개발할 수 있는 기초자료를 제시하였다.

클라우드 스토리지 최적화를 위한 고속 캐싱 및 대용량 파일 전송 기법 (A Scheme on High-Performance Caching and High-Capacity File Transmission for Cloud Storage Optimization)

  • 김태훈;김정한;엄영익
    • 한국통신학회논문지
    • /
    • 제37권8C호
    • /
    • pp.670-679
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 환경의 보급과 함께 스토리지의 데이터양이 급증함에 따라 그에 따른 스토리지 저장 비용이 빠르게 증가하고 있다. 더불어, 사용자들의 다양한 서비스 및 데이터 요청으로 클라우드 스토리지의 부하 또한 급증하고 있다. 이러한 문제를 해결하기 위해 분산 파일 시스템을 통한 저비용 고성능 스토리지 환경을 제공하고자 하는 기존의 연구가 있었으나, 이에는 데이터 병렬처리, 임의위치 접근처리, 빈번한 작은 워크로드 접근처리 등의 취약점이 존재한다. 최근에는 캐싱 기술을 이용하여 이를 개선하려는 연구가 주목받고 있다. 본 논문에서는 분산 파일 시스템 환경에서 병렬 캐싱, 분산 캐싱과 공유 자원을 고려한 데이터 병렬 전송방법을 제공하는 CHPC(Cloud storage High-Performance Caching) 구조를 제안하며, 또한 이를 기존의 방법들과 비교 평가하여 스토리지 부하를 최적화하는 방법을 제시한다. 더불어, 제안 기법이 기존 클라우드 시스템에 비하여 스토리지 서버의 디스크 입출력 감소, 서버로 데이터의 요청이 집중되어 발생하는 병목현상 방지, 각 클라이언트의 중복되는 페이지 캐시 제거, 데이터 전송률 향상의 장점을 가짐을 보인다.

문서 분석 기반 주요 요소 추출 시스템 (Document Analysis based Main Requisite Extraction System)

  • 이종원;여일연;정회경
    • 한국정보통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.401-406
    • /
    • 2019
  • 본 논문에서는 XML 형태의 논문이나 보고서로 작성된 문서를 분석하는 시스템을 제안한다. 논문이나 보고서에서 지정한 키워드를 추출하고 이를 사용자에게 보여준 뒤 사용자가 해당 문서 내에서 검색을 원하는 키워드를 입력하면 각 키워드들을 포함하고 있는 문단들을 추출한다. 시스템은 사용자가 입력한 키워드들의 빈도수를 확인하고 가중치를 계산한 뒤 가중치가 가장 낮은 키워드만을 포함한 문단들을 제거한다. 또한, 정제된 문단들을 10개의 영역으로 나눈 뒤 영역별 문단들의 중요도를 계산하고 각 영역들의 중요도를 비교하여 가장 높은 중요도를 갖는 주요 영역을 사용자에게 알려준다. 이러한 특징들로 인해 제안하는 시스템을 활용할 경우 기존의 문서 분석 시스템을 활용하여 논문이나 보고서를 분석하는 것보다 압축률이 높은 형태로 주요 문단들을 제공받을 수 있다. 이로 인해 문서를 이해하는데 필요한 시간을 줄일 수 있을 것으로 사료된다.

SSD 스토리지 시스템에서 PRAM 캐시를 이용한 데이터 중복제거 기법 (Data Deduplication Method using PRAM Cache in SSD Storage System)

  • 이승규;김주경;김덕환
    • 전자공학회논문지
    • /
    • 제50권4호
    • /
    • pp.117-123
    • /
    • 2013
  • 최근 클라우드 스토리지 환경에서 전통적인 스토리지장치인 하드디스크를 대체하여 SSD(Solid-State Drive)의 사용량이 증가하고 있다. SSD는 기계적인 동작이 없어 빠른 입출력 성능을 가지는 반면 덮어쓰기가 불가능한 특성을 가지고 있어 공간 효율성을 위한 관리가 중요하다. 이와 같은 마모도 특성을 갖는 SSD의 공간 효율성을 효과적으로 관리하기 위해 데이터 중복제거 기법을 이용한다. 하지만 데이터 중복제거 기법은 데이터 청킹, 해싱, 해시값 검색과정 연산을 포함하기 때문에 오버헤드가 발생하는 문제점이 있다. 본 논문에서는 SSD 스토리지 시스템에서 PRAM 캐시를 이용한 데이터 중복제거 기법을 제안한다. 제안한 방법은 DRAM의 1차 해시테이블에 PRAM에 캐싱된 데이터를 위한 해시값들을 저장하고, LRU(Least Recently Used)기법을 이용하여 관리한다. PRAM의 2차 해시테이블에는 SSD 스토리지에 저장된 데이터에 대한 해시값들을 저장하고, DRAM의 1차 해시테이블에 대한 백업을 PRAM에 유지함으로써 전원 손실등에 대비하여 신뢰성을 향상시킬 수 있다. 실험결과, 제안하는 기법은 기존의 DRAM에 모든 해시값들을 저장하여 관리하는 기법보다 SSD의 쓰기 횟수 및 연산시간을 워크로드별 평균 44.2%, 38.8%의 감소 효과를 보였다.

JMP+RAND: 바이너리 난수 삽입을 통한 메모리 공유 기반 부채널 공격 방어 기법 (JMP+RAND: Mitigating Memory Sharing-Based Side-Channel Attack by Embedding Random Values in Binaries)

  • 김태훈;신영주
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권5호
    • /
    • pp.101-106
    • /
    • 2020
  • 컴퓨터가 보급된 이래로 정보보안을 달성하기 위해 많은 노력이 이루어졌다. 그중 메모리 보호 기법에 대한 연구가 가장 많이 이루어졌지만, 컴퓨터의 성능 향상으로 기존 메모리 보호 기법의 문제들이 발견되었고 부채널 공격의 등장으로 새로운 방어기법이 필요하게 되었다. 본 논문에서는 JMP+RAND 기법을 이용해 페이지(Page)마다 5-8byte의 난수를 삽입하여 메모리 공유 기반 부채널 공격을 방어하고 기존 메모리 보호 기법도 보완하는 방법을 제안한다. 기존 부채널 공격들의 방어기법과 달리 JMP+RAND 기법은 정적 바이너리 재작성 기법(Static binary rewriting)과 연속된 jmp 명령어, 난수 값을 이용해 사전에 부채널 공격을 방어한다. 우리는 메모리 공유 기반 부채널 공격이 JMP+RAND 기법이 적용된 바이너리를 공격하는 데 걸리는 시간을 정량적으로 계산하였고 현실적인 시간 내에 공격할 수 없다는 것을 보여주었다. 최근 아키텍처는 분기 예측(Branch prediction)을 이용해 jmp 명령어의 분기처리가 매우 빠르고 정확하므로 JMP+RAND 기법의 오버헤드가 매우 낮다. 특히 특정 프로그램에만 난수 삽입이 가능하므로 클라우드 컴퓨팅 환경에서 메모리 중복제거 기능과 함께 사용하면 높은 효율성을 보일 수 있을 것으로 기대한다.