• 제목/요약/키워드: 중복도

검색결과 3,902건 처리시간 0.039초

중복제거 TAR 기법을 적용한 백업 시스템 (Data Backup System Exploiting De-duplication TAR Scheme)

  • 강성운;정호민;이정근;고영웅
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.539-542
    • /
    • 2011
  • TAR와 같은 아카이브 포맷에는 파일 중복을 제거하는 기능이 포함되어 있지 않아서 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생하였다. 본 연구에서는 파일 중복 제거 기능을 추가한 TAR형태의 압축 포맷인 DTAR와 이를 제어하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 클라이언트에서 DTAR 생성 시, 헤더에 SHA1 해시 정보를 추가하여 DTM 유틸리티를 통해 SHA1 해시를 노드로 하는 R-B Tree를 생성하고 이를 서버에 저장된 해시 정보와 비교하여 DTAR내에서 중복이 없는 파일을 선택적으로 파일을 압축하고 서버로 백업하고 관리하는 것이다. 실험 결과 DTM을 통한 백업은 중복 데이터가 누적될수록 DTAR가 tar.gz보다 공간적인 측면이나 백업을 위한 데이터 패킷 전송 시간에서 크게 향상된 성능을 보였다.

음성회의 시스템에서의 동적인 에러복구 기법 (A Dynamic Error Correction Technique in Audio Correction Technique in Audio Conference Systems)

  • 윤성덕;안종석
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 1998년도 추계학술발표논문집
    • /
    • pp.196-201
    • /
    • 1998
  • 최근 Mbone을 통한 다양한 회의 시스템들이 등장하고 있다. 이들 회의 시스템은 주로 영상회의 시스템과 음성회의 시스템으로 이루어져 있으며, 사람들은 영상보다 음성에 더 민감하기 때문에 음성품질이 영상품질보다 더 중요하다. 현재 인터넷은 QoS(Quality Of Service)를 제공하지 않기 때문에, 인터넷을 사용하는 음성 회의 시스템들도 근본적으로 품질을 보장할 수 없다. 따라서 음성품질을 향상시키기 위한 다양한 방법들이 연구되었고, 대표적인 기법으로 중복정보(redundant information) 복구기법이 있다. 본 논문에서는 기존의 중복정보 복구기법을 개선한 동적 중복정보 복구기법을 제안한다. 이 기법은 네트워크의 상태에 따라 중복정보의 양을 조절하기 때문에 중복정보의 효율을 향상시킬 수 있다. 실제 인터넷을 통한 실험에서 평균 9%의 성능향상이 있었다.

  • PDF

대표 Unigram 군집화를 통한 유사중복문서 검출 최적화 (The Optimization of Near Duplicate Detection Using Representative Unigram Grouping)

  • 권영현;윤도현;안영민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.291-293
    • /
    • 2012
  • SNS, 블로그의 이용이 늘어나면서, 문서의 복제와 재생산이 빈번하게 발생함에 따라 대용량 문서에서의 유사중복문서 검출이 큰 이슈로 제기되고 있다. 본 논문에서는 한국어 문서를 대상으로 이러한 문제를 해결하기 위해 품질을 유지하면서 신속하게 문서집합 중 유사중복문서를 검출하는 방법에 대해 제안한다. 제안하는 알고리즘에서는 문서를 대표하는 고빈도 Unigram Token을 활용하여 문서를 군집화함으로써 비교 대상을 최소화 하였다. 실험결과, 76만 문서에서 기존 방법 대비 평균 0.88의 Recall을 유지하면서도 중복을 검출하는데 있어서 십수초내에 처리가 가능함을 보였다. 향후 대용량 검색시스템 및 대용량 이미지, 동영상 유사중복 검출에도 활용할 수 있을 것으로 기대한다.

전전자 교환기 시스템에서 write-through 캐쉬 일관성 프로토콜을 이용한 중복 데이터 일관성 유지 방안 (A Replicated Data Consistency Mechanism based on write-through cache coherence protocol for TDX system)

  • 원병재
    • 한국시뮬레이션학회:학술대회논문집
    • /
    • 한국시뮬레이션학회 1998년도 추계학술대회 및 정기총회
    • /
    • pp.161-165
    • /
    • 1998
  • 다중 프로세서 구조로 실시간 분산 처리를 하는 전전자 교환기 시스템은 그 특성상 2개 이상의 프로세서에 동일한 값을 유지하는 중복 데이터의 사용이 필수적이다. 시스템의 자원 정보, 번호 번역 정보, 과금 정보 등이 중복 데이터로 사용된다. 이러한 중복 데이터에 대한 변경은 불일치 상태를 회피하기 위해 그 처리에 많은 비용과 제한이 따른다. 과도한 시그널 전송 및 로그 저장, 재전송 알고리즘은 데이터베이스 시스템의 성능을 저하시키고 때때로 순간적인 마비 상태까지도 유발할 수 있다. 본 논문에서는 기존 일관성 방안의 문제점을 분석하고 단일-버스 다중-프로세서 시스템에서 각각의 캐쉬들간의 일관성 유지를 위한 write-through 캐쉬 일관성 프로토콜을 사용하여 저 비용이며 효율적인 중복 데이터 일관성 유지 방안을 제시한다.

  • PDF

추론적 부분 중복 제거의 최적화 예외 영역 문제 해결 알고리즘 (An Algorithm of Solution for the Exceptional Field Problem in the Speculative Partial Redundancy Elimination(SPRE) Optimization)

  • 신현덕;안희학
    • 정보처리학회논문지A
    • /
    • 제13A권6호
    • /
    • pp.489-494
    • /
    • 2006
  • 본 논문에서는 Knoop 등이 2004년에 제안한 추론적 부분 중복 제거 알고리즘을 개선한다. 본 연구에서는 기존 추론적 부분 중복 제거에서 최적화가 적용되지 않는 영역이 발생될 수 있는 문제를 제기하고 이 문제에 대한 해법을 제안한다. 개선된 추론적 부분 중복 제거 알고리즘은 컴파일러의 프로필링 기법을 통해 얻어진 실행 빈도에 대한 정보를 통해 실행 속도 최적화를 수행하며 메모리 최적화도 수행한다.

블룸필터 활용을 통한 데이터 소유권 보호 암호데이터 중복제거 기술 (Secure Data De-duplication Scheme for Protect of Data Ownership Using Bloom Filter)

  • 김원빈;이임영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.270-273
    • /
    • 2016
  • 암호데이터 중복제거 기술이란 클라우드 서버에 전송된 데이터를 기존의 클라우드 서버에 저장된 데이터와 비교하여 데이터의 중복된 저장을 방지하는 기술이다. 이러한 데이터 중복제거 기술은 다양한 보안 위협이 발생하는데, 이 중 소유권 위조 공격은 원본 데이터를 소유하지 않은 공격자가 데이터의 소유권을 획득하여 클라우드 스토리지에 저장된 데이터를 취득할 수 있는 위협이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 제안되어왔지만 과도하게 많은 통신 횟수와 연산량으로 인해 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량 측면에서 효율적인 암호데이터 중복제거 기술을 제안한다.

중복 고유치를 갖는 비비례 감쇠계의 고유치와 고유벡터의 민감도 해석법 (Natural Frequency and Mode Shape Sensitivities of Non-Proportionally Damped Systems : Part II, Multiple Natural Frequencies)

  • 김동옥;김주태;박선규;이인원
    • 한국전산구조공학회논문집
    • /
    • 제12권1호
    • /
    • pp.103-109
    • /
    • 1999
  • 본 연구에서는 중복 고유치를 갖는 비비례 감쇠 진동계의 고유치와 고유벡터의 민감도를 계산하는 새로운 방법을 제시하였다. 제안 방법은 매우 간단하면서도 수치적 안정성이 보장되고 정확한 해를 주는 방법이다. 제안 방법에서는 (n+m)차의 대칭 행렬로 이루어진 대수방정식을 해석함으로써 n개의 자유도를 갖는 감쇠계에 있어서 m차의 중복도를 갖는 고유치와 고유벡터의 설계변수에 대한 미분을 구한다. 제안 방법의 검증을 위해 5자유도를 갖는 단순구조물의 민감도해석을 예제에서 다루고 있다. 예제에서의 설계변수는 모델의 부분강성으로 하였다.

  • PDF

인터넷기반 분산 클러스터 환경에서의 결함허용을 위한 중복된 작업할당 기법 (A Task Duplication Scheme For Fault-Tolerance In Internet Based Distributed Clustering Systems)

  • 최인복;이재동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.209-212
    • /
    • 2002
  • 최근 인터넷이 발달하면서 TCP/IP 프로토콜 기반의 분산 클러스터환경의 구축이 가능해졌다. 이렇게 서로 다른 네트워크를 통해 연결된 분산 클러스터 시스템에서는 기존의 클러스터 시스템과는 다르게 네트워크의 지연이나 노드의 결함 등에 유연히 대처해야 한다. 따라서 본 논문에서는 이러한 인터넷 기반의 분산 클러스터 환경에서 메시지 전달방식을 이용한 고성능 클러스터 컴퓨팅 작업 시 네트워크나 노드의 결함에 효과적으로 대처할 수 있도록 중복된 작업할당 기법을 통한 결함 허용 기법을 제시한다. 중복된 작업할당 기법을 적용하기 위해 Send, GSS, WF 와 같은 기존의 부하 공유 알고리즘에 대한 공통적인 스케줄러를 설계하였으며, 이 스케줄러를 이용한 TDS_for_FT 알고리즘을 작성하였다. 본 논문에서 제시한 중복된 작업할당 기법이 효과적임을 보이기 위하여 게이트웨이를 통해 연결된 두 개의 네트워크를 구성하여 분산 PC클러스터 환경을 구축하고, PVM을 이용한 행렬의 곱셈 프로그램을 통하여 실험하였다. 클러스터를 구성하는 임의의 한 노드에 일정시간의 delay 를 적용한 결과, 중복된 작업할당 기법을 통하여 결함허용성 보장이 가능함을 보였다.

  • PDF

Mellin Transform에 기반한 파노라믹 영상 생성을 위한 이미지 접합 (Image Registration for Panoramic Image Using Mellin Transform)

  • 이지현;송복득;윤태수;양황규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.665-668
    • /
    • 2002
  • 본 논문은 카메라를 수평이동시켜 얻어진 영상을 Mellin Transform을 이용하여 파노라마 이미지를 구성하는 방법을 제안한다. 일반적으로 카메라로부터 얻어진 동영상은 각 프레임 사이에 많은 시간적, 공간적 정보가 중복되어 있다. 이러한 중복 정보는 모자이크 방법 중의 하나인 파노라믹 기법을 사용하여 줄일 수 있다. 지금까지의 제안된 이미지의 중복성을 찾는 알고리즘들은 노이즈에 지나치게 민감하거나 중복성을 계산하는 데 있어 시간이 많이 소모되는 단점이 있었다. 따라서 본 논문에서는 Mellin Transform 을 사용하여 노이즈에 덜 민감하고 빠른 시간에 이미지의 중복 정보를 찾아내는 방법을 제안한다. Mellin Transform을 이용하여 생성된 파노라마 영상은 이미지의 이동정보를 쉽게 구할 있어 동영상에서 움직이는 물체를 추적하거나 추정이 가능하여 물체 tracking 영역에 응용될 수 있을 것으로 보이며 또한 앞으로 현실감 있는 가상현실의 배경 생성에 도움이 될 것으로 생각된다.

  • PDF

클라우드 컴퓨팅에서 중복제거를 위한 수렴 암호화 키 생성에 관한 연구 (Survey on the Key Generation of the Convergent Encryption for Deduplication in Cloud Computing)

  • 성기웅;이병도;박효민;신상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.730-732
    • /
    • 2015
  • 데이터 중복 제거 기술은 클라우드 스토리지에 저장되어 있는 중복된 데이터들 중에 하나의 데이터만 저장하는 기술로, 클라우드 스토리지 서비스에서 저장효율을 높이기 위한 핵심적인 기술 중 하나이다. 하지만 아웃소싱된 데이터가 암호화가 되지 않으면 기밀성을 유지하지 못해 프라이버시에 큰 영향을 끼치게 된다. 데이터를 암호화하여 아웃소싱하는 경우에는 암호문의 특성으로 인해 중복 제거 기술이 적용하기 힘든 단점을 가지고 있으며 이를 위해 수렴 암호화를 사용한다. 본 논문에서는 수렴 암호화로 암호화된 데이터에 대해 중복제거 기술을 적용하는 여러 제안모델을 분석하고, 개선방안을 제시한다.