• 제목/요약/키워드: 중복

검색결과 3,885건 처리시간 0.034초

중복 데이터 관리 기법을 통한 저장 시스템 성능 개선 (Storage System Performance Enhancement Using Duplicated Data Management Scheme)

  • 정호민;고영웅
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권1호
    • /
    • pp.8-18
    • /
    • 2010
  • 기존의 전통적인 저장 서버는 중복 데이터 블록에 의해서 저장 공간과 네트워크 대역폭의 낭비가 발생되고 있다. 이와 같은 문제를 해결하기 위하여, 다양한 중복 제거 메커니즘이 제시되었으나, 대부분 Contents-Defined Chunking (CDC) 기법을 사용하는 백업 서버에 한정되었다. 왜냐하면 CDC 기법은 앵커를 사용하여 중복 블록을 쉽게 추적할 수 있기 때문에 파일의 업데이트를 관찰하기 유리한 백업 시스템에서 널리 사용되고 있는 것이다. 본 논문에서는 저장 시스템 성능을 개선하기 위하여, 새로운 중복 제거 메커니즘을 제시하고 있다. 범용적인 중복제거 서버를 구축하기 위한 효율적인 알고리즘에 초점을 맞추고 있으며, 이를 통하여 백업 서버, P2P 서버, FTP 서버와 같은 다양한 시스템에 활용이 가능하게 하는 것을 목표로 한다. 실험 결과 제안한 알고리즘이 중복 영역의 블록을 찾아내는 시간을 최소화하고 효율적으로 저장 시스템을 관리하는 것을 보였다.

제어 및 데이터 신호에 의한 Esterel에서의 새로운 회로 중복사용 문제 (New Schizophrenia Patterns on Esterel caused by Control/Data Signals)

  • 윤정한;김철주;김성건;최광무;한태숙
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권4호
    • /
    • pp.311-316
    • /
    • 2010
  • Esterel은 명령형 동기언어로서, 많은 경우에 메모리, 캐쉬 컨트롤러, 버스 인터페이스 등을 개발하는데 사용하고 있다. Esterel 프로그램은 특정 상황에서 한 문장이 한 단위시간 안에 2번 이상 수행될 수 있다. 이러한 문장을 하드웨어로 컴파일 할 경우, 하나의 회로(circuit)가 한 클럭 안에 2번 수행되어 정상적으로 동작하지 않을 수 있다. 이러한 문제를 회로 중복사용(schizophrenia) 문제라고 부른다. 기존연구에서는 지역신호선언문과 병렬문만이 회로 중복사용 문제를 유발할 수 있다고 보았다. 하지만, 예외선언문에 의해 생성되는 제어 신호와 출력문이 만들어내는 데이터 신호도 회로 중복사용 문제를 유발할 수 있다. 특히, 출력문의 경우에는 기존 회로 중복사용 문제에 대한 해결책들의 출발점인 단순한 루프 펼치기(loop unrolling)로는 해결되지 않았다. 본 논문에서는 예외선언문과 출력문이 만들어 내는 2가지 새로운 회로 중복사용 문제들을 열거하고 회로 중복사용 문제를 재정의 하였다.

다중 테이블을 활용한 챗봇의 중복 응답 감소 연구 (A Study on Reducing Duplication Responses of Chatbot Based on Multiple Tables)

  • 권혁무;서영석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권10호
    • /
    • pp.397-404
    • /
    • 2018
  • 현재 스마트폰에서는 사용자의 요구에 맞는 다양한 앱(App)들이 활용되고 있는데, 특히 많은 기업들에서 비즈니스 마케팅, 상업적인 홍보 등을 위해 모바일 메신저 형태의 대화형 시스템을 연구 개발하여 고객들에게 다양한 서비스를 제공하고 있다. 이러한 대화형 시스템을 우리는 '챗봇(Chatbot)'이라고 부른다. 이러한 챗봇의 경우 사용자와 대화시 중복 응답이 자주 발생할 수 있는데, 이러한 중복응답의 경우 특정 서비스에 대한 사용자의 흥미와 관심도를 떨어뜨린다. 따라서 본 논문에서는 이러한 챗봇 개발시 사용자로부터 입력된 발화(utterance)에 따른 챗봇의 중복 응답을 정의하고 이를 감소시킬 수 있는 기법을 제안한다. 이를 위해 데이터베이스 내 다중 테이블을 구축하고 테이블별로 사용자 입력에 따른 챗봇의 응답 조합을 구성하여 새로운 중복 회피 알고리즘을 통해 챗봇의 중복 응답을 감소시킬 수 있도록 한다. 이렇게 제안한 기법의 검증을 위해 자동화된 챗봇을 구현하였고, 본 연구에서 제시한 기법과 기존 응답 방식 연구를 분석해본 결과, 본 연구에서 제안한 기법을 통해 평균 70% 정도의 중복 감소 효과를 확인할 수 있었다.

CPM 공정계획의 PDM 중복관계를 BDM 중복관계로 전환시키는 방법 (Method of Transforming PDM Overlapping Relationships to BDM Overlapping Relationships in CPM Schedule)

  • 김선규;유재우;고대규
    • 한국건설관리학회논문집
    • /
    • 제13권5호
    • /
    • pp.144-152
    • /
    • 2012
  • 현재 건설사업 실무에 활용되는 대부분의 공정관리 소프트웨어들은 PDM(Precedence Diagramming Method) 기법을 적용하고 있는데 이는 작업 간 중복표시가 가능하기 때문이다. 그러나 기존 PDM방식의 작업 간 중복관계는 선 후행 작업간 착수 및 종료시점을 연결하는 네 가지 조합으로 표시되는데, 실제 건설 사업에서 선 후행 작업 간 중복관계는 작업의 중간시점 어디에서라도 상호 연관관계를 가질 수 있지만 PDM기법은 이를 효율적으로 표현하지 못한다. 따라서 본 연구에서는 작업 간 중복관계를 표시할 때, 작업의 착수와 종료시점에만 국한되지 않고, 작업의 중간 어느 시점에서도 작업 간 상호관계를 연계시킬 수 있을 뿐만 아니라 복수의 중복관계도 표시 할 수 있는 새로운 공정관리 기법인 BDM(Beeline Diagramming Method)기법으로 기존 PDM기법의 네 가지 표현방법을 전환시키는 방법을 제안한다. 이를 통해 기존의 PDM기법으로 작성된 CPM공정계획이 BDM기법의 CPM(Critical Path Method) 공정계획으로 전환이 가능하게 되며, BDM기법의 장점을 활용하여 공정관리의 효율성을 향상시키며 궁극적으로 공정관리의 발전에 기여하고자 한다.

공공도서관 목록데이터의 중복검증에 관한 연구 - 부산 지역 G도서관 사례를 중심으로 - (A Study on Duplication Verification of Public Library Catalog Data: Focusing on the Case of G Library in Busan)

  • 송민건;이수상
    • 한국도서관정보학회지
    • /
    • 제55권1호
    • /
    • pp.1-26
    • /
    • 2024
  • 본 논문은 아이템 기반으로 작성된 공공도서관의 목록데이터에 대해 중복검증 알고리즘을 적용하여 서지레코드의 통합방안을 도출하고자 하였다. 이를 위하여 부산 지역에서 비교적 최근에 개관한 G도서관을 선정하였다. G도서관의 OPAC 데이터를 웹 크롤링을 통해 수집한 다음, 한국문학(KDC 800) 다권본 도서를 선별하고 KERIS의 중복검증 알고리즘을 적용하였다. 검증 결과를 바탕으로 2차에 걸친 데이터 교정 작업을 진행한 이후, 중복검증률은 95.53%에서 98.27%로 총 2.74% 상승하였다. 데이터 교정 후에도 유사/불일치 판정을 받은 24권은 개정판, 양장본 등 별도의 ISBN을 부여받고 출판된 다른 판본의 자료로 확인되었다. 이를 통해 목록데이터 교정 작업을 통해 중복검증률의 개선이 가능함을 확인하였으며, 공공도서관의 중복된 아이템 레코드들을 구현형 레코드로 전환하기 위한 도구로서 KERIS 중복검증 알고리즘의 활용 가능성을 확인하였다.

효율적인 센서 네트워크 관리를 위한 다중 연속 질의의 유사성 최소화 (Minimizing the Similarity of Multiple Continuous Queries for the Efficient Sensor Network Management)

  • 조명현;손진현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.7-9
    • /
    • 2004
  • 센서 네트워크의 급속한 성장에 따라 센서 네트워크의 효율적 관리를 위한 다양한 연구가 진행 중이다. 특히, 센서의 저 전력을 위한 다양한 기술들이 개발되고 있다. 본 논문은 센서에 전해지는 다중 연속 질의의 중복 성을 제거함으로써, 센서 네트워크의 효율적 관리를 제공할 수 있는 방법을 제안한다. 다중 연속 질의는 두 가지 단계로 최적화가 이루어진다. 먼저, 다중 연속 질의의 시간 속성 중복을 제거하기 위해 B+tree를 이용해 그룹 핑된다. 그룹 핑된 다중 연속 질의들은 연관 속성의 중복 여부 판단을 통해, 중복 성을 제거하여 재구성 된다. 그러므로 재구성된 다중 연속 질의가 센서 노드에 전해지게 되면, 센서는 중복된 결과를 전송하지 않기 때문에 센서 노드의 불필요한 전력을 낭비하지 않게 된다.

  • PDF

중복제거 TAR 기법을 적용한 백업 시스템 (Data Backup System Exploiting De-duplication TAR Scheme)

  • 강성운;정호민;이정근;고영웅
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.539-542
    • /
    • 2011
  • TAR와 같은 아카이브 포맷에는 파일 중복을 제거하는 기능이 포함되어 있지 않아서 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생하였다. 본 연구에서는 파일 중복 제거 기능을 추가한 TAR형태의 압축 포맷인 DTAR와 이를 제어하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 클라이언트에서 DTAR 생성 시, 헤더에 SHA1 해시 정보를 추가하여 DTM 유틸리티를 통해 SHA1 해시를 노드로 하는 R-B Tree를 생성하고 이를 서버에 저장된 해시 정보와 비교하여 DTAR내에서 중복이 없는 파일을 선택적으로 파일을 압축하고 서버로 백업하고 관리하는 것이다. 실험 결과 DTM을 통한 백업은 중복 데이터가 누적될수록 DTAR가 tar.gz보다 공간적인 측면이나 백업을 위한 데이터 패킷 전송 시간에서 크게 향상된 성능을 보였다.

음성회의 시스템에서의 동적인 에러복구 기법 (A Dynamic Error Correction Technique in Audio Correction Technique in Audio Conference Systems)

  • 윤성덕;안종석
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 1998년도 추계학술발표논문집
    • /
    • pp.196-201
    • /
    • 1998
  • 최근 Mbone을 통한 다양한 회의 시스템들이 등장하고 있다. 이들 회의 시스템은 주로 영상회의 시스템과 음성회의 시스템으로 이루어져 있으며, 사람들은 영상보다 음성에 더 민감하기 때문에 음성품질이 영상품질보다 더 중요하다. 현재 인터넷은 QoS(Quality Of Service)를 제공하지 않기 때문에, 인터넷을 사용하는 음성 회의 시스템들도 근본적으로 품질을 보장할 수 없다. 따라서 음성품질을 향상시키기 위한 다양한 방법들이 연구되었고, 대표적인 기법으로 중복정보(redundant information) 복구기법이 있다. 본 논문에서는 기존의 중복정보 복구기법을 개선한 동적 중복정보 복구기법을 제안한다. 이 기법은 네트워크의 상태에 따라 중복정보의 양을 조절하기 때문에 중복정보의 효율을 향상시킬 수 있다. 실제 인터넷을 통한 실험에서 평균 9%의 성능향상이 있었다.

  • PDF

대표 Unigram 군집화를 통한 유사중복문서 검출 최적화 (The Optimization of Near Duplicate Detection Using Representative Unigram Grouping)

  • 권영현;윤도현;안영민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.291-293
    • /
    • 2012
  • SNS, 블로그의 이용이 늘어나면서, 문서의 복제와 재생산이 빈번하게 발생함에 따라 대용량 문서에서의 유사중복문서 검출이 큰 이슈로 제기되고 있다. 본 논문에서는 한국어 문서를 대상으로 이러한 문제를 해결하기 위해 품질을 유지하면서 신속하게 문서집합 중 유사중복문서를 검출하는 방법에 대해 제안한다. 제안하는 알고리즘에서는 문서를 대표하는 고빈도 Unigram Token을 활용하여 문서를 군집화함으로써 비교 대상을 최소화 하였다. 실험결과, 76만 문서에서 기존 방법 대비 평균 0.88의 Recall을 유지하면서도 중복을 검출하는데 있어서 십수초내에 처리가 가능함을 보였다. 향후 대용량 검색시스템 및 대용량 이미지, 동영상 유사중복 검출에도 활용할 수 있을 것으로 기대한다.

전전자 교환기 시스템에서 write-through 캐쉬 일관성 프로토콜을 이용한 중복 데이터 일관성 유지 방안 (A Replicated Data Consistency Mechanism based on write-through cache coherence protocol for TDX system)

  • 원병재
    • 한국시뮬레이션학회:학술대회논문집
    • /
    • 한국시뮬레이션학회 1998년도 추계학술대회 및 정기총회
    • /
    • pp.161-165
    • /
    • 1998
  • 다중 프로세서 구조로 실시간 분산 처리를 하는 전전자 교환기 시스템은 그 특성상 2개 이상의 프로세서에 동일한 값을 유지하는 중복 데이터의 사용이 필수적이다. 시스템의 자원 정보, 번호 번역 정보, 과금 정보 등이 중복 데이터로 사용된다. 이러한 중복 데이터에 대한 변경은 불일치 상태를 회피하기 위해 그 처리에 많은 비용과 제한이 따른다. 과도한 시그널 전송 및 로그 저장, 재전송 알고리즘은 데이터베이스 시스템의 성능을 저하시키고 때때로 순간적인 마비 상태까지도 유발할 수 있다. 본 논문에서는 기존 일관성 방안의 문제점을 분석하고 단일-버스 다중-프로세서 시스템에서 각각의 캐쉬들간의 일관성 유지를 위한 write-through 캐쉬 일관성 프로토콜을 사용하여 저 비용이며 효율적인 중복 데이터 일관성 유지 방안을 제시한다.

  • PDF