• 제목/요약/키워드: 복제 기법

검색결과 321건 처리시간 0.032초

맵리듀스의 데이터 로컬리티 향상을 위한 데이터 복제기법 (Data Replication Technique for Improving Data Locality of MapReduce)

  • 이정하;유헌창;이은영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.218-220
    • /
    • 2012
  • 인터넷 활용과 웹 어플리케이션의 개발이 증가함에 따라 처리해야하는 데이터의 양도 또한 증가하고 있다. 대량의 데이터를 효과적으로 처리하기 위한 방법 중 하나로 병렬처리 프로그래밍 모델인 맵리듀스가 있다. 하둡은 맵리듀스의 오픈소스 구현으로 대량의 데이터를 병렬로 처리하는 무료 자바 소프트웨어 프레임워크이다. 분산 파일 시스템을 사용하는 하둡에서는 처리하는 데이터가 다른 노드에 위치하는 데이터 로컬리티 문제가 전체 작업 수행시간의 증가를 야기하는 문제가 있다. 본 논문에서는 하둡에서의 데이터 로컬리티 문제를 해결하기 위한 데이터 복제기법을 제안한다. 제안하는 데이터 복제기법에서는 1) 라그랑지 보간법을 사용하여 과거 접근수를 이용한 미래 접근수를 예측하고, 2) 예측된 값을 Threshold값으로 설정하고, 3) 데이터 로컬리티 문제가 발생하였을 때, 복제사본을 생성할 것인지 캐시를 생성할 것인지를 결정하여 복제 사본의 수를 최적화 한다. 실험을 통해 단순히 복제사본 수를 증가시킴으로써 데이터 로컬리티를 향상을 이루어도 작업 완료시간이 감소하는 것이 아니라는 결과를 볼 수 있었고, 오버 런치로 인한 작업 완료시간 증가를 줄이기 위해 데이터 복제사본 수 최적화의 필요성을 확인할 수 있었다.

모바일 애드혹 네트워크 환경에서 노드의 이기성을 고려한 효율적인 데이터 복제본 할당 기법 (An Efficient Selfish Replica Allocation over a Mobile Ad Hoc Networks)

  • 류병걸;정다운;소슬기;이상근
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1260-1263
    • /
    • 2011
  • 모바일 애드혹 네트워크에서는 모바일 노드의 이동성과 네트워크의 단절성으로 인해 데이터 접근성이 감소하게 된다. 이런 문제점을 해결하기 위해 데이터 복제본을 활용하여 데이터 접근성 향상을 위한 많이 기법들이 연구되었다. 하지만, 제안된 기법들은 노드가 가지는 이기적인 특징을 고려하지 않은 기법이기 때문에 실제 모바일 애드혹 네트워크에서 이기적 행동을 하는 노드가 존재할 경우에는 데이터 접근성이 상당히 낮아진다. 최근에 이기적 노드가 존재하는 모바일 애드혹 네트워크에서의 데이터 복제본 할당을 위한 기법이 제안되엇다. 하지만 이 기법은 이기적 노드를 데이터 복제본 할당 기법에서 완전히 배제를 시키기 때문에 이기적 노드를 활용할 수 없다. 그 결과, 데이터 접근성에 안좋은 영향을 미치게 된다. 본 논문은 모바일 애드혹 네트워크에서 이기적 노드가 존재할 경우에 이기적 노드를 활용하기 위해 모든 노드를 이기적 정도와 거리에 따라 측정을 하고, 측정값을 기준으로 노드들을 레벨화 할 수 있는 기법을 제안한다. 실험 결과는 제안하는 기법이 기존 기법에 비해 이기적 노드들이 모바일 애드혹 네트워크 상에 존재하는 환경에서 데이터 접근성이 향상됨을 보여준다.

게임컨텐츠 특징을 이용한 유사도 산출 기법에 관한 연구 (A Study of Similarity Measure using Game Contents Features)

  • 김진용
    • 한국게임학회 논문지
    • /
    • 제3권1호
    • /
    • pp.49-55
    • /
    • 2003
  • 게임산업의 급속한 발전과 더불어 대중적, 상업적, 인기 게임에 대한 저작권, 표절, 복제에 대한 논란이 많이 나타나고 있으나 게임에 대한 저작권, 표절, 복제도 산출, 유사도, 가치 평가에 대한 연구는 미비한 상태이며 유사도, 복제도 산출에 있어서 정량적인 산출 기법에 대한 연구는 전무한 상태이다. 본 논문에서는 게임 컨텐츠의 저작권, 프로그램보호권, 컴퓨터 게임과 영상 저작물의 관계를 고찰해 보았으며 이를 근거로 게임의 게임 저작권 설정에 대한 기초 자료를 제시하였다. 게임의 복제, 표절, 저작권 논란에 대하여 그동안 주관적이고 정성적인 형태로 표현된 유사도를 게임 특징벡터 추출 기법을 이용하여 객관적이고 정량적인 유사도 산출 방법을 제안하였다. 제안 방법은 게임 분류기법에서 특징 벡터를 추출하여 이를 근거로 원본 게임과 유사한 게임간의 특징 벡터를 비교하여 정량적인 유사도를 산출하였으며 실험 결과를 통하여 제안한 방법이 유사게임간의 그룹화, 정량적 유사도 산출의 가능성을 제시하였다.

  • PDF

소프트웨어 복제도 감정기법의 표준화 모델에 관한 연구 (A Study on the Research Model for the Standardization of Software-Similarity-Appraisal Techniques)

  • 방효근;차태원;정태명
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.823-832
    • /
    • 2006
  • 소프트웨어(SW) 복제도 감정의 목적은 두 프로그램 사이의 동일 또는 유사성 정도를 판단하는 것으로, 컴퓨터프로그림 저작권 관련 분쟁해결의 주요한 기술적 판단근거를 제시하는 제도라 할 수 있다. SW감정을 진행함에 있어서 중요한 점은 감정인의 주관적 판단에 편중되지 않도록 하고, 신속 객관적인 감정의 수행으로 정확한 감정결과를 도출해내는 것이다. 그러나 현재까지 체계적인 감정기법의 표준화 연구 및 개발은 미비한 상태이며, SW감정 분야별(유형별) 감정기법 조차 전문 감정인들에 따라 그 접근방법이 천차만별이어서 뚜렷한 표준안이 제시되지 못하고 있다. 또한, 기 수행되었던 감정사례에 대한 실증적 분석 결과, 기존 감정 절차 및 기법의 오류 또는 감정인의 전문지식 결여 등의 문제가 잠재하여 일부 감정결과에 대한 객관성 및 정확성에 손상이 있음을 알 수 있다. 본 논문에서는 감정인에 따라 동일한 평가 항목에 대하여 서로 다른 결과가 도출될 수 있는 오차의 허용치를 감소시키기 위한 객관적인 평가 방법과 정형화된 SW복제도 감정기법의 표준화 모델을 제시한다. 특히, 기존 감정기법의 문제점 해결 및 보완 연구를 기반으로 감정범위의 설정, 감정기준 및 방법, 단위작업 프로세스 기준의 감정영역 및 감정항목 설정, 가중치 부여, 논리적 복제도와 물리적 복제도 산출 등에 초점을 맞추어 감정기법을 분석 평가한다. 따라서 SW복제도 감정 기법의 표준화 모델은 감정인의 주관적 판단에 의한 오류의 가능성을 최소화하고, 감정결과의 객관성 및 신뢰성을 한층 제고하기 위한 도구를 제공할 것이다.

모바일 애드혹 네트워크 환경에서 이기적인 노드를 고려한 데이터 복제본 할당 기법 (Replica Allocation with Selfish Node over Mobile Ad Hoc Networks)

  • 심규선;정다운;류병걸;이상근
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.69-71
    • /
    • 2010
  • 모바일 네트워크에서는 모바일 노드의 이동성으로 인하여 네트워크가 빈번하게 분리되며, 이로 인해 데이터 접근성이 낮아지는 문제가 발생한다. 기존 연구에서는 이러한 문제 해결하기 위해 다양한 복제 본 할당 기법이 연구되었다. 그러나 지금까지 연구된 복제본 할당기법들은 모바일 애드혹 네트워크 환경의 제한된 자원으로 인한 노드들의 이기적인 행동에 대해 고려하지 않았다. 본 논문은 모바일 애드혹 네트워크 상의 이기적인 노드들을 검출하기 위해 이진결정 기법과 레벨화 기법을 제안하고, 이를 통해, 이기적인 노드들의 영향을 최소화하는 기법을 제안하고자 한다. 실험 결과는 제안하는 기법이 기존 기법에 비해 모바일 애드혹 네트워크 내에 이기적인 노드들이 있는 환경에서 데이터 접근성이 향상됨을 보여준다.

휴리스틱 메소드를 이용하여 응용 QoS 를 보장하는 복제기반 스케줄링 기법에 관한 연구 (Study on the Replication based Scheduling for Application QoS with Heuristic Method)

  • 안병도;김홍수;이상근
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.678-681
    • /
    • 2007
  • 분산형 데스크탑 그리드 시스템에서 안정적인 연산 수행을 위한 노드 구성 기법과 동적인 환경에 적응적인 스케줄링 기법은 필수 요소이다. 그러나 기존 연구에서는 자원 제공자의 휘발성에 적응적으로 대처하지 못하는 연산 수행 모델을 사용하였기 때문에 데드라인 내에 전체 작업을 완료해야하는 응용에 대처하지 못하는 문제점이 발생한다. 이에 본 논문에서는 자원제공자의 성능과 논리적인 위치기반으로 자가 조직적 연산 오버레이 네트워크(Computation Overlay Network) 구성 기법과 자원제공자의 작업 완료 확률과 신용도 값을 이용하여 응용 QoS 보장을 위한 휴리스틱기반 복제 (Heuristic based Replication) 기법을 제안한다. 성능평가에서는 기존 스케줄링 기법과 자원제공자의 작업 완료 확률과 신용도에 따른 분포를 이용한 복제기반 스케줄링 기법을 비교평가 한다.

클라우드 스토리지 시스템에서 데이터 접근빈도와 Erasure Codes를 이용한 데이터 복제 기법 (Data Access Frequency based Data Replication Method using Erasure Codes in Cloud Storage System)

  • 김주경;김덕환
    • 전자공학회논문지
    • /
    • 제51권2호
    • /
    • pp.85-91
    • /
    • 2014
  • 클라우드 스토리지 시스템은 데이터의 저장과 관리를 위해서 분산 파일시스템을 사용한다. 기존 분산 파일시스템은 데이터 디스크의 손실 발생시 이를 복구하기 위해서 3개의 복제본을 만든다. 그러나 데이터 복제 기법은 저장공간을 원본 파일의 복제 횟수만큼 필요로하고 복제과정에서 입출력 발생이 증가하는 문제가 있다. 본 논문에서는 SSD 기반 클라우드 스토리지 시스템에서 저장공간 효율성 향상과 입출력 성능 향상을 위하여 Erasure Codes를 이용한 데이터 복제 기법을 제안한다. 특히, 데이터 접근 빈도에 따라 복제 횟수를 줄이더라도 Erasure Codes를 사용하여 데이터 복구 성능을 동일하게 유지하였다. 실험 결과 제안한 기법이 HDFS 보다 저장공간 효율성은 최대 약40% 향상되었으며, 읽기성능은 약11%, 쓰기성능은 약10% 향상됨을 확인하였다.

데스크탑 시스템을 이용한 분산 지역 파일 시스템에서의 파일 가용도 최적화를 위한 저장 공간 페이지 배치 기법 (Storage Space Page Grouping in a Distributed Local File System on Desktop Systems to Optimize File Availability)

  • 김준우;신현식;장래혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.856-858
    • /
    • 2001
  • 분산 파일 시스템에서 파일을 복제하는 목적의 하나는 파일의 가용성을 높이는 것이다 서버들로 이루어진 시스템에서 가용도 문제는 주로 오류 상황이 대상이다 반면에 데스크탑으로 구성된 경우 각각이 상대적으로 가용도가 낮고 그 편차도 커서 파일의 가용도를 최적화 하도록 복제본을 저장하는 것이 기본적인 문제가 된다. 파일 단위 복제 기법에서는 파일 수가 참여 시스템 수에 따라 기하급수적으로 증가하고 파일 배치 때마다 가용도 최적화를 수행해야 하는 문제가 있다. 본 논문에서는 저장 공간 단위 복제 기법을 제안한다. 데스크탑 시스템의 저 장롱간을 고정 크기의 페이지들로 나누고 이들을 조합해서 일정한 가용도를 가지는 페이지 그룹을 형성한다. 파일들은 이 페이지 그룹에 저장된다. 페이지의 개수가 파일 수가 아닌 시스템 수에 의존하고, 파일 배치 시점과 무관하게 페이지 그룹을 만들 수 있는 장점이 있다. 최종 가용도를 높이고 연산 시간을 줄이기 위해 ILS(Iterated Local Search )방법을 이용만 탐색을 수행한다.

  • PDF

그리드 데이터베이스 환경에서 동적 접근 빈도를 이용한 갱신 기법 (Update Method based on Dynamic Access-Frequency Tree in Grid Database System)

  • 신숭선;백성하;이연;이동욱;김경배;정원일;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제12권9호
    • /
    • pp.1191-1200
    • /
    • 2009
  • 그리드 데이터 베이스에서 복제본 데이터는 응용 서비스 제공을 위한 기반 정보로서 활용되며, 응용 서비스의 종류, 정보의 특성에 따라 각각의 복제본에 대한 접근 빈도에 차이가 발생한다. 특히 많은 노드에 복제본이 저장됨으로 인해 그리드 컴퓨팅 환경에서의 각각의 복제본을 관리하는 연구가 계속 되고 있다. 그의 일환으로 접근 빈도를 기반으로 한 데이터 갱신 기법이 있으며, 복제본 노드의 접근 빈도를 기반으로 데이터를 갱신한다. 하지만 동적인 접근에 대한 고려가 부족하여 그리드 환경에는 부적합하다. 따라서 본 논문에서는 갱신 정보를 관리하기 위한 동적 접근 빈도 트리를 이용한 갱신 기법을 제안한다. 동적 접근 빈도 트리는 접근 빈도를 통하여 미리 각 노드를 그룹단위로 묶어 트리를 구축하며, 또한 트리의 불균형으로 인하여 성능이 저하되는 것을 방지한다. 제안 기법은 성능평가를 통해 빠른 갱신을 보임으로써 기존의 기법에 비하여 향상된 성능을 보인다.

  • PDF

데스크톱 그리드에서 결과 검증을 위한 퍼지 추론 기반 복제 기법 (Fuzzy Inference-based Replication Scheme for Result Verification in Desktop Grids)

  • 길준민;김홍수;정순영
    • 컴퓨터교육학회논문지
    • /
    • 제12권4호
    • /
    • pp.65-75
    • /
    • 2009
  • 결과 검증은 데스크톱 그리드 환경에서 불특정 자원들에 의해 수행된 작업 결과의 정확성을 보장하는데 필수적이다. 전형적으로 투표기반 기법과 믿음기반의 기법이 데스크톱 그리드 환경에서 사용되어 왔지만, 이들 기법은 작업의 잉여 중복에 의한 자원 낭비와 동적 환경의 비적응성에 의한 반환 시간의 증가 문제를 갖고 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 자원의 믿음 정도와 결과 반환 확률을 이용하여 적응적으로 작업 복제 개수를 결정할 수 있는 퍼지 추론 기반의 복제 기법을 제안한다. 따라서, 제안 기법은 동적 연산 환경의 적절한 대처를 통해 작업 복제 개수를 결정함으로써 자원 낭비를 줄여주고 전체 작업의 반환 시간을 향상시킨다. 시뮬레이션 결과는 제안 기법이 반환 시간, 자원 낭비, 작업의 재복제 횟수의 관점에서 우수함을 보여준다.

  • PDF