• 제목/요약/키워드: 분산 파일 시스템

검색결과 383건 처리시간 0.028초

DHT 기반 P2P 시스템에서 키워드 검색 지원을 위한 시스템 디자인 (System Design for Supporting Keyword Search in DHT-based P2P systems)

  • 진명희;이승은;손영성;김경석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.550-552
    • /
    • 2004
  • 분산 해시 테이블 (Distributed Hash Table) 을 사용한 P2P 시스템에서는 해시함수를 사용하며 파일과 노드의 ID를 정의하고 파일의 ID와 매핑 (mapping) 되는 ID를 가진 노드에 파일을 저장함으로써 시스템 전체에 파일을 완전히 분산시킨다. 이러한 시스템에서는 파일을 찾을 때 해시된 파일 ID로 찾기 때문에 정확한 매치 (exact match) 만 가능하다. 하지만 현재 P2P 파일 공유 시스템에서는 파일의 전체 이름을 정확히 알지 못하더라도 부분적인 키워드로 파일을 검색할 수 있도록 하는 키워드 검색 (keyword search) 이 요구된다. 본 논문에서는 분산 해시 테이블을 기반으로 하는 P2P 시스템에서 키워드 검색이 가능하도록 하는 방안을 제안한다.

  • PDF

가상 데스크톱 환경에서의 클라이언트 SSD 캐시를 이용한 분산 파일시스템의 성능 향상 (Performance Enhancement of Distributed File System as Virtual Desktop Storage Using Client Side SSD Cache)

  • 김재열;김영철;김영창;이상민;김영균;서대화
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권12호
    • /
    • pp.433-442
    • /
    • 2014
  • 분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시 장치로 사용하여 분산 파일시스템의 읽기 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 이러한 성능 향상을 통하여 기존의 대용량 스토리지 지원만이 가능했던 분산 파일시스템의 적용 분야를 고성능이 필요한 분야로 확장할 수 있다. 본 논문은 국내에서 개발된 분산 파일시스템인 MAHA-FS에 클라이언트 측의 SSD 캐시를 적용하여 가상 데스트톱의 입출력 성능을 향상시킬 수 있음을 보여준다. 실험 결과 NFS에 비해 가상 머신 이미지 배포 시간은 2배 이상, 부팅 시간은 3배 이상 향상시킬 수 있음을 알 수 있다.

클라우드 분산 파일 시스템 성능 개선 및 평가 (Performance Enhancement and Evaluation of Distributed File System for Cloud)

  • 이종혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권11호
    • /
    • pp.275-280
    • /
    • 2018
  • 클라우드 환경에서 빅데이터 적재와 이후 애플리케이션을 통한 고속 처리를 위해서는 적합한 분산 파일 시스템의 선택이 요구된다. 본 논문에서는 GlusterFS 기반 쓰기 성능 향상 방법을 제안하고 클라우드 환경에서 기존 분산 파일 시스템 중 MapRFS, CephFS, GlusterFS와 성능을 비교 평가한다. 본 논문에서 제안한 쓰기 성능 향상 방법은 동기식 스토리지 복제 방식에서 사용하는 동기화 수준을 디스크에서 메모리로 변경함으로써 응답 시간을 향상 시킨다. 실험 결과는 본 논문의 제안 방법이 적용된 분산 파일 시스템이 순차 쓰기의 경우와 랜덤 쓰기와 랜덤 읽기가 혼합된 경우에서 다른 분산 파일 시스템 대비 성능이 우수함을 보인다.

클라우드 컴퓨팅을 위한 분산 파일 시스템 기술 동향 (A Trend to Distributed File Systems for Cloud Computing)

  • 민영수;진기성;김홍연;김영균
    • 전자통신동향분석
    • /
    • 제24권4호
    • /
    • pp.55-68
    • /
    • 2009
  • 최근 클라우드 컴퓨팅 시장에 진출했거나 진출을 선언한 글로벌 IT 기업들을 살펴보면 이미 보유하고 있는 기반 기술들을 활용하거나 상호 협력을 통해 다양한 클라우드 서비스들을 제공함으로써 급격하게 성장하고 있는 클라우드 컴퓨팅 시장에서 자신들의 영역을 지속적으로 확장해 나가고 있다. 분산 파일 시스템은 데이터의 저장과 관리뿐만 아니라 상위 계층 서비스가 요구하는 충분한 성능과 안정성을 보장해주기 위한 클라우드 컴퓨팅의 핵심 기술 중의 하나이다. 본 고에서는 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 분산 파일 시스템들을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템의 동향을 살펴보고자 한다.

HDFS에서 저장 공간 절약을 위한 방법에 관한 연구 (A study of enhancing the storage efficiency in HDFS)

  • 안후영;이수호;이경하;이윤준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.98-100
    • /
    • 2012
  • 분산 파일시스템은 네트워크를 통해 여러 대의 서버들이 하나의 파일 시스템을 구성하여 높은 확장성과 고 가용성을 지원한다. 분산 파일 시스템에서는 신뢰성과 고성능이 중요하며 대부분의 분산 파일시스템은 이를 위해 데이터 복제에 의존한다. 그러나 이 방법은 저장 공간의 오버헤드를 증가시키는 단점을 가진다. 이 논문에서는 이 문제점을 해결하고자 대표적인 분산 파일 시스템인 HDFS에 분산 RAID에서의 erasure code로 데이터 복제본을 대체하는 방법으로 가용성과 신뢰성을 유지하면서 저장 공간을 절약하는 방법을 제안한다.

SSD 캐시를 이용한 분산파일시스템의 성능 향상 (Enhancing Distributed File System Performance Using SSD Cache)

  • 김재열;박정숙;김영창;김영균
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.83-86
    • /
    • 2014
  • 분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시장치로 사용하여 분산파일시스템에 부족한 랜덤 입출력 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 본 논문은 국내에서 개발된 분산파일시스템인 MAHA-FS의 클라이언트 측에 읽기 캐시로 SSD 장치를 지원함으로써 캐시 히트시에 읽기 성능을 향상 시킬 수 있음과 더불어 읽기 캐시의 기능 추가로 인한 쓰기 성능의 저하가 없음을 보여준다. 본 논문에서 제안한 SSD 캐시를 이용하여 분산파일시스템의 활용 분야을 넓힐 수 있을 것으로 기대한다.

P2P 파일 공유 환경에서 협업시스템 설계 (The Design of Collaborative System in a P2P File Sharing Environment)

  • 구희관;김운용;정계동;최영근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (3)
    • /
    • pp.448-450
    • /
    • 2003
  • P2P 환경의 파일 공유 서비스는 많은 사용자들에 의해 널리 이용됨으로써 거대한 분산 컴퓨팅 환경으로 이끌어 낸다. 이것은 기존의 파일 공유 서비스 이외에 프로세스 공유 측면에서도 좋은 환경을 제공할 수 있다. 이에 본 논문에서는 P2P의 파일 공유 서비스 사용 형태를 기반으로 프로세스 공유를 위한 협업시스템을 설계한다. 제시된 시스템은 P2P에서 발생가능한 Peer들간의 집중현상을 간접적으로 줄이고 다수의 Peef들 간의 분산된 컴퓨팅 능력을 제공함으로써 기존 파일 공유 환경에 효율적인 분산환경을 제공할 수 있다.

  • PDF

하둡 분산 파일 시스템 기반의 AVL트리를 이용한 동적 복제 관리 기법 (Dynamic Replication Management Scheme based on AVL Tree for Hadoop Distributed File System)

  • 류연중;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.337-340
    • /
    • 2014
  • 클라우드 시스템이 큰 이슈로 떠오르면서 그 기반이 되는 분산 파일 시스템에 관한 연구가 계속되고 있다. 최근 제안된 분산파일 시스템은 대부분 확장 가능하며 신뢰성이 있는 시스템으로 구성되어 있으며 내고장성(Fault tolerance)과 높은 가용성을 위해 데이터 복제 기법을 사용하며 하둡 분산 파일 시스템에서는 블락의 복제수를 기본3개로 지정한다. 그러나 이 정책은 복제수가 많아지면 많아질수록 가용성은 높아지지만 스토리지 또한 증가한다는 단점이 있다. 본 논문에선 이러한 문제점을 해결하기 위해 최소한의 블락 복제수와 복제된 블락을 효율적으로 배치하여 더 좋은 성능과 부하분산(Load Balancing)하기 위한 기법을 제안한다.

  • PDF

소규모 클러스터 시스템에서의 분산 파일 시스템에 대한 성능 평가 (Performance evaluation of distributed file systems on a small scale cluster system)

  • 조혜영;차광호;김성호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.1417-1420
    • /
    • 2005
  • 고속 네트워크로 연결된 대형 병렬 컴퓨터 및 클러스터 시스템의 사용이 증가되면서, 대용량 스토리지의 효율적인 활용을 위한 분산 및 병렬 파일 시스템에 대한 관심이 증가하고 있다. 특히 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적이 파일 시스템으로 구성하는 분산 및 병렬 파일 시스템은 유휴 자원의 활용, bandwidth 및 throughput의 증대라는 장점으로 많은 연구가 진행 중이다. 본 논문에서는 대표적인 분산 및 병렬 파일 시스템을 대상으로 소규모 클러스터 시스템에서 성능 및 특징을 비교, 분석하였다.

  • PDF

PVFS를 위한 상호협력 캐쉬의 설계 및 구현 (The Design and Implementation of the Cooperative Cache for PVFS)

  • 황인철;김호중;정한조;김동환;김호진;맹승렬;조정완
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.163-165
    • /
    • 2003
  • 요즘 값싼 PC들을 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 컴퓨팅에 대한 연구가 활발히 이루어지고 있다. 이러한 연구 중 파일에 대한 서비스를 제공하여 주는 파일 시스템에서 높은 대역폭과 병렬성을 지원하는 분산 파일 시스템이 개발되고 있다. 한편 기존 분산 파일 시스템에 대한 연구 중 서버의 부하를 감소시키고 성능을 향상시키기 위하여 상호협력 캐쉬가 제시되었다. 상호협력 캐쉬는 클라이언트간 파일 캐쉬를 공유함으로써 자신에게 없는 파일에 대한 내용을 다른 클라이언트가 가지고 있을 경우 서버에게 파일을 요구하지 않고 클라이언트간 파일 내용 전달을 통하여 요구를 처리하게 된다. 분산 파일 시스템 중 클러스터 컴퓨팅에서 많이 사용되고 있는 Linux 운영체제에서 구현된 PVFS는 높은 성능과 병렬 I/O를 제공한다. 하지만 기존 PVFS에서는 파일에 대한 캐쉬를 제공하지 않는다. 따라서 본 논문에서는 기존 PVFS에서 제공하지 않은 상호협력 캐쉬를 설계하고 구현한다. 그리고 기존 PVFS와의 성능 비교를 통하여 캐쉬의 효율성을 증명한다.

  • PDF