• 제목/요약/키워드: 분산캐시

검색결과 74건 처리시간 0.042초

SSD 캐시를 이용한 분산파일시스템의 성능 향상 (Enhancing Distributed File System Performance Using SSD Cache)

  • 김재열;박정숙;김영창;김영균
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.83-86
    • /
    • 2014
  • 분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시장치로 사용하여 분산파일시스템에 부족한 랜덤 입출력 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 본 논문은 국내에서 개발된 분산파일시스템인 MAHA-FS의 클라이언트 측에 읽기 캐시로 SSD 장치를 지원함으로써 캐시 히트시에 읽기 성능을 향상 시킬 수 있음과 더불어 읽기 캐시의 기능 추가로 인한 쓰기 성능의 저하가 없음을 보여준다. 본 논문에서 제안한 SSD 캐시를 이용하여 분산파일시스템의 활용 분야을 넓힐 수 있을 것으로 기대한다.

상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법 (An Efficient Cache Management Scheme for Load Balancing in Distributed Environments with Different Memory Sizes)

  • 최기태;윤상원;박재열;임종태;이석희;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.543-548
    • /
    • 2015
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 기하급수적으로 데이터가 급증하고 있다. 기존 디스크 기반 분산 파일 시스템은 I/O 처리 비용 및 병목 현상으로 인해 데이터 처리나 데이터 접근 성능에 한계가 발생한다. 이러한 문제점을 해결하기 위해 메모리에 데이터를 관리하는 캐시 기법이 활용되고 있다. 본 논문에서는 분산 메모리 환경에서 부하 분산을 처리하기 위한 캐시 관리 기법을 제안한다. 제안하는 기법은 노드의 메모리의 크기가 서로 상이한 환경에서 메모리 크기에 따라 데이터를 분배하고 노드의 부하가 발생할 경우 핫 데이터를 재분배한다. 또한, 캐시 항목의 재사용 가능성, 사용 빈도수, 접근 시간을 고려한 캐시 교체 기법을 제안한다. 성능 평가를 통해 제안하는 분산 캐시 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

실시간 클라우드 환경에서 HDFS의 고 성능을 위한 분산캐시 (Distributed Cache for High-Performance in real time cloud)

  • 최지현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.351-352
    • /
    • 2014
  • 분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. HDFS는 대용량 데이터 저장장치로 처리되고 있지만 실시간 파일 접근에 관한 고려는 부족하다. 파일을 읽을 때 네임노드와 데이터 노드는 상호 작용을 하지만 엄청난 대용량의 데이터 그리고 동시작업량이 많을 때 접근수행속가 급격하게 감소하게 된다. 따라서 실시간 클라우드 서비스 환경에서 HDFS 파일 접근 수행속도를 향상시키기 위한 연구가 이슈이다. 본 논문에서는 HDFS의 위에 분산 캐시를 둔 새로운 캐시시스템을 제안한다.

  • PDF

SAN 환경을 위한 효율적인 전역버퍼 관리 알고리즘 (IT-based Technology An Efficient Global Buffer Management ,algorithm for SAN Environments)

  • 이석재;박새미;송석일;유재수;이장선
    • 한국콘텐츠학회논문지
    • /
    • 제4권3호
    • /
    • pp.71-80
    • /
    • 2004
  • 분산파일시스템 환경에서는 디스크 접근 비용을 줄이기 위해 각 노드에 캐시된 데이터를 서로 공유하는 협력캐시 알고리즘이 사용된다. 협력캐시 알고리즘은 분산되어있는 시스템들의 캐시정보를 서로 공유하여 가상으로 더 큰 캐시를 형성함으로써 캐시 히트율을 높이고 디스크 접근을 줄이는 방법이다. 기존에 제안된 협력캐시 알고리즘들은 캐시에 대한 근사정보를 이용하여 메시지 비용을 줄이고, 로컬캐시영역과 글로벌캐시 영역을 가변적으로 사용하여 캐시 히트율을 높이고 있다. 또한 버퍼 교체 시 교체된 버퍼를 비활동적인 노드로 보내어 계속 캐시에 유지하도록 하여 전역 버퍼 히트율을 높이는 장점을 갖는다. 그러나 잘못된 근사정보가 성능을 저하시킬 수 있으며 일관성 유지를 위한 메시지교환 비용이 많이 든다는 단점을 갖고 있다. 또한 비활동적인 노드를 선정하기 위해 사용되는 각 노드의 에이지 정보 관리비용이 많이 드는 단점을 갖고 있다. 본 논문에서는 정확한 캐시정보를 유지하며 일관성 유지비용과 버퍼 에이지 정보 관리비용을 최소화시키는 협력캐시 알고리즘을 제안한다. 그리고 성능평가를 통해 기존의 협력캐시 알고리즘과 비교하여 제안하는 알고리즘의 우수성을 보인다.

  • PDF

HDFS에서 소형 파일의 효율적인 접근을 위한 분산 캐시 관리 기법 (A Distributed Cache Management Scheme for Efficient Accesses of Small Files in HDFS)

  • 오현교;김기연;황재민;박준호;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제14권11호
    • /
    • pp.28-38
    • /
    • 2014
  • 본 논문에서는 소형 파일을 효율적으로 접근하기 위한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형 파일을 병합하여 청크에 저장함으로써, 네임 노드에서 관리해야 할 메타데이터 수를 감소시킨다. 또한, 클라이언트와 데이터 노드의 캐시를 사용하여 요청된 파일들의 정보를 유지함으로써 소형 파일 접근 비용을 줄인다. 이때, 클라이언트의 캐시에는 사용자가 요청한 소형 파일과 메타데이터가 유지되며, 각 데이터 노드의 캐시에는 여러 사용자들이 빈번하게 요청했던 소형 파일을 유지한다. 성능 평가를 통해 제안하는 분산 캐시 관리 기법이 기존 기법에 비해 소형 파일 접근 비용을 크게 감소시킴을 보인다.

분산 디렉토리 환경 하에서 효율적인 캐시 메카니즘 설계 (Design of cache mechanism in distributed directory environment)

  • 이강우;이재호;임해철
    • 한국통신학회논문지
    • /
    • 제22권2호
    • /
    • pp.205-214
    • /
    • 1997
  • 본 논문에서는 분산 디렉토리 환경에서 질의 처리 속도를 향상 시키기 위하여 원격지의 객체에 대한 질의와 결과를 요청지의 캐시에 저장하는 캐싱 메카니즘을 설계하였으며, 설계 단계는 다음과 같이 6단계로 나누어 진행하였다. 첫째, 분산 디렉토리 시스템에 저장되는 캐시 정보를 응용 데이타 정보, 시스템 데이타 정보, 메타 데이타 정보로 분류하였다. 둘째, 분류된 캐시 정보를 기반으로 캐시 시스템 구조를 설계하였다. 셋째, 각각의 캐시 정보에 대한 저장 구조를 설계하였다. 넷째, 데이타 캐시(응용 데이타 캐시, 시스템 데이타 캐시)의 대체 알고리즘으로 거리 정보와 접근 회수를 가중치로 부여한 최소-TTL 대체 알고리즘을 제안하였다. 다섯째, 질의에 대한 탐색 공간의 범위를 좁힘으로써 질의 처리 속도를 향상시키기위해 이전 질의를 재구성한 메타 데이타 트리를 저장하는 메타 데이타 캐시의 운영 알고리즘을 개발하였다. 마지막으로, 제안된 캐시 메카니즘과 타 메카니즘과 성능 평가를 수행하여 제안된 메카니즘의 우수성을 입증하였다.

  • PDF

가상 데스크톱 환경에서의 클라이언트 SSD 캐시를 이용한 분산 파일시스템의 성능 향상 (Performance Enhancement of Distributed File System as Virtual Desktop Storage Using Client Side SSD Cache)

  • 김재열;김영철;김영창;이상민;김영균;서대화
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권12호
    • /
    • pp.433-442
    • /
    • 2014
  • 분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시 장치로 사용하여 분산 파일시스템의 읽기 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 이러한 성능 향상을 통하여 기존의 대용량 스토리지 지원만이 가능했던 분산 파일시스템의 적용 분야를 고성능이 필요한 분야로 확장할 수 있다. 본 논문은 국내에서 개발된 분산 파일시스템인 MAHA-FS에 클라이언트 측의 SSD 캐시를 적용하여 가상 데스트톱의 입출력 성능을 향상시킬 수 있음을 보여준다. 실험 결과 NFS에 비해 가상 머신 이미지 배포 시간은 2배 이상, 부팅 시간은 3배 이상 향상시킬 수 있음을 알 수 있다.

HDFS에서 소형 파일의 효율적인 접근을 위한 메타데이터 동기화 기반의 분산 캐시 관리 기법 (A Distributed Cache Management Scheme Based on Metadata Synchronization for Efficient Accesses of Small Files in HDFS)

  • 오현교;김기연;황재민;박준호;임종태;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
    • /
    • pp.47-48
    • /
    • 2014
  • 최근 개인 사용자에게 최적화된 정보 및 서비스를 제공하기 위해 다수의 소형파일에 대한 분석이 요구되고 있다. 이런 요구사항을 고려해 본 논문에서는 통신주기에 따라 캐시 메타데이터 동기화를 적용한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형파일을 병합하여 청크에 저장함으로써, 네임노드가 관리하는 메타데이터의 양을 줄였으며, 클라이언트 캐시에 캐시 메타데이터를 추가적으로 저장하는 구조를 갖는다. 또한, 클라이언트와 네임노드 간 통신주기 조절을 통해 클라이언트의 캐시 메타데이터를 갱신함으로써 불필요한 처리시간을 감소시킨다.

  • PDF

NDN에서 안정성 있는 데이터 배포를 위한 Lifetime 기반의 캐시 정책 (A Lifetime-based Cache Policy for Stable Data Distribution in NDN)

  • 최수호;조인휘
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.92-95
    • /
    • 2019
  • CDN은 여러 서버에 데이터를 분산하여 캐시 한 뒤 빠르게 데이터를 배포하는 네트워크이다. 하지만 CDN은 서버 성능에 영향을 받고 데이터의 Lifetime이 얼마 없는 경우 중앙 서버 혹은 데이터 제작자와의 통신을 통해 데이터를 새로 받아야 한다. 반면에, NDN은 데이터를 라우터별로 캐시하여 트래픽을 분산시키고 딜레이를 줄였다. 하지만, 캐시 된 데이터의 Lifetime에 따라 데이터를 받지 못하는 문제가 있다. 본 논문에선 데이터 요청자가 Lifetime 내에 데이터를 못 받으면 요청자의 네트워크 상황과 Interest 패킷의 주기를 고려하여 캐시 된 데이터의 Lifetime을 증가시켜 안정성 있는 데이터 배포를 목표로 하였다. 캐시 정책이 적용된 시뮬레이션을 진행했으며, 얼마 남지 않은 Lifetime을 증가시켜 데이터 요청자가 데이터를 온전히 받을 수 있음을 확인하였다.

분산 디렉토리 시스템에서의 원격 질의에 대한 캐싱 기법 (A Caching Mechanism for Remote Queries in Distributed Directory Systems)

  • 이강우
    • 한국정보처리학회논문지
    • /
    • 제7권1호
    • /
    • pp.50-56
    • /
    • 2000
  • 본 논문에서는 분산 디렉토리 시스템에서 질의 처리 속도를 향상시키기 위하여 원격지의 객체에 대한 질의와 결과를 요청지의 캐시에 저장하는 캐싱 메카니즘을 제안한다. 이를 위하여 첫째, 분산 디렉토리 시스템에 저장되는 캐시 정보를 응용 데이터 정보, 시스템 데이터 정보로 분류하고, 분류된 캐시 정보를 기반으로 캐시 시스템 구조를 설계하였다. 둘째, 각각의 캐시에 대한 거리 정보와 접근 회수를 가중치로 부여한 최소-TTL 대체 기법을 개발하였다. 마지막으로 제안된 캐시 기법과 타 기법(LRU, LFU 대체 기법)에 대하여 성능 평가를 수행하여 제안된 기법이 LRU 기법 보다 25%의 성능향상을 보였으며, LFU 기법보다는 30%의 성능향상 결과를 보였다.

  • PDF