• 제목/요약/키워드: Cache File

검색결과 109건 처리시간 0.025초

대용량 파일시스템을 위한 선택적 압축을 지원하는 인-메모리 캐시의 설계와 구현 (Design and Implementation of an In-Memory File System Cache with Selective Compression)

  • 최형원;서의성
    • 정보과학회 논문지
    • /
    • 제44권7호
    • /
    • pp.658-667
    • /
    • 2017
  • DRAM 기반의 인메모리 캐시는 고비용으로 인해 용량을 늘리는 데에는 한계가 있다. 이를 위해 압축을 이용하여 더 많은 데이터를 캐시하는 기법들이 연구되어 왔다. 그러나 압축은 높은 처리부하와 반응 지연을 야기한다. 본 논문에서는 섀넌 엔트로피를 통해 파일의 압축률을 낮은 오버헤드를 통해 고속으로 예측하여, 높은 압축률을 가진 파일만 압축하는 선택적 압축 기법을 제안하였다. 또한 이를 파일시스템 내에서 실제 사용이 가능하도록 커널 레벨에서 파일 시스템을 위한 인메모리 캐시를 제공하도록 구현하였다. 실험 결과 선택적 압축 기법은 비 압축에 비해 약 18%의 실행시간 감소를 보이며, 전체 캐시 데이터 압축 방법에 비해서도 캐시 히트율의 감소에 의한 성능하락을 최소화 시키고, 동시에 압축에 대한 오버헤드를 줄여, 7.5%의 실행시간을 감소시킬 수 있음을 보였다. 또한 압축에 사용되는 CPU사용시간을 모두 압축 했을 때와 비교하여 28%감소시킬 수 있음을 보여주었다.

NAND 플래시 메모리 파일 시스템을 위한 더블 캐시를 활용한 페이지 관리 정책 (A Policy of Page Management Using Double Cache for NAND Flash Memory File System)

  • 박명규;김성조
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권5호
    • /
    • pp.412-421
    • /
    • 2009
  • NAND 플래시 메모리는 특성상 덮어쓰기 연산이 불가능하기 때문에 지움 연산이 선행되어야 하므로 I/O 처리 속도가 느려지게 되어 성능저하의 원인이 된다. 또한 지움 횟수가 제한적 이어서 지움 연산이 빈번히 발생하게 되면, NAND 플래시 메모리의 수명이 줄어든다. 이러한 문제점을 해결하기 위해 NAND 플래시 메모리의 특성을 고려한 쓰기 지연 기법을 사용하면, 쓰기 횟수가 줄어들어 I/O 성능 향상에 도움이 되지만, 캐시 적중률이 낮아진다. 본 논문은 NAND 플래시 메모리 파일 시스템을 위한 더블캐시를 활용한 페이지 관리 정책을 제안한다. 더블 캐시는 실질적인 캐시인 Real Cache와 참조 페이지의 패턴을 관찰하기 위한 Ghost Cache로 구성된다. 이 정책은 Ghost Cache에서 쓰기를 지연함으로써 Real Cache에서의 적중률을 유지할 수 있고, Ghost Cache를 Dirty 리스트와 Clean 리스트로 구성하여 Dirty 페이지에 대한 탐색 시간을 줄임으로써 쓰기 연산 성능을 높인다. 기존 정책들과의 성능을 비교한 결과 제안된 정책이 기존 정책들에 비해 평균적으로 적중률은 20.57%, 그리고 I/O 성능은 20.59% 우수했고, 쓰기 횟수는 30.75% 줄었다.

비디오를 위한 효율적인 프록시 서버 캐쉬의 관리 (Efficient Management of Proxy Server Cache for Video)

  • 조경산;홍병천
    • 한국시뮬레이션학회논문지
    • /
    • 제12권2호
    • /
    • pp.25-34
    • /
    • 2003
  • Because of explosive growth in demand for web-based multimedia applications, proper proxy caching for large multimedia object (especially video) has become needed. For a video object which is much larger in size and has different access characteristics than the traditional web object such as image and text, caching the whole video file as a single web object is not efficient for the proxy cache. In this paper, we propose a proxy caching strategy with the constant-sized segment for video file and an improved proxy cache replacement policy. Through the event-driven simulation under various conditions, we show that our proposal is more efficient than the variable-sized segment strategy which has been proven to have higher hit ratio than other traditional proxy cache strategies.

  • PDF

데이터 망각을 활용한 비휘발성 메모리 기반 파일 캐시 관리 기법 (Forgetting based File Cache Management Scheme for Non-Volatile Memory)

  • 강동우;최종무
    • 정보과학회 논문지
    • /
    • 제42권8호
    • /
    • pp.972-978
    • /
    • 2015
  • 비휘발성 메모리는 바이트 단위 접근과 비휘발성을 지원한다. 이러한 특성들은 비휘발성 메모리를 캐시, 메모리, 디스크와 같은 메모리 계층 구조 가운데 하나의 영역으로 사용을 가능케 한다. 비휘발성 메모리의 흥미로운 특성은 데이터 보존 기간이 실제로는 제한적인 기간을 가지고 있다는 것이다. 게다가 데이터 보존 기간과 쓰기 지연간의 트레이드오프가 존재 한다. 본 논문에서는 이를 활용하여 비휘발성 메모리를 파일 캐시로 사용하는 새로운 관리 기법을 제안한다. 제안하는 기법은 기존의 캐시 관리 기법과는 반대로 짧은 데이터 보존 시간으로 데이터를 저장하고 쓰기 성능을 개선한다. 제안하는 기법은 LRU 대비 평균 접근 지연 시간을 최대 31%, 평균 24.4%로 감소시킴을 보인다.

분산 파일시스템을 위한 효율적인 협력캐쉬 알고리즘 (Efficient Cooperative Caching Algorithm for Distributed File Systems)

  • 박새미;이석재;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2003년도 추계종합학술대회 논문집
    • /
    • pp.234-244
    • /
    • 2003
  • 분산 파일시스템 환경에서는 디스크 접근 비용을 줄이기 위해 각 노드에 캐쉬된 데이터를 서로 공유하는 협력캐쉬 기법이 사용된다. 협력캐쉬 기법은 분산되어있는 시스템들의 캐쉬정보를 서로 공유하여 가상으로 더 큰 캐쉬를 형성함으로써 캐쉬 히트율을 높이고 디스크 접근을 줄이는 방법이다. 기존에 제안된 협력캐쉬 기법들은 캐쉬에 대한 근사정보를 이용하여 메시지 비용을 줄이고, 로컬캐쉬영역과 글로벌 캐쉬영역을 가변적으로 사용하여 캐쉬히트율을 높이고 있다. 또한 캐시교체시 교체된 블록을 비활동적인 노드로 보내어 계속 캐쉬에 유지하도록 하여 글로벌 캐시히트율을 높이는 장점을 갖는다. 그러나 잘못된 근사정보가 성능을 저하시킬 수 있으며 일관성 유지를 위한 메시지교환 비용이 많이 든다는 단점을 갖고 있다. 또한 비활동적인 노드를 선정하기 위해 사용되는 각 노드의 에이지정보 관리비용이 많이드는 단점을 갖고 있다. 본 논문에서는 정확한 캐쉬정보를 유지하며 일관성 유지비용과 캐시에이지정보 관리비용을 최소화시키는 협력캐쉬 알고리즘을 제안한다. 그리고 성능평가를 통해 기존의 협력캐쉬 기법과 비교하여 제안하는 알고리즘의 우수성을 보인다.

  • PDF

SAN 환경을 위한 효율적인 전역버퍼 관리 알고리즘 (IT-based Technology An Efficient Global Buffer Management ,algorithm for SAN Environments)

  • 이석재;박새미;송석일;유재수;이장선
    • 한국콘텐츠학회논문지
    • /
    • 제4권3호
    • /
    • pp.71-80
    • /
    • 2004
  • 분산파일시스템 환경에서는 디스크 접근 비용을 줄이기 위해 각 노드에 캐시된 데이터를 서로 공유하는 협력캐시 알고리즘이 사용된다. 협력캐시 알고리즘은 분산되어있는 시스템들의 캐시정보를 서로 공유하여 가상으로 더 큰 캐시를 형성함으로써 캐시 히트율을 높이고 디스크 접근을 줄이는 방법이다. 기존에 제안된 협력캐시 알고리즘들은 캐시에 대한 근사정보를 이용하여 메시지 비용을 줄이고, 로컬캐시영역과 글로벌캐시 영역을 가변적으로 사용하여 캐시 히트율을 높이고 있다. 또한 버퍼 교체 시 교체된 버퍼를 비활동적인 노드로 보내어 계속 캐시에 유지하도록 하여 전역 버퍼 히트율을 높이는 장점을 갖는다. 그러나 잘못된 근사정보가 성능을 저하시킬 수 있으며 일관성 유지를 위한 메시지교환 비용이 많이 든다는 단점을 갖고 있다. 또한 비활동적인 노드를 선정하기 위해 사용되는 각 노드의 에이지 정보 관리비용이 많이 드는 단점을 갖고 있다. 본 논문에서는 정확한 캐시정보를 유지하며 일관성 유지비용과 버퍼 에이지 정보 관리비용을 최소화시키는 협력캐시 알고리즘을 제안한다. 그리고 성능평가를 통해 기존의 협력캐시 알고리즘과 비교하여 제안하는 알고리즘의 우수성을 보인다.

  • PDF

소프트웨어 RAID 파일 시스템에 작은 쓰기와 참조 횟수를 고려한 캐쉬 교체 정책 (Cache Replacement Policies Considering Small-Writes and Reference Counts for Software RAID Systems)

  • 김종훈;노삼혁;원유헌
    • 한국정보처리학회논문지
    • /
    • 제4권11호
    • /
    • pp.2849-2860
    • /
    • 1997
  • 본 논문에서는 소프트웨어 RAID 파일 시스템에서 효율적인 캐쉬 교체 정책들을 제안한다. 그리고 이와 기존의 캐쉬 교체 정책을 소프트웨어 RAID 파일 시스템에 적용한 정책들과의 성능을 다양한 환경에서 비교한다. 실험을 통해 우선 소프트웨어 RAID 파일 시스템에서 작은 쓰기 동작은 성능을 크게 저하시키는 요소임을 확인한다. 이러한 작은 쓰기 동작을 줄이는 캐쉬 교체 정책들을 제안한다. 이러한 교체 정책들에 대한 성능 비교는 트레이스 기반 시뮬레이션에 의해 수행된다. 실험 결과를 통해 본 논문에서 제안한 교체 정책들이 기존의 정책들 비해 효율적인 성능을 나타냄을 확인한다.

  • PDF

Performance Impact of Large File Transfer on Web Proxy Caching: A Case Study in a High Bandwidth Campus Network Environment

  • Kim, Hyun-Chul;Lee, Dong-Man;Chon, Kil-Nam;Jang, Beak-Cheol;Kwon, Tae-Kyoung;Choi, Yang-Hee
    • Journal of Communications and Networks
    • /
    • 제12권1호
    • /
    • pp.52-66
    • /
    • 2010
  • Since large objects consume substantial resources, web proxy caching incurs a fundamental trade-off between performance (i.e., hit-ratio and latency) and overhead (i.e., resource usage), in terms of caching and relaying large objects to users. This paper investigates how and to what extent the current dedicated-server based web proxy caching scheme is affected by large file transfers in a high bandwidth campus network environment. We use a series of trace-based performance analyses and profiling of various resource components in our experimental squid proxy cache server. Large file transfers often overwhelm our cache server. This causes a bottleneck in a web network, by saturating the network bandwidth of the cache server. Due to the requests for large objects, response times required for delivery of concurrently requested small objects increase, by a factor as high as a few million, in the worst cases. We argue that this cache bandwidth bottleneck problem is due to the fundamental limitations of the current centralized web proxy caching model that scales poorly when there are a limited amount of dedicated resources. This is a serious threat to the viability of the current web proxy caching model, particularly in a high bandwidth access network, since it leads to sporadic disconnections of the downstream access network from the global web network. We propose a peer-to-peer cooperative web caching scheme to address the cache bandwidth bottleneck problem. We show that it performs the task of caching and delivery of large objects in an efficient and cost-effective manner, without generating significant overheads for participating peers.

소형셀 네트워크 전송용량 향상을 위한 분산 파일저장 및 커버리지 확장 기법 (Distributed File Placement and Coverage Expansion Techniques for Network Throughput Enhancement in Small-cell Network)

  • 홍준표
    • 한국정보통신학회논문지
    • /
    • 제22권1호
    • /
    • pp.183-189
    • /
    • 2018
  • 본 논문은 제한된 백홀 용량으로 발생하는 소형셀 네트워크에서의 트래픽 병목현상을 완화하기 위한 분산 파일저장 기술과 커버리지 확장 기술을 제안하였다. 제안 기법은 한정된 메모리 용량으로 백홀 망의 부하를 최소화하기 위해 파일의 인기도와 기지국의 메모리 용량에 따라 기지국의 커버리지와 파일 저장방법을 결정한다. 즉, 메모리 공간이 작거나 이용자들로부터 요청되는 파일이 다양할 경우 개별 기지국에 저장된 파일로 이용자를 서비스할 수 있는 확률이 낮아지므로 커버리지를 확장하고 기지국 사이 저장 파일의 중복을 줄여 커버리지 중첩지역에 있는 이용자가 다수의 기지국에 저장된 다양한 파일로 서비스 받을 수 있게 한다. 시뮬레이션을 통한 기존 배타적인 커버리지를 갖는 소형셀 네트워크에서의 파일저장 기법과의 전송용량 비교를 통해 제안 기법이 메모리 공간이 작거나 이용자들로 부터 요청되는 파일이 다양한 상황에서 높은 성능 이득을 가짐을 보였다.

A Novel Method of Improving Cache Hit-rate in Hadoop MapReduce using SSD Cache

  • Kim, Jong-Chan;An, Jae-Hoon;Kim, Young-Hwan;Jeon, Ki-Man
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권8호
    • /
    • pp.1-6
    • /
    • 2015
  • The MapReduce Program of Hadoop Distributed File System operates on any unspecified nodes due to distributed-parallel process and block replicate for data stability. Since it is difficult to guarantee the cache locality when a Solid State Drive is used as a cache in hadoop, cache hit-rate is decreased. In this paper, we suggest a method to improve cache hit rate by pre-loading the input data of the MapReduce onto the SSD cache. To perform this method, we estimated the blocks that are used on each node by using capacity scheduler and block metadata. Eventually we could increase the performance of SSD cache by loading the blocks onto SSD cache before the Map Task run.