• Title/Summary/Keyword: 분산캐시

Search Result 74, Processing Time 0.033 seconds

Enhancing Distributed File System Performance Using SSD Cache (SSD 캐시를 이용한 분산파일시스템의 성능 향상)

  • Kim, Chei-Yol;Park, Jeong-Sook;Kim, Young-Chang;Kim, Young-Kyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.83-86
    • /
    • 2014
  • 분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시장치로 사용하여 분산파일시스템에 부족한 랜덤 입출력 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 본 논문은 국내에서 개발된 분산파일시스템인 MAHA-FS의 클라이언트 측에 읽기 캐시로 SSD 장치를 지원함으로써 캐시 히트시에 읽기 성능을 향상 시킬 수 있음과 더불어 읽기 캐시의 기능 추가로 인한 쓰기 성능의 저하가 없음을 보여준다. 본 논문에서 제안한 SSD 캐시를 이용하여 분산파일시스템의 활용 분야을 넓힐 수 있을 것으로 기대한다.

An Efficient Cache Management Scheme for Load Balancing in Distributed Environments with Different Memory Sizes (상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법)

  • Choi, Kitae;Yoon, Sangwon;Park, Jaeyeol;Lim, Jongtae;Lee, Seokhee;Bok, Kyoungsoo;Yoo, Jaesoo
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.8
    • /
    • pp.543-548
    • /
    • 2015
  • Recently, volume of data has been growing dramatically along with the growth of social media and digital devices. However, the existing disk-based distributed file systems have limits to their performance of data processing or data access, due to I/O processing costs and bottlenecks. To solve this problem, the caching technique is being used to manage data in the memory. In this paper, we propose a cache management scheme to handle load balancing in a distributed memory environment. The proposed scheme distributes the data according to the memory size, n distributed environments with different memory sizes. If overloaded nodes occur, it redistributes the the access time of the caching data. In order to show the superiority of the proposed scheme, we compare it with an existing distributed cache management scheme through performance evaluation.

Distributed Cache for High-Performance in real time cloud (실시간 클라우드 환경에서 HDFS의 고 성능을 위한 분산캐시)

  • Choi, Ji Hyeon;Youn, Hee Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.351-352
    • /
    • 2014
  • 분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. HDFS는 대용량 데이터 저장장치로 처리되고 있지만 실시간 파일 접근에 관한 고려는 부족하다. 파일을 읽을 때 네임노드와 데이터 노드는 상호 작용을 하지만 엄청난 대용량의 데이터 그리고 동시작업량이 많을 때 접근수행속가 급격하게 감소하게 된다. 따라서 실시간 클라우드 서비스 환경에서 HDFS 파일 접근 수행속도를 향상시키기 위한 연구가 이슈이다. 본 논문에서는 HDFS의 위에 분산 캐시를 둔 새로운 캐시시스템을 제안한다.

  • PDF

IT-based Technology An Efficient Global Buffer Management ,algorithm for SAN Environments (SAN 환경을 위한 효율적인 전역버퍼 관리 알고리즘)

  • 이석재;박새미;송석일;유재수;이장선
    • The Journal of the Korea Contents Association
    • /
    • v.4 no.3
    • /
    • pp.71-80
    • /
    • 2004
  • In distributed file-systems, cooperative caching algorithm which owns the data cached at each node jointly is used to reduce an expense of disk access. Cooperative caching algorithm is the method that increases a cache hit-ratio and decrease a disk access as it holds the cache information of distributed systems in common and makes cache larger virtually. Recently, several cooperative caching algorithms decrease the message costs by using approximate information of the cache and increase the cache hit-ratio by using local and global cache fields dynamically. And they have an advantage that increases the whole field hit-ratio by sending a replaced buffer to the idle node on buffers replacement in order to maintain the replaced cache in the cache field. However the wrong approximate information deteriorates the performance, the consistency maintenance goes to great expense to exchange messages and the cost that manages Age-information of each node to choose the idle node increases. In this thesis, we propose a cooperative cache algorithm that maintains correct cache information, minimizes the maintenance cost for consistency and the management cost for buffer Age-information. Also, we show the superiority of our algorithm through the performance evaluation.

  • PDF

A Distributed Cache Management Scheme for Efficient Accesses of Small Files in HDFS (HDFS에서 소형 파일의 효율적인 접근을 위한 분산 캐시 관리 기법)

  • Oh, Hyunkyo;Kim, Kiyeon;Hwang, Jae-Min;Park, Junho;Lim, Jongtae;Bok, Kyoungsoo;Yoo, Jaesoo
    • The Journal of the Korea Contents Association
    • /
    • v.14 no.11
    • /
    • pp.28-38
    • /
    • 2014
  • In this paper, we propose the distributed cache management scheme to efficiently access small files in Hadoop Distributed File Systems(HDFS). The proposed scheme can reduce the number of metadata managed by a name node since many small files are merged and stored in a chunk. It is also possible to reduce the file access costs, by keeping the information of requested files using the client cache and data node caches. The client cache keeps small files that a user requests and metadata. Each data node cache keeps the small files that are frequently requested by users. It is shown through performance evaluation that the proposed scheme significantly reduces the processing time over the existing scheme.

Design of cache mechanism in distributed directory environment (분산 디렉토리 환경 하에서 효율적인 캐시 메카니즘 설계)

  • 이강우;이재호;임해철
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.22 no.2
    • /
    • pp.205-214
    • /
    • 1997
  • In this paper, we suggest a cache mechanism to improve the speed fo query processing in distributed directory environment. For this, request and result and result about objects in remote site are store in the cache of local site. A cache mechanism developed through six phases; 1) Cached information which stored in distributed directory system is classified as application data, system data and meta data. 2) Cache system architecture is designed according to classified information. 3) Cache schema are designed for each cache information. 4) Least-TTL algorithms which use the weighted value of geograpical information and access frquency for replacements are developed for datacaches(application cache, system cache). 5) Operational algorithms are developed for meta data cache which has meta data tree. This tree is based on the information of past queries and improves the speed ofquery processing by reducing the scope of search space. 6) Finally, performance evaluations are performed by comparing with proposed cache mechanism and other mechanisms.

  • PDF

Performance Enhancement of Distributed File System as Virtual Desktop Storage Using Client Side SSD Cache (가상 데스크톱 환경에서의 클라이언트 SSD 캐시를 이용한 분산 파일시스템의 성능 향상)

  • Kim, Cheiyol;Kim, Youngchul;Kim, Youngchang;Lee, Sangmin;Kim, Youngkyun;Seo, Daewha
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.3 no.12
    • /
    • pp.433-442
    • /
    • 2014
  • In this paper, we introduce the client side cache of distributed file system for enhancing read performance by eliminating the network latency and decreasing the back-end storage burden. This performance enhancement can expand the fields of distributed file system to not only cloud storage service but also high performance storage service. This paper shows that the distributed file system with client side SSD cache can satisfy the requirements of VDI(Virtual Desktop Infrastructure) storage. The experimental results show that full-clone is more than 2 times faster and boot time is more than 3 times faster than NFS.

A Distributed Cache Management Scheme Based on Metadata Synchronization for Efficient Accesses of Small Files in HDFS (HDFS에서 소형 파일의 효율적인 접근을 위한 메타데이터 동기화 기반의 분산 캐시 관리 기법)

  • Oh, Hyunkyo;Kim, Kiyeon;Hwang, Jae-Min;Park, Junho;Lim, Jongtae;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2014.11a
    • /
    • pp.47-48
    • /
    • 2014
  • 최근 개인 사용자에게 최적화된 정보 및 서비스를 제공하기 위해 다수의 소형파일에 대한 분석이 요구되고 있다. 이런 요구사항을 고려해 본 논문에서는 통신주기에 따라 캐시 메타데이터 동기화를 적용한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형파일을 병합하여 청크에 저장함으로써, 네임노드가 관리하는 메타데이터의 양을 줄였으며, 클라이언트 캐시에 캐시 메타데이터를 추가적으로 저장하는 구조를 갖는다. 또한, 클라이언트와 네임노드 간 통신주기 조절을 통해 클라이언트의 캐시 메타데이터를 갱신함으로써 불필요한 처리시간을 감소시킨다.

  • PDF

A Lifetime-based Cache Policy for Stable Data Distribution in NDN (NDN에서 안정성 있는 데이터 배포를 위한 Lifetime 기반의 캐시 정책)

  • CHOI, SU-HO;JOE, IN-WHEE
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.92-95
    • /
    • 2019
  • CDN은 여러 서버에 데이터를 분산하여 캐시 한 뒤 빠르게 데이터를 배포하는 네트워크이다. 하지만 CDN은 서버 성능에 영향을 받고 데이터의 Lifetime이 얼마 없는 경우 중앙 서버 혹은 데이터 제작자와의 통신을 통해 데이터를 새로 받아야 한다. 반면에, NDN은 데이터를 라우터별로 캐시하여 트래픽을 분산시키고 딜레이를 줄였다. 하지만, 캐시 된 데이터의 Lifetime에 따라 데이터를 받지 못하는 문제가 있다. 본 논문에선 데이터 요청자가 Lifetime 내에 데이터를 못 받으면 요청자의 네트워크 상황과 Interest 패킷의 주기를 고려하여 캐시 된 데이터의 Lifetime을 증가시켜 안정성 있는 데이터 배포를 목표로 하였다. 캐시 정책이 적용된 시뮬레이션을 진행했으며, 얼마 남지 않은 Lifetime을 증가시켜 데이터 요청자가 데이터를 온전히 받을 수 있음을 확인하였다.

A Caching Mechanism for Remote Queries in Distributed Directory Systems (분산 디렉토리 시스템에서의 원격 질의에 대한 캐싱 기법)

  • Lee, Kang-Woo
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.1
    • /
    • pp.50-56
    • /
    • 2000
  • In this paper, for improving the speed of query processing on distributed directory system, we proposed a caching mechanism which is store the queries and their on the remote site objects in the cache of local site. For this, first, cached information which is stored in distributed directory systems is classified as application data and system data. And cache system architecture is designed according to classified information. Second least-TTL replacement mechanism which uses the weighted value of geographical information and access frequency for replacements are developed for each cache. Finally, performance evaluations are performed by comparing the proposed caching mechanism and other mechanisms (LRU, LFU replacement). Our least-TTL mechanism shows a performance improvement of 25% over the LRU and that of 30% over LFU.

  • PDF