• Title/Summary/Keyword: 분산캐시

Search Result 74, Processing Time 0.03 seconds

The Design of Hybrid Memory Memcached based on SSD (SSD에 기반한 하이브리드 메모리 멤캐시드 설계)

  • Yoo, Sang-Hyun;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.333-335
    • /
    • 2014
  • 페이스북, 트위터와 같은 클라우드 및 웹 서비스 제공회사와 클라우드 및 웹 서비스 제공자는 수많은 사용자들에 의해 발생되는 무수한 데이터를 빠르게 처리하기 위해 하드 디스크보다는 램에 저장 할 필요가 있다. 그러한 좋은 도구로서 분산메모리 객체 캐싱 소프트웨어인 멤캐시드가 있다. 멤캐시드의 성능은 저장공간의 크기에 따라 많은 차이를 보이는데, 하드웨어의 비용, 전력소비와 온도조절 등 공간의 제약을 감안했을 때, 무작정 개별 서버에 많은 RAM을 장착하거나, 서버 배열을 확장하는 것은 효율적인 방법이 아니다. 따라서 많은 양의 데이터가 메모리에 저장이 가능하도록 RAM과 SSD를 같이 확장한 SSD 기반 하이브리드 메모리를 제안한다. 하이브리드 메모리는 객체 캐시로 동작하고 페이지 단위로 할당하는 것보다 객체 단위로 자원할당을 함으로서 SSD에서 빠른 무작위 읽기를 할 수 있게 해 객체의 접근속도를 향상시켰다.

  • PDF

Efficient Request Routing in Web Caching Neighborhood Protocol (웹 캐싱 지역 프로토콜에서 요청에 대한 효과적인 라우팅)

  • 이용찬;김성천
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04a
    • /
    • pp.721-723
    • /
    • 2001
  • 월드 와이드 웹(WWW)서비스는 상당한 지연이 발생할 것이라고 예상하는 수준까지 성장해 왔다. 이런 이유로 웹 지연시간을 줄이기 위한 기술들이 중요하게 되었다. 프록시 서버 캐시는 느린 응답시간과 네트워크 정체와 같은 문제들을 해결하기 위해서 제안되었는데 이런 프록시 서버들을 계층적으로 구성하는 방법에 대한 많은 연구가 있었다. 하지만 이런 일반적인 웹캐싱 계층 기법들은 프록시 서버들간의 통신 경로에 있어서 유연성을 제공하지 못하는 정적 구조의 기법이다. 이런 정적인 기법에서의 단점을 해결하기 위해서 캐싱 지역 프로토콜(Caching Neighborhood Protocol)이 제안되었고 이 CNP는 요청들을 협력적으로 처리하는 일련의 프록시 서버의 집합이 매 단일 요청에 대해서 바뀔 수 있고 이에 따라서 요청 처리 경로가 다양해 질 수 있기 때문에 정적 구조 기법과는 반대인 동적 구조 기법이다. 하지만 이러한 동적 웹 캐싱 계층 구조인 CNP에서는 각 웹서버를 대표하는 캐싱 대리인(Caching Representatives)에 대한 웹문서의 링크참조정보와 부하정보를 고려하지 않았기 때문에 사용자에게 빠른 응답시간을 제공하지 못하는 단점이 있다. 본 논문에서는 최근에 제안되었던 프록시 서버들을 동적 웹캐싱 계층으로 구성한 CNP와 새로 추가된 C-Rep의 상태정보를 이용해서 새로운 요청 라우팅 기법을 제안하였다. 제안한 기법은 이런 C-Rep의 상태정보를 이용하여 응답시간의 향상과 C-Rep의 부하를 분산시킬 수 있었다.

  • PDF

Remote Cache Replacement Policy based on Processor Locality (프로세서 지역성에 기반 한 원격 캐시 교체 정책)

  • 한상윤;곽종옥;전주식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.4-6
    • /
    • 2004
  • 본 논문에서는 원격 캐쉬를 추가시킨 분산 메모리 구조 다중 프로세서 시스템의 성능 향상을 위해 새로운 원격 캐쉬 교체 정색을 제안한다. 일반적으로 다중 계층 내포성(MLI)을 치키는 다중 계층 메모리 구조에서 LRU 교체 정책을 사용할 경우, 상위 계층 캐쉬의 LRU 정보와 하위 계층 캐쉬의 LRU 정보가 서로 상이함으로 인해 하위 계층 캐쉬에서의 교체가 상위 계층에서 사용 중인 캐처 라인의 교체를 발생시켜 전체 시스템의 성능을 저하시키는 원인이 된다. 이러한 LRU 캐쉬 교체 정책의 단점을 보완하고자 각 노드 당 프로세서들의 원격 메모리 접근 지역성을 이용한 원격 캐쉬 교체정책의 사용으로 상위 캐쉬의 유용한 캐쉬 라인의 접근 실패율을 감소시킴으로써 다중 프로세서 시스템의 성능 향상을 꾀한다. 프로그램 기반 시뮬레이터를 통해 제안한 원격 캐쉬 교체 정책을 적용하였을 때, 기존의 LRU 교체 정책과 비교하여 무효화 수와 캐쉬 접근 실패가 평균 5%. 최대 10% 감소하였다.

  • PDF

Relationship Analysis between Network Topology and Delivering Performance in P2P based Content Delivery Network (P2P기반 CDN시스템에서 네트워크 토폴로지와 전송 성능과의 관계 분석)

  • 황희선;김태형
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04d
    • /
    • pp.397-399
    • /
    • 2003
  • CDN(Content Delivery Network)은 기존의 중앙 집중형 구조를 갖는 multimedia streaming 서비스의 서버 과부하 문제와 서버 주위의 네트웍 전송 속도 급감 문제를 해결하기 위해 서버와 클라이언트 사이에 컨텐츠 캐시 역할을 하는 edge server를 둠으로써 원래 서버로의 요청을 분산 처리하는 컨텐츠 전송 기술이다. 그러나 여전히 대규모 전송이 필요할 경우 원하는 수준만큼의 scalability를 보장할 수 없다. 이에 대한 근본적인 해결방법으로 본 논문에서는 P2P 기반의 CDN 시스템 구축을 위한 첫 단계로서 참여 노드간의 네트워크 토폴로지와 전송 성능간의 관계를 분석해보고자 한다. 이를 위해 다양한 구조의 전송 성능을 평가할 수 있는 환경을 구축하였으며 이를 이용하여 설러 구조에서의 전송 성능 측정 결과를 제시하여 최적의 P2P 전송 네트워크를 결정할 수 있도록 한다.

  • PDF

Time Based Caching Scheme for Video on Demand in P2P Environment (P2P 환경하에서 VOD 시스템을 위한 시간 기반 캐싱 기법)

  • Yi-Qi Gui;Hwang-Kyu Choi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.1367-1370
    • /
    • 2008
  • 본 논문은 P2P 네트워크 환경에서 대규모 VOD 시스템을 위한 새로운 시간 기반 캐싱 기법을 제안한다. 제안된 캐싱 기법은 각 피어들이 요구 시작 시간을 기준으로 비디오의 서로 다른 부분을 분산 저장 관리함으로써 피어의 저장 용량을 최소화하고, 피어간 데이터 요구에 대한 캐시 적중률을 향상시켜 서버의 부하를 최소화 한다. 또한 요구 시간을 기준으로 인접한 피어들을 하나의 클러스터로 그룹핑하여 피어의 탐색 법위를 최소화하고, 이에 따른 네트워크 트래픽을 최소화 한다. 시뮬레이션을 통한 성능 평가에서 피어의 참여와 탈퇴 중가에 따른 서버 부하의 증가가 기존의 P2VOD와 비교하여 크게 감소함을 보인다.

A Performance Improvement of Linux TCP/IP Stack based on Flow-Level Parallelism in a Multi-Core System (멀티코어 시스템에서 흐름 수준 병렬처리에 기반한 리눅스 TCP/IP 스택의 성능 개선)

  • Kwon, Hui-Ung;Jung, Hyung-Jin;Kwak, Hu-Keun;Kim, Young-Jong;Chung, Kyu-Sik
    • The KIPS Transactions:PartA
    • /
    • v.16A no.2
    • /
    • pp.113-124
    • /
    • 2009
  • With increasing multicore system, much effort has been put on the performance improvement of its application. Because multicore system has multiple processing devices in one system, its processing power increases compared to the single core system. However in many cases the advantages of multicore can not be exploited fully because the existing software and hardware were designed to be suitable for single core. When the existing software runs on multicore, its performance improvement is limited by the bottleneck of sharing resources and the inefficient use of cache memory on multicore. Therefore, according as the number of core increases, it doesn't show performance improvement and shows performance drop in the worst case. In this paper we propose a method of performance improvement of multicore system by applying Flow-Level Parallelism to the existing TCP/IP network application and operating system. The proposed method sets up the execution environment so that each core unit operates independently as much as possible in network application, TCP/IP stack on operating system, device driver, and network interface. Moreover it distributes network traffics to each core unit through L2 switch. The proposed method allows to minimize the sharing of application data, data structure, socket, device driver, and network interface between each core. Also it allows to minimize the competition among cores to take resources and increase the hit ratio of cache. We implemented the proposed methods with 8 core system and performed experiment. Experimental results show that network access speed and bandwidth increase linearly according to the number of core.

Apriori Based Big Data Processing System for Improve Sensor Data Throughput in IoT Environments (IoT 환경에서 센서 데이터 처리율 향상을 위한 Apriori 기반 빅데이터 처리 시스템)

  • Song, Jin Su;Kim, Soo Jin;Shin, Young Tae
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.10 no.10
    • /
    • pp.277-284
    • /
    • 2021
  • Recently, the smart home environment is expected to be a platform that collects, integrates, and utilizes various data through convergence with wireless information and communication technology. In fact, the number of smart devices with various sensors is increasing inside smart homes. The amount of data that needs to be processed by the increased number of smart devices is also increasing, and big data processing systems are actively being introduced to handle it effectively. However, traditional big data processing systems have all requests directed to cluster drivers before they are allocated to distributed nodes, leading to reduced cluster-wide performance sharing as cluster drivers managing segmentation tasks become bottlenecks. In particular, there is a greater delay rate on smart home devices that constantly request small data processing. Thus, in this paper, we design a Apriori-based big data system for effective data processing in smart home environments where frequent requests occur at the same time. According to the performance evaluation results of the proposed system, the data processing time was reduced by up to 38.6% from at least 19.2% compared to the existing system. The reason for this result is related to the type of data being measured. Because the amount of data collected in a smart home environment is large, the use of cache servers plays a major role in data processing, and association analysis with Apriori algorithms stores highly relevant sensor data in the cache.

A Peer Load Balancing Method for P2P-assisted DASH Systems (P2P 통신 병용 DASH 시스템의 피어 부하 분산 방안 연구)

  • Seo, Ju Ho;Kim, Yong Han
    • Journal of Broadcast Engineering
    • /
    • v.25 no.1
    • /
    • pp.94-104
    • /
    • 2020
  • Currently media consumption over fixed/mobile Internet is mostly conducted by adaptive media streaming technology such as DASH (Dynamic Adaptive Streaming over HTTP), which is an ISO/IEC MPEG (Moving Picture Experts Group) standard, or some other technologies similar to DASH. All these heavily depend on the HTTP caches that ISPs (Internet Service Providers) are obliged to provide sufficiently to make sure fast enough Web services. As a result, as the number of media streaming users increases, ISPs' burden for HTTP cache has been greatly increased rather than CDN (Content Delivery Network) providers' server burden. Hence ISPs charge traffic cost to CDN providers to compensate for the increased cost of HTTP caches. Recently in order to reduce the traffic cost of CDN providers, P2P (Peer-to-Peer)-assisted DASH system was proposed and a peer selection algorithm that maximally reduces CDN provides' traffic cost was investigated for this system. This algorithm, however, tends to concentrate the burden upon the selected peer. This paper proposes a new peer selection algorithm that distributes the burden among multiple peers while maintaining the proper reduction level of the CDN providers' cost. Through implementation of the new algorithm in a Web-based media streaming system using WebRTC (Web Real-Time Communication) standard APIs, it demonstrates its effectiveness with experimental results.

Neighbor Caching for P2P Applications in MUlti-hop Wireless Ad Hoc Networks (멀티 홉 무선 애드혹 네트워크에서 P2P 응용을 위한 이웃 캐싱)

  • 조준호;오승택;김재명;이형호;이준원
    • Journal of KIISE:Information Networking
    • /
    • v.30 no.5
    • /
    • pp.631-640
    • /
    • 2003
  • Because of multi-hop wireless communication, P2P applications in ad hoc networks suffer poor performance. We Propose neighbor caching strategy to overcome this shortcoming and show it is more efficient than self caching that nodes store data in theirs own cache individually. A node can extend its caching storage instantaneously with neighbor caching by borrowing the storage from idle neighbors, so overcome multi-hop wireless communications with data source long distance away from itself. We also present the ranking based prediction that selects the most appropriate neighbor which data can be stored in. The node that uses the ranking based prediction can select the neighbor that has high possibility to keep data for a long time and avoid caching the low ranked data. Therefore the ranking based prediction improves the throughput of neighbor caching. In the simulation results, we observe that neighbor caching has better performance, as large as network size, as long as idle time, and as small as cache size. We also show the ranking based prediction is an adaptive algorithm that adjusts times of data movement into the neighbor, so makes neighbor caching flexible according to the idleness of nodes

A Scheme of Efficient Contents Service and Sharing By Associating Media Server with Location-Aware Overlay Network (미디어 서버와 위치-인지 오버레이 네트워크를 연계한 효율적 콘텐츠 공유 및 서비스 방법)

  • Chung, Won-Ho;Lee, Seung Yeon
    • Journal of Broadcast Engineering
    • /
    • v.23 no.1
    • /
    • pp.26-35
    • /
    • 2018
  • The recent development of overlay network technology enables distributed sharing of various types of contents. Although overlay network has great advantages as a huge content repository, it is practically difficult to directly provide such Internet service as streaming of contents. On the other hand, the media server, which is specialized in content services, has excellent service capabilities, but it suffers from the huge contents that are constantly created and requires large expansion of severs and storages, and thus requires much effort for efficient management of the huge repository. Hence, the association of an overlay network of huge storage with a media server of high performance content service will show a great synergy effect. In this paper, a location-aware scheme of constructing overlay networks and associating it with media server is proposed, and then cache-based contents management and service policy are proposed for efficient content service. The performance is analysed for one of the content services, streaming service.