• 제목/요약/키워드: 분산캐시

검색결과 74건 처리시간 0.034초

SSD에 기반한 하이브리드 메모리 멤캐시드 설계 (The Design of Hybrid Memory Memcached based on SSD)

  • 유상현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.333-335
    • /
    • 2014
  • 페이스북, 트위터와 같은 클라우드 및 웹 서비스 제공회사와 클라우드 및 웹 서비스 제공자는 수많은 사용자들에 의해 발생되는 무수한 데이터를 빠르게 처리하기 위해 하드 디스크보다는 램에 저장 할 필요가 있다. 그러한 좋은 도구로서 분산메모리 객체 캐싱 소프트웨어인 멤캐시드가 있다. 멤캐시드의 성능은 저장공간의 크기에 따라 많은 차이를 보이는데, 하드웨어의 비용, 전력소비와 온도조절 등 공간의 제약을 감안했을 때, 무작정 개별 서버에 많은 RAM을 장착하거나, 서버 배열을 확장하는 것은 효율적인 방법이 아니다. 따라서 많은 양의 데이터가 메모리에 저장이 가능하도록 RAM과 SSD를 같이 확장한 SSD 기반 하이브리드 메모리를 제안한다. 하이브리드 메모리는 객체 캐시로 동작하고 페이지 단위로 할당하는 것보다 객체 단위로 자원할당을 함으로서 SSD에서 빠른 무작위 읽기를 할 수 있게 해 객체의 접근속도를 향상시켰다.

  • PDF

웹 캐싱 지역 프로토콜에서 요청에 대한 효과적인 라우팅 (Efficient Request Routing in Web Caching Neighborhood Protocol)

  • 이용찬;김성천
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (A)
    • /
    • pp.721-723
    • /
    • 2001
  • 월드 와이드 웹(WWW)서비스는 상당한 지연이 발생할 것이라고 예상하는 수준까지 성장해 왔다. 이런 이유로 웹 지연시간을 줄이기 위한 기술들이 중요하게 되었다. 프록시 서버 캐시는 느린 응답시간과 네트워크 정체와 같은 문제들을 해결하기 위해서 제안되었는데 이런 프록시 서버들을 계층적으로 구성하는 방법에 대한 많은 연구가 있었다. 하지만 이런 일반적인 웹캐싱 계층 기법들은 프록시 서버들간의 통신 경로에 있어서 유연성을 제공하지 못하는 정적 구조의 기법이다. 이런 정적인 기법에서의 단점을 해결하기 위해서 캐싱 지역 프로토콜(Caching Neighborhood Protocol)이 제안되었고 이 CNP는 요청들을 협력적으로 처리하는 일련의 프록시 서버의 집합이 매 단일 요청에 대해서 바뀔 수 있고 이에 따라서 요청 처리 경로가 다양해 질 수 있기 때문에 정적 구조 기법과는 반대인 동적 구조 기법이다. 하지만 이러한 동적 웹 캐싱 계층 구조인 CNP에서는 각 웹서버를 대표하는 캐싱 대리인(Caching Representatives)에 대한 웹문서의 링크참조정보와 부하정보를 고려하지 않았기 때문에 사용자에게 빠른 응답시간을 제공하지 못하는 단점이 있다. 본 논문에서는 최근에 제안되었던 프록시 서버들을 동적 웹캐싱 계층으로 구성한 CNP와 새로 추가된 C-Rep의 상태정보를 이용해서 새로운 요청 라우팅 기법을 제안하였다. 제안한 기법은 이런 C-Rep의 상태정보를 이용하여 응답시간의 향상과 C-Rep의 부하를 분산시킬 수 있었다.

  • PDF

프로세서 지역성에 기반 한 원격 캐시 교체 정책 (Remote Cache Replacement Policy based on Processor Locality)

  • 한상윤;곽종옥;전주식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.4-6
    • /
    • 2004
  • 본 논문에서는 원격 캐쉬를 추가시킨 분산 메모리 구조 다중 프로세서 시스템의 성능 향상을 위해 새로운 원격 캐쉬 교체 정색을 제안한다. 일반적으로 다중 계층 내포성(MLI)을 치키는 다중 계층 메모리 구조에서 LRU 교체 정책을 사용할 경우, 상위 계층 캐쉬의 LRU 정보와 하위 계층 캐쉬의 LRU 정보가 서로 상이함으로 인해 하위 계층 캐쉬에서의 교체가 상위 계층에서 사용 중인 캐처 라인의 교체를 발생시켜 전체 시스템의 성능을 저하시키는 원인이 된다. 이러한 LRU 캐쉬 교체 정책의 단점을 보완하고자 각 노드 당 프로세서들의 원격 메모리 접근 지역성을 이용한 원격 캐쉬 교체정책의 사용으로 상위 캐쉬의 유용한 캐쉬 라인의 접근 실패율을 감소시킴으로써 다중 프로세서 시스템의 성능 향상을 꾀한다. 프로그램 기반 시뮬레이터를 통해 제안한 원격 캐쉬 교체 정책을 적용하였을 때, 기존의 LRU 교체 정책과 비교하여 무효화 수와 캐쉬 접근 실패가 평균 5%. 최대 10% 감소하였다.

  • PDF

P2P기반 CDN시스템에서 네트워크 토폴로지와 전송 성능과의 관계 분석 (Relationship Analysis between Network Topology and Delivering Performance in P2P based Content Delivery Network)

  • 황희선;김태형
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (C)
    • /
    • pp.397-399
    • /
    • 2003
  • CDN(Content Delivery Network)은 기존의 중앙 집중형 구조를 갖는 multimedia streaming 서비스의 서버 과부하 문제와 서버 주위의 네트웍 전송 속도 급감 문제를 해결하기 위해 서버와 클라이언트 사이에 컨텐츠 캐시 역할을 하는 edge server를 둠으로써 원래 서버로의 요청을 분산 처리하는 컨텐츠 전송 기술이다. 그러나 여전히 대규모 전송이 필요할 경우 원하는 수준만큼의 scalability를 보장할 수 없다. 이에 대한 근본적인 해결방법으로 본 논문에서는 P2P 기반의 CDN 시스템 구축을 위한 첫 단계로서 참여 노드간의 네트워크 토폴로지와 전송 성능간의 관계를 분석해보고자 한다. 이를 위해 다양한 구조의 전송 성능을 평가할 수 있는 환경을 구축하였으며 이를 이용하여 설러 구조에서의 전송 성능 측정 결과를 제시하여 최적의 P2P 전송 네트워크를 결정할 수 있도록 한다.

  • PDF

P2P 환경하에서 VOD 시스템을 위한 시간 기반 캐싱 기법 (Time Based Caching Scheme for Video on Demand in P2P Environment)

  • 계이기;최황규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.1367-1370
    • /
    • 2008
  • 본 논문은 P2P 네트워크 환경에서 대규모 VOD 시스템을 위한 새로운 시간 기반 캐싱 기법을 제안한다. 제안된 캐싱 기법은 각 피어들이 요구 시작 시간을 기준으로 비디오의 서로 다른 부분을 분산 저장 관리함으로써 피어의 저장 용량을 최소화하고, 피어간 데이터 요구에 대한 캐시 적중률을 향상시켜 서버의 부하를 최소화 한다. 또한 요구 시간을 기준으로 인접한 피어들을 하나의 클러스터로 그룹핑하여 피어의 탐색 법위를 최소화하고, 이에 따른 네트워크 트래픽을 최소화 한다. 시뮬레이션을 통한 성능 평가에서 피어의 참여와 탈퇴 중가에 따른 서버 부하의 증가가 기존의 P2VOD와 비교하여 크게 감소함을 보인다.

멀티코어 시스템에서 흐름 수준 병렬처리에 기반한 리눅스 TCP/IP 스택의 성능 개선 (A Performance Improvement of Linux TCP/IP Stack based on Flow-Level Parallelism in a Multi-Core System)

  • 권희웅;정형진;곽후근;김영종;정규식
    • 정보처리학회논문지A
    • /
    • 제16A권2호
    • /
    • pp.113-124
    • /
    • 2009
  • 최근 멀티코어가 장착된 시스템이 증가하면서 이를 통한 애플리케이션 성능향상에 대한 노력이 계속 되어왔다. 하나의 시스템에 다수의 처리장치가 존재함으로 인해 프로세싱 파워는 기존보다 증가했지만 기존의 소프트웨어나 하드웨어들은 싱글코어 시스템에 적합하게 설계된 경우가 많아 멀티코어의 이점을 충분히 활용하지 못하고 있는 경우가 많다. 기존의 많은 소프트웨어들은 멀티코어 상에서 공유 자원에 대한 병목현상과 비효율적인 캐시 메모리 사용으로 인하여 충분한 성능향상을 기대하기 어려우며 이러한 문제점들로 인하여 기존 소프트웨어는 코어의 개수에 비례한 성능을 얻지 못하며, 최악의 경우 오히려 감소될 수 있다. 본 논문에서는 TCP/IP를 사용하는 기존의 네트워크 애플리케이션과 운영체제에 흐름 수준 병렬처리 기법을 적용하여 성능을 증가 시킬 수 있는 방법을 제안한다. 제안된 방식은 개별 코어단위로 네트워크 애플리케이션, 운영체제의 TCP/IP 스택, 디바이스 드라이버, 네트워크 인터페이스가 서로 간섭 없이 작동할 수 있는 환경을 구성하며, L2 스위치를 통해 각 코어 단위로 트래픽을 분산하는 방법을 적용하였다. 이를 통해 각 코어 간에 애플리케이션의 데이터 및 자료구조, 소켓, 디바이스 드라이버, 네트워크 인터페이스의 공유를 최소화하여, 각 코어간의 자원을 차지하기 위한 경쟁을 최소화하고 캐시 히트율을 증가시킨다. 이를 통하여 8개의 멀티코어를 사용하였을 경우 네트워크 접속속도와 대역폭이 코어의 개수에 따라 선형적으로 증가함을 실험을 통해 입증하였다.

IoT 환경에서 센서 데이터 처리율 향상을 위한 Apriori 기반 빅데이터 처리 시스템 (Apriori Based Big Data Processing System for Improve Sensor Data Throughput in IoT Environments)

  • 송진수;김수진;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권10호
    • /
    • pp.277-284
    • /
    • 2021
  • 최근 스마트 홈 환경은 무선 정보통신 기술과 융합을 통해서 다양한 데이터를 수집·통합·활용하는 플랫폼이 될 것으로 전망되고 있으며 실제로 스마트 홈 내부에는 다양한 센서를 탑재한 스마트 디바이스 수가 점점 증가하고 있다. 증가된 스마트 디바이스 수만큼 처리해야하는 데이터의 양도 증가하고 있으며 이를 효과적으로 처리하기 위해 빅데이터 처리 시스템이 활발하게 도입되고 있다. 그러나 기존 빅데이터 처리 시스템은 분산 노드에 할당되기 전 모든 요청이 클러스터 드라이버로 향하기 때문에 동시에 많은 요청이 발생하는 경우 분할 작업을 관리하는 클러스터 드라이버에 병목현상이 발생하고, 이는 네트워크를 공유하는 클러스터 전체의 성능감소로 이어진다. 특히 작은 데이터 처리를 지속해서 요청하는 스마트 홈 디바이스에서 지연율이 더 크게 나타난다. 이에 본 논문에서는 동시에 다수의 센서에서 요청이 발생하는 스마트 홈 환경에서 효과적인 데이터 처리를 위한 Apriori 기반 빅데이터 시스템을 설계하였다. 제안하는 시스템의 성능평가 결과에 따르면, 데이터 처리 시간은 기존 시스템에 비해 최소 19.2%에서 최대 38.6% 단축됐다. 이러한 결과가 발생한 이유는 측정되는 데이터의 형태와 관련이 있다. 스마트 홈 환경은 수집되는 데이터의 양은 방대하나 각 데이터의 용량은 작기 때문에 캐시 서버의 사용이 데이터 처리에 큰 역할을 하며, Apriori 알고리즘을 통한 연관도 분석으로 사용자의 행동 습관과 연관도가 높은 센서 데이터를 캐시에 저장하기 때문에 캐시 서버의 활용률이 매우 높다.

P2P 통신 병용 DASH 시스템의 피어 부하 분산 방안 연구 (A Peer Load Balancing Method for P2P-assisted DASH Systems)

  • 서주호;김용한
    • 방송공학회논문지
    • /
    • 제25권1호
    • /
    • pp.94-104
    • /
    • 2020
  • 현재 유무선 인터넷을 통한 미디어 소비는 대부분 ISO/IEC MPEG(Moving Picture Experts Group)에 의해 표준화된 미디어 스트리밍 방식인 DASH(Dynamic Adaptive Streaming over HTTP) 또는 이와 유사한 형태의 적응형 미디어 스트리밍(adaptive media streaming) 기술에 의해 시행되고 있다. 이들은 모두 ISP(Internet Service Provider)가 웹서비스를 원활하게 제공하기 위해 충분히 설치할 수밖에 없는 HTTP 캐시(cache)에 크게 의존한다. 결과적으로 미디어 스트리밍 사용자 증가에 따라 CDN(Contents Delivery Network) 사업자의 서버 증설 부담 대신 ISP의 HTTP 캐시 증설 부담이 커지게 되었다. 이로 인해, ISP들은 이러한 HTTP 증설 비용을 보전하기 위해 CDN 사업자에게 미디어 트래픽 비용을 부과하게 되었다. 최근 이러한 비용을 줄이고자 P2P(Peer-to-Peer) 통신을 함께 사용하는(P2P-assisted) DASH 방식이 제안되었다. 또한 이러한 P2P 통신 병용 DASH 시스템의 효율을 극대화하여 CDN 사업자의 비용을 최대한 절감시키는 피어 선택 알고리듬도 연구되었다. 그러나 이 알고리듬은 선택된 피어에게 부담을 집중시키는 경향이 있다. 본 논문에서는 피어의 부담을 여러 피어들에게 분산시키면서도 CDN 사업자의 비용 절감 수준을 적절하게 유지하는 새로운 피어 선택 알고리듬을 제안하고, 이를 WebRTC(Web Real-Time Communication) 표준 API를 활용한 웹기반 스트리밍 시스템에 구현한 후, 실험을 통해 제안한 알고리듬의 효용성을 검증하였다.

멀티 홉 무선 애드혹 네트워크에서 P2P 응용을 위한 이웃 캐싱 (Neighbor Caching for P2P Applications in MUlti-hop Wireless Ad Hoc Networks)

  • 조준호;오승택;김재명;이형호;이준원
    • 한국정보과학회논문지:정보통신
    • /
    • 제30권5호
    • /
    • pp.631-640
    • /
    • 2003
  • 애드혹 네트워크 상의 노드들이 서로의 분산된 데이타를 주고받는 P2P 응용은 멀티 홈 무선 통신의 오버헤드로 인하여 효율성이 떨어진다. 이것을 극복하기 위해서 본 논문은 이웃 캐싱(neighbor caching) 기법을 제안하고, 이 방법이 노드들의 독립적인 캐싱 방법보다 효율적이라는 것을 보이고 있다. 이웃 캐싱 기법은 쉬고 있는 이웃 노드의 저장 공간을 잠시 빌려 씀으로써 캐싱 공간을 확대하고 먼 거리에서 데이타를 가져오는 멀티 홉 무선 통신의 단점을 극복하는 방법이다. 모의 실험의 결과에 따르면 이웃 캐싱은 망의 크기가 커질 때, 노드들의 쉬는 시간이 길 때, 그리고 노드들의 캐시 크기가 작을 때 좋은 성능을 나타낸다. 이와 함께 본 논문에서는 이웃 캐싱을 할 때 로드들 중에서 최적의 이웃 노드를 선별해 내는 우선순위에 근거한 예측기법(ranking based prediction)을 제안하였다. 우선순위에 근거한 예측 기법을 통해 데이타가 가장 오랫동안 보관될 가능성이 높은 이웃 노드를 선별해내고 우선순위가 낮은 데이타를 이웃 캐싱 하지 않을 수 있어서 이웃 캐싱의 효율성을 높일 수 있다. 모의 실험을 통해 이 방법이 노드들의 상황에 따라 이웃 캐싱의 횟수를 적절히 조절하여 성능향상을 가져올 뿐만 아니라 노드들이 분주한 상황에서도 이웃 캐싱이 유연하게 동작하도록 하는 것을 알 수 있다.

미디어 서버와 위치-인지 오버레이 네트워크를 연계한 효율적 콘텐츠 공유 및 서비스 방법 (A Scheme of Efficient Contents Service and Sharing By Associating Media Server with Location-Aware Overlay Network)

  • 정원호;이승연
    • 방송공학회논문지
    • /
    • 제23권1호
    • /
    • pp.26-35
    • /
    • 2018
  • 최근의 오버레이 네트워크 기술은 다양한 유형의 콘텐츠 분산 공유를 가능하게 하고 있다. 비록 오버레이 네트워크가 분산 공유의 거대한 콘텐츠 저장소로서 훌륭한 장점을 가지고 있지만, 스트리밍과 같은 인터넷 서비스는 현실적으로 용이하지 않다. 반면에 콘텐츠 서비스에 특화되어 있는 미디어 서버는 훌륭한 서비스 능력은 보유하고 있지만, 끊임없이 생성되며 지속적으로 서버와 스토리지의 성능 개선과 증설을 요구하는 콘텐츠들에 대해서 효율적 관리를 크게 필요로 하고 있다. 그러므로 오버레이 네트워크는 미디어 서버를 위한 대규모 콘텐츠 관리를 지원하고, 미디어 서버는 오버레이 네트워크를 위해 고성능 콘텐츠 서비스를 제공한다면, 두 시스템의 효율적 연관은 훌륭한 시너지 효과를 낼 수 있을 것이다. 본 논문에서는 위치-인지 개념을 기반으로 한 오버레이 네트워크의 구성 방법과 미디어 서버와의 연계를 위한 서비스 정책 및 캐시 기반의 콘텐츠 관리 기법, 그리고 그들을 기반으로 하는 효율적인 콘텐츠 서비스 방법이 제안된다. 그리고 스트리밍 서비스에 대해 제안된 시스템의 성능 분석이 이루어진다.