• 제목/요약/키워드: Web caching

검색결과 121건 처리시간 0.027초

웹 프락시 서버를 위한 적응형 캐시 교체 정책 (An Adaptive Cache Replacement Policy for Web Proxy Servers)

  • 최승락;김미영;박창섭;조대현;이윤준
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권6호
    • /
    • pp.346-353
    • /
    • 2002
  • 월드 와이드 웹 사용의 폭발적인 증가는 네트워크 트래픽과 서버 부하의 급격한 증가를 초래 하였다. 이러한 문제를 해결하기 위해 웹 프락시 캐싱 기술은 빈번히 요청되는 웹 문서를 사용자와 인접한 위치에 설치된 프락시(proxy)에 저장한다. 캐시 성능을 결정짓는 가장 중요한 요소는 캐시 교체 정책으로서, 가까운 미래에 빈번히 요청될 문서들을 저장하기 위해 사용된다. 캐시 교체 정책이 문서의 인기도를 정확히 예측하기 위해서는 웹 프락시 워크로드의 특성을 반영하는 것이 중요하다. 시간 지역성과 Zipf 빈도 분포는 웹 프락시 워크로드에서 빈번히 관찰되는 특성으로서 문서의 인기도를 예측하기 위한 중요한 속성들이다. 본 논문은 1) LFU를 기반으로 하여 Zipf 빈도 분포를 반영하며, 2) 문서들의 시간에 따른 인기도 감소를 효율적으로 측정하여 시간 지역성을 적응적으로 반영하는 적응형 LFU(ALFU) 캐시 교체 정책을 제안한다. 트레이스 기반의 모의 실험을 통해 다른 교체 정책들과 ALFU를 비교 분석한다. 실험 결과, ALFU는 다른 교체 정책보다 우수한 성능을 보였다.

Pre-Processing of Query Logs in Web Usage Mining

  • Abdullah, Norhaiza Ya;Husin, Husna Sarirah;Ramadhani, Herny;Nadarajan, Shanmuga Vivekanada
    • Industrial Engineering and Management Systems
    • /
    • 제11권1호
    • /
    • pp.82-86
    • /
    • 2012
  • In For the past few years, query log data has been collected to find user's behavior in using the site. Many researches have studied on the usage of query logs to extract user's preference, recommend personalization, improve caching and pre-fetching of Web objects, build better adaptive user interfaces, and also to improve Web search for a search engine application. A query log contain data such as the client's IP address, time and date of request, the resources or page requested, status of request HTTP method used and the type of browser and operating system. A query log can offer valuable insight into web site usage. A proper compilation and interpretation of query log can provide a baseline of statistics that indicate the usage levels of website and can be used as tool to assist decision making in management activities. In this paper we want to discuss on the tasks performed of query logs in pre-processing of web usage mining. We will use query logs from an online newspaper company. The query logs will undergo pre-processing stage, in which the clickstream data is cleaned and partitioned into a set of user interactions which will represent the activities of each user during their visits to the site. The query logs will undergo essential task in pre-processing which are data cleaning and user identification.

Reducing Outgoing Traffic of Proxy Cache by Using Client-Cluster

  • Kim Kyung-Baek;Park Dae-Yeon
    • Journal of Communications and Networks
    • /
    • 제8권3호
    • /
    • pp.330-338
    • /
    • 2006
  • Many web cache systems and policies concerning them have been proposed. These studies, however, consider large objects less useful than small objects in terms of performance, and evict them as soon as possible. Even if this approach increases the hit rate, the byte hit rate decreases and the connections occurring over congested links to outside networks waste more bandwidth in obtaining large objects. This paper puts forth a client-cluster approach for improving the web cache system. The client-cluster is composed of the residual resources of clients and utilizes them as exclusive storage for large objects. This proposed system achieves not only a high hit rate but also a high byte hit rate, while reducing outgoing traffic. The distributed hash table (DHT) based peer-to-peer lookup protocol is utilized to manage the client-cluster. With the natural characteristics of this protocol, the proposed system with the client-cluster is self-organizing, fault-tolerant, well-balanced, and scalable. Additionally, the large objects are managed with an index based allocation method, which balances the loads of all clients well. The performance of the cache system is examined via a trace driven simulation and an effective enhancement of the proxy cache performance is demonstrated.

모바일 웹 서비스를 위한 요소분할 캐싱 기법 (Separate Factor Caching Scheme for Mobile Web Service)

  • 심근정;강의선;김종근;고희애;임영환
    • 정보처리학회논문지D
    • /
    • 제14D권4호
    • /
    • pp.447-458
    • /
    • 2007
  • 본 논문은 기존의 Mobile Gate System에서 모바일 웹 서비스를 위해 사용하던 Contents Cache 의 성능을 향상시킴으로 보다 더 빠르게 모바일 웹 서비스를 하는 데 그 목적을 두고 있다. Contents Generator에 의해 변환된 마크-업 페이지에는 두 요소가 존재함을 알 수 있었다. 하나의 요소는 단지 요청된 DIDL 페이지와 마크-업 종류에만 의존적인 것이었고, 다른 하나의 요소는 요청된 DIDL 페이지, 마크-업 종류, 서비스를 요청한 모바일 장치의 Display 크기, 지원되는 이미지 형식, 지원되는 이미지의 색 심도 수에 각각 의존적이었다. 기존의 Contents Cache는 이렇게 두 요소를 함께 가진 마크-업 페이지 전체를 모두 저장했다. 이는 다른 요소들이 모두 같다 하더라도 하나의 요소가 달라지면 그 요소 때문에 재사용 가능한 요소들까지 Cache 메모리 영역에 중복 저장함으로써 저장 공간을 효율적으로 사용하지 못하게 하는 문제를 발생시켰다. 이 때문에 동일한 Cache 메모리 크기 하에 더 많은 변환된 마크-업 페이지를 저장할 수 있었음에도 그렇게 하지 못했다. 따라서 본 논문에서는 Contents Generator에 의해 변환된 마크-업 페이지를 두 요소로 나누고 각각을 분류하여 저장하였다. 또한 Cache 내의 데이터와 신규 데이터간의 대체 요구에 응하기 위해 LFU, LRU 두 대체 알고리즘을 적용하였다. 이를 통해 동일한 Cache 저장 공간 내에 더 많은 변환된 마크-업 페이지를 저장하게 함으로 더 빠른 속도의 Cache 성능을 구현할 수 있는 방법을 제안하였다.

대규모 웹 지리정보시스템을 위한 메모리 상주 공간 데이터베이스 클러스터 (Main Memory Spatial Database Clusters for Large Scale Web Geographic Information Systems)

  • 이재동
    • 한국공간정보시스템학회 논문지
    • /
    • 제6권1호
    • /
    • pp.3-17
    • /
    • 2004
  • 웹을 통해 위치기반 서비스 등과 같은 다양한 지리정보 서비스를 사용하려는 사용자가 급격하게 증가하면서, 웹 지리정보시스템도 많은 다른 인터넷 정보시스템들과 같이 클러스터 기반 아키텍쳐로의 변화가 요구되고 있다. 즉, 사용자의 수에 상관없이 양질의 지리정보 서비스를 지속적이며 빠르게 제공하기 위해서는 비용대비 효율, 가용성과 확장성이 높은 클러스터 기반의 웹 지리정보시스템이 필요하다. 본 논문에서는 가용성과 확장성이 높은 클러스터 기반의 웹 지리정보시스템을 설계한다. 이를 위해 메모리 상주 공간 데이터베이스들을 클러스터의 각 노드로 구성하고 전체 데이터 영역 중 일부만을 복제 처리함으로써, 각 노드가 공간 질의에 대해 공간적 근접성을 이용한 캐시 역할을 수행하도록 한다. 또한, 제안된 시스템은 단순 영역 질의외에 연산 비용이 큰 공간 조인 연산을 효율적으로 처리한다. 본 논문에서는 성능평가를 통해 제안된 기법이 기존 기법에 비해 데이터 양이 많고, 클러스터의 노드 수가 증가할수록 각각 약 23%, 30%의 향상된 성능을 갖음을 보인다.

  • PDF

시리즈 비디오 데이터의 접근 패턴에 기반한 프록시 캐슁 기법 (Proxy Caching Scheme Based on the User Access Pattern Analysis for Series Video Data)

  • 홍현옥;박성호;정기동
    • 한국멀티미디어학회논문지
    • /
    • 제7권8호
    • /
    • pp.1066-1077
    • /
    • 2004
  • 급격하게 증가하고 있는 인터넷 사용자들은 인터넷을 통하여 좋은 품질의 연속미디어 데이터를 제공받기를 원하고 있다. 그러나 서버의 과부하, 네트워크의 혼잡, 사용자에 대한 응답 지연 등의 문제는 이러한 요구를 충족시키지 못하고 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 연속미디어 데이터의 특성과 사용자 접근 패턴을 고려한 네트워크 캐슁정책(PPC, PPCwP)을 제안한다. 본 논문에서 제안하는 PPC 기법은 주기적으로 각 연속미디어 객체의 구간 재생량을 측정하여 인기도 분포를 결정하고, 이 분포에 따라 결정되어진 캐슁 데이터의 양만큼 객체의 앞부분부터 네트워크 캐슁을 수행한다. 또한 새로 생성된 객체의 인기도를 예측하기 위하여 시리즈 정보를 사용하여 캐슁할 데이터의 양을 결정하고 사용자의 요구가 발생하기 전에 인기도가 급상승할 비디오를 네트워크 캐쉬에 프리패칭하는 PPCwP 기법을 제안한다. PPCwP 기법은 시리즈 그룹의 정보를 사용하여 선반입함으로써 사용자의 요구에 대한 초기지연시간과 서버의 부하를 감소시키며, 제한된 캐쉬 공간을 효율적으로 활용할 수 있도록 한다. 제안하는 기법 PPC와 PPCwP의 성능을 평가하기 위하여 실제로 운영되고 있는 인터넷 방송국 VoD(Video on Demand) 서버(iMBC 인터넷 방송국)의 로그 데이터를 이용한 트레이스 기반 모의실험을 수행하였다. 그 결과 LFU나 LRU보다 초기지연시간과 BHR 측면에서 우수한 성능을 보였다.

  • PDF

XML 시맨틱 캐쉬의 교체 기법 (A Technique of Replacing XML Semantic Cache)

  • 홍정우;강현철
    • 한국전자거래학회지
    • /
    • 제12권3호
    • /
    • pp.211-234
    • /
    • 2007
  • 전자 거래에 있어 XML로 기술된 데이터가 증가하고, 이로부터 효율적인 질의 처리를 수행하는 기능의 중요성이 커지고 있다. 질의 처리 성능을 향상하기 위해 XML질의 결과를 캐쉬하는 방법이 주목을 받고 있는데 XML 질의 캐쉬 기법을 활용하기 위해서는 효율적인 캐쉬 교체 기법이 요구된다. 기존의 XML 캐쉬 교체기법에는 질의 결과를 교체 단위로 하는 방법과 질의 결과 내의 각 경로들을 교체 단위로 하는 방법이 있다. 첫 번째 방법은 간단한 운용이 가능하지만 효율적이지 못하고 두 번째 방법은 첫 번째 방법에 비해 효율적이지만 교체 단위 크기의 차이가 커서 캐쉬의 효율을 높이는 데 한계가 있다. 본 논문에서는 위 두 방법의 단점을 해결하기 위해 XML질의 결과 내의 모든 엘리먼트를 교체 단위로 하는 방법을 제시한다. 이는 교체 단위의 크기가 작고 최대 크기와 최소 크기의 차이도 작으므로 새로 캐쉬에 추가할 데이터의 크기보다 과도하게 큰 희생자가 발생하지 않고, 교체 후 캐쉬 내의 사용하지 않는 공간도 작아지게 되어 캐쉬의 효율성을 크게 향상시킬 수 있는 방법이다. 캐쉬 적중 빈도, 최근 접근 시간, 인출 지연 시간, XML 시맨틱 영역의 크기, XML 시맨틱 영역 내의 엘리먼트 크기 등을 종합적으로 고려하여 교체 희생자를 선택하기 위한 교체 함수를 바탕으로 하는 XML 시맨틱 캐쉬 교체 기법을 제시한다. 본 논문에서 제시한 기법을 적용한 XML 시맨틱 캐쉬 시스템의 프로토타입을 구현하여 실제 LAN 환경에서 실험하였다. 실험 결과 기존의 XML 캐쉬 교체 기법에 비해 본 논문에서 제시한 XML 시맨틱 캐쉬 교체 기법이 더욱 효율적이었다

  • PDF

효율적인 웹 데이터 로딩을 위한 웹 캐싱 기법 분석 (Analysis of Web Caching Techniques for Efficient Web Data Loading)

  • 김현국;박진태;문일영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 춘계학술대회
    • /
    • pp.497-500
    • /
    • 2018
  • 4차 산업혁명이 본격적으로 대두되기 시작하면서, 네트워크를 통하여 기기 간에 공유되는 데이터의 질과 양이 기하급수적으로 증가하기 시작하였다. 또한 이러한 데이터를 사람들이 접하는 기기의 범주도 데스크 탑에서 모바일 기기인 스마트폰, 스마트 패드, 스마트 워치 등 다양화되고, 소형화되기 시작하였다. 그 결과 데이터를 접하는 매개체가 변화하기 시작했고, 현대 사회인들이 가장 많은 양의 데이터를 접하는 곳은 스마트 기기라고 할 수 있다. 하지만 스마트 기기는 여전히 많은 양의 데이터를 한번에 처리하기에는 네트워크 속도나 하드웨어 스펙 면에서 많은 아쉬움을 남긴다. 따라서 본 논문에서는 모바일 기기에서 보다 효율적으로 대량의 웹 콘텐츠들을 불러올 수 있는 캐시 기법인 Service Worker 활용, IndexedDB, LocalStroage에 대한 분석을 진행하고, 개선 방안을 제시하고자 한다.

  • PDF

웹 캐시 감염 방법 및 대응책 연구 (Research on Web Cache Infection Methods and Countermeasures)

  • 홍성혁;한군희
    • 융합정보논문지
    • /
    • 제9권2호
    • /
    • pp.17-22
    • /
    • 2019
  • 캐시는 클라이언트의 응답 시간을 향상 시켜 대역폭을 줄여 효과적인 면을 보이는 기법이다. 하지만 캐시 기법이 어느 기법들과 같이 취약점이 존재한다. 웹 캐시는 편리성이 있지만 해킹에 악용되어 문제가 발생할 가능성이 있다. 웹 캐시의 문제점은 주로 캐시 미스와 과도한 캐시 선인출로 인해 발생한다. 캐시 미스가 높고 과도하게 선인출을 하게 되면 캐시는 오히려 취약점이 되어 안전한 데이터를 변형 시키는 등 오류를 발생시키며 사용자의 클라이언트와 시스템 모두 문제가 생기게 된다. 사용자는 캐시 감염, 오류의 대응책을 미리 숙지를 하게 된다면 더 이상 캐시에 관한 오류, 감염 발생에 문제점을 느끼지 못하게 될 것이다. 따라서 본 연구서는 네 가지의 캐시 감염, 오류에 대한 대응책을 사용자에게 제안하여 웹캐시 감염에 대한 대응책을 제시하였다.

서비스워커와 해시를 이용한 통신 데이터 소모 감소를 위한 웹 콘텐츠 갱신 알고리즘 설계 (Design of Web Content Update Algorithm to Reduce Communication Data Consumption using Service Worker and Hash)

  • 김현국;박진태;최문혁;문일영
    • 한국항행학회논문지
    • /
    • 제23권2호
    • /
    • pp.158-165
    • /
    • 2019
  • 기존 웹 페이지는 사용자가 해당 페이지를 요청할 때 마다 새로운 페이지를 다운로드 받아 사용자에게 제공하였다. 따라서 동일한 페이지를사용자가 반복해서 요청할 경우 동일한 리소스에 대한 다운로드만을 반복하게 된다. 이는 불필요한 데이터의 소비를 발생시키는 요인이다. 본 논문에서는 사용자와 서버간의 불필요한 요청에 의해 발생하는 데이터의 소모를 감소시키고, 콘텐츠 제공 속도를 향상시키는 대에 초점을 맞추었다. 따라서 이를 방지하기 위하여 본 논문에서는 캐싱 시스템과 사용자가 요청하는 파일의 변경을 감지할 수있는 해시 함수를 이용한 해시 값의 비교를 통해 항상 최신 캐시를 유지하면서 데이터 소모를 줄일 수 있는 알고리즘에 대하여 논하고, 웹 콘텐츠의 속도 향상을 위한 서비스 워커 기반의 캐싱 시스템을 설계하고 성능을 평가하였다.