• 제목/요약/키워드: file caching

검색결과 52건 처리시간 0.022초

분산 메모리 시스템에서의 SPARQL 질의 처리 (SPARQL Query Processing in Distributed In-Memory System)

  • 작바랄 바트셀렘;이완곤;김강필;박영택
    • 정보과학회 논문지
    • /
    • 제42권9호
    • /
    • pp.1109-1116
    • /
    • 2015
  • 본 논문에서는 functional 프로그래밍과 분산 메모리 환경인 Spark를 통해 SPARQL 질의문 처리의 오버헤드를 줄일 수 있는 방법을 제안한다. 최근 몇 년간 시멘팁웹의 RDF 온톨로지 데이터는 폭발적으로 증가하고 있기 때문에, 대용량 온톨로지 데이터에 대한 질의문을 효율적으로 처리할 수 있는 방법이 주요 쟁점으로 떠오르고 있다. SPARQL 질의문 처리에 대한 기존의 연구들은 하둡의 맵리듀스 프레임워크에 초점을 맞추고 있다. 그러나 하둡은 분산 파일 처리를 기반의 작업을 수행하므로 성능 저하가 발생할 수 있다. 따라서 질의문 처리 속도를 향상 시키기 위해 본 논문에서는 분산 메모리 시스템을 통해 질의문을 처리할 수 있는 방법을 제안한다. 또한 SPARQL 질의어 사이의 Binding 값을 Propagation하기 위해서 Spark의 Join방식, Functional 프로그램의 Map, Filter 방식, Spark의 캐시 기능을 활용 하는 방식을 제안하고 있다. 본 논문의 실험 결과는 다른 기법들과 비교하여 높은 성능을 얻었다. 특히 현재 가장 빠른 성능을 보이는 SPARQL 질의 엔진인 Sempala와 유사하다는 결과를 얻었다.

모바일 애드-혹 네트워크를 위한 노드 ID 기반 서비스 디스커버리 기법 (Node ID-based Service Discovery for Mobile Ad Hoc Networks)

  • 강은영
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권12호
    • /
    • pp.109-117
    • /
    • 2009
  • 본 논문에서는 서비스 광고의 P2P 캐시 기법과 노드 ID를 기반으로 한 서비스 검색 기법을 혼합한 효율적인 서비스 디스커버리 기법을 제안한다. P2P 캐싱 광고 기법은 이웃 노드에 서비스 정보를 캐시 하기 때문에 빠르게 서비스 광고 정보를 확산시키며 서비스검색 평균 흡 수를 적게 한다. 또한 노드 ID를 기반으로 한 서비스 검색은 모든 이웃 노드에게 메시지를 브로드캐스트하지 않기 때문에 네트워크 부하를 감소시켜 네트워크 전송 지연이 거의 발생하지 않는다. 제안하는 기법은 중앙 서버나 저장소를 사용하지 않으며 많은 메시지를 생성하는 플러딩 방식도 사용하지 않는다. 실험 결과는 제안하는 방식이 전통적인 플러딩 방식과 비교하여 이웃 노드의 적절한 선택으로 많은 메시지 수를 줄이고 평균 탐색 거리를 줄임으로서 전체 네트워크 로드와 응답 시간을 향상시킴을 보인다.

Web3.0 Video Streaming Platform from the Perspective of Technology, Tokenization & Decentralized Autonomous Organization

  • Song, Minzheong
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제16권2호
    • /
    • pp.149-160
    • /
    • 2024
  • For examining Web3.0 video streaming (VS) platforms in terms of the decentralized technology, tokenization and decentralized autonomous organization (DAO), we look at four platforms like DLive, DTube, Livepeer, and Theta Network (Theta). As a result, DLive which firstly partnered with Medianova for CDN and with Theta for peer to peer (P2P) network and migrates to Tron blockchain (BC), receives no commission from what creators earn, gives rewards to viewers by measuring engagement, and incentivizes participation by allowing 20% of donation & fees for funding development, 5% to BitTorrent Token (BTT) stakeholders (among these 5%, 20% to partners, 80% to other BTT stakeholders). DTube on its own lower-layer BC, Avalon, offers InterPlanetary File System (IPFS), gives 90% of the created value to creators or curators, and try to empower the community. Livepeer on Ethereum BC offers decentralized CDN, P2P, gives Livepeer Token (LPT) as incentive for network participants, and delegators can stake their LPT to orchestrators doing good. Theta on its native BC pulls streams from peering caching nodes, creates P2P network, gives Theta utility token, TFUEL for caching or relay nodes contributors, and allows Theta governance token, THETA as staking token. We contribute to the categorization of Web3.0 VS platforms: DLive and DTube reduce the risk of platform censorship, promote the diverse content, and allow the community to lead to more user-friendly environments. On the other hand, Livepeer and Theta provide new methods to stream content, but they have some differences. Whereas Livepeer focuses on the transcoding layer, Theta concentrates both on the video application layer and content delivery layer. It means, Theta tries to deliver value to all participants by enhancing network quality, reducing CDN cost, and rewarding users in utility tokens for the storage and bandwidth they provide.

이동 컴퓨팅 환경에서 사용자의 FAP 프로파일을 이용한 선인출 메커니즘 (Prefetching Mechanism using the User's File Access Pattern Profile in Mobile Computing Environment)

  • 최창호;김명일;김성조
    • 한국정보과학회논문지:정보통신
    • /
    • 제27권2호
    • /
    • pp.138-148
    • /
    • 2000
  • 이동 컴퓨팅 환경에서 이동 호스트(클라이언트)는 네트워크가 연결되어 있는 동안 단절에 대비하여 중요한 파일들을 자신의 로컬 캐쉬에 저장하여야 한다. 본 논문에서는 클라이언트가 네트워크 단절시 가까운 미래에 사용하게 될 파일을 캐쉬에 저장하는 선인출 메커니즘을 제안한다. 이 메커니즘은 분석기, 선인출 목록 생성기, 그리고 선인출 관리기를 활용한다. 분석기는 클라이언트의 파일 참조 기록을 FAP(File Access Pattern) 프로파일에 저장한다. 선인출 목록 생성기는 이 프로파일을 이용하여 선인출 목록을 만들며, 선인출 관리기는 이 선인출 목록을 파일 서버에게 요청한다. 본 논문은 단지 관련성이 깊은 파일들이 선인출되는 것을 보장하기 위해 TRP(Threshold of Reference Probability) 파라미터를 설정하였다. 선인출 목록 생성기는 참조 확률이 TRP 이상인 파일들을 선인출 목록에 추가한다. 또한, 본 논문은 선인출 목록을 저장하는데 필요한 적재 크기를 줄이기 위해 TACP(Threshold of Access Counter Probability) 파라미터를 사용한다. 마지막으로, 우리는 캐쉬 적중률, 단절 후 클라이언트의 참조 파일 수, 적재 크기를 측정하였다. 시뮬레이션 결과, 선인출 메커니즘의 성능이 LRU 캐슁 메커니즘 보다 우수함을 알 수 있었다. 또한, TACP를 이용한 선인출은 적재 크기를 줄일 수 있으면서도, TACP를 사용하지 않는 선인출과 바슷한 성능을 보임을 확인하였다.

  • PDF

XML 질의 캐쉬의 저장 기법 (Storage Schemes for XML Query Cache)

  • 김영현;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권5호
    • /
    • pp.551-562
    • /
    • 2006
  • 최근 XML 데이타베이스 기반 웹 응용을 위한 XML 질의 캐쉬 기법이 활발히 연구되고 있다. 이와 같은 XML 질의 캐쉬의 실용적인 중요성에도 불구하고, 캐쉬된 질의 결과를 어떻게 저장하는 것이 효율적인지에 대해서는 아직 아무런 연구가 없는 실정이다. 본 논문에서는 XML 질의 캐쉬의 저장 기법을 다룬다. XML 질의 캐쉬의 효율적인 저장 구조 설계에 있어 근본적으로 고려해야 하는 점은 캐쉬된 질의 결과에 대한 대표적인 두 종류 연산 간에 성능 트레이드오프가 존재한다는 것이다. 이 두 종류의 연산은 (1) 캐쉬된 질의 결과를 반환하기 위하여 캐쉬 전체를 검색하는 것과 (2) 소스 데이타의 변경에 대하여 캐쉬를 점진적으로 갱신하기 위하여 캐쉬의 일부분을 변경하는 것이다. 본 논문에서는 모두 여덟 개의 XML 질의 캐쉬 저장 기법을 제시한다. 이들은 크게 세 개의 그룹으로 나누어지는데, (1) 일반적인 텍스트 화일을 기반으로 한 기법 (2) 영속성 있는 DOM(PDOM) 화일에 기반을 둔 기법 (3) RDBMS를 사용하는 기법이다. 이들 모두를 구현하여 성능을 비교하였고, 기존의 XML 저장 기술에 기반을 둔 질의 캐쉬 저장 기법과도 비교 평가하였다.

분산 웹 서버 시스템에서의 DNS 기반 동적 부하분산 기법 (DNS-based Dynamic Load Balancing Method on a Distributed Web-server System)

  • 문종배;김명호
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권3호
    • /
    • pp.193-204
    • /
    • 2006
  • 대부분의 분산 웹 시스템은 Domain Name System(DNS)을 이용하여 사용자 요청을 분산한다. DNS 기반 부하분산 시스템은 구성하기 쉬운 장점이 있지만, 주소 캐싱 매커니즘에 의해 서버들 사이의 부하 불균형이 발생한다. 또한, 서버의 상태를 파악하기 위해서 DNS의 수정이 필요하다. 본 논문에서는 DNS의 동적 갱신(dynamic update)과 라운드로빈 방법을 이용한 새로운 부하분산 기법을 제안한다. 본 논문에서 제안하는 방법은 DNS의 수정 없이 동적인 부하분산을 한다. 본 논문에서 제안하는 시스템은 서버의 부하량에 따라 서버를 DNS 리스트에 동적으로 추가, 삭제한다. 부하가 많은 서버를 DNS 리스트에서 제거함으로써 사용자 응답시간이 빠르다. 동적인 부하분산을 위하여 CPU와 메토리 네트워크 자원의 사용률에 따른 부하분산 알고리즘을 제안한다. GUI 기반의 관리도구를 이용하여 손쉽게 제안하는 시스템을 관리할 수 있다. 실험을 통하여 본 논문에서 구현한 모듈들이 제안된 시스템의 성능에 많은 영향을 주지 않는다는 것을 보여준다. 또한 기존 라운드로빈 DNS와의 비교실험을 통하여 사용자 응답시간과 파일전송률이 더 빠르다는 것을 보여준다.

Real-time Image Scanning System for Detecting Tunnel Cracks Using Linescan Cameras

  • Jeong, Dong-Hyun;Kim, Young-Rin;Cho, I-Sac;Kim, Eun-Ju;Lee, Kang-Moon;Jin, Kwang-Won;Song, Chang-Geun
    • 한국멀티미디어학회논문지
    • /
    • 제10권6호
    • /
    • pp.726-736
    • /
    • 2007
  • In this paper, real-time image scanning system using linescan cameras is designed. The system is specially designed to diagnose and analyse the conditions of tunnels such as crack widths through the captured images. The system consists of two major parts, the image acquisition system and the image merging system. To save scanned image data into storage media in real-time, the image acquisition system has been designed with two different control and management modules. The control modules are in charge of controlling the hardware device and the management modules handle system resources so that the scanned images are safely saved to the magnetic storage devices. The system can be mounted to various kinds of vehicles. After taking images, the image merging system generates extended images by combining saved images. Several tests are conducted in laboratory as well as in the field. In the laboratory simulation, both systems are tested several times and upgraded. In the field-testing, the image acquisition system is mounted to a specially designed vehicle and images of the interior surface of the tunnel are captured. The system is successfully tested in a real tunnel with a vehicle at the speed of 20 km/h. The captured images of the tunnel condition including cracks are vivid enough for an expert to diagnose the state of the tunnel using images instead of seeing through his/her eyes.

  • PDF

서비스워커와 해시를 이용한 통신 데이터 소모 감소를 위한 웹 콘텐츠 갱신 알고리즘 설계 (Design of Web Content Update Algorithm to Reduce Communication Data Consumption using Service Worker and Hash)

  • 김현국;박진태;최문혁;문일영
    • 한국항행학회논문지
    • /
    • 제23권2호
    • /
    • pp.158-165
    • /
    • 2019
  • 기존 웹 페이지는 사용자가 해당 페이지를 요청할 때 마다 새로운 페이지를 다운로드 받아 사용자에게 제공하였다. 따라서 동일한 페이지를사용자가 반복해서 요청할 경우 동일한 리소스에 대한 다운로드만을 반복하게 된다. 이는 불필요한 데이터의 소비를 발생시키는 요인이다. 본 논문에서는 사용자와 서버간의 불필요한 요청에 의해 발생하는 데이터의 소모를 감소시키고, 콘텐츠 제공 속도를 향상시키는 대에 초점을 맞추었다. 따라서 이를 방지하기 위하여 본 논문에서는 캐싱 시스템과 사용자가 요청하는 파일의 변경을 감지할 수있는 해시 함수를 이용한 해시 값의 비교를 통해 항상 최신 캐시를 유지하면서 데이터 소모를 줄일 수 있는 알고리즘에 대하여 논하고, 웹 콘텐츠의 속도 향상을 위한 서비스 워커 기반의 캐싱 시스템을 설계하고 성능을 평가하였다.

SSD FTL 캐시 알고리즘 분석 및 제언 (Analysis and Advice on Cache Algorithms of SSD FTL)

  • 이형봉;정태윤
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제12권1호
    • /
    • pp.1-8
    • /
    • 2023
  • SSD는 이미 할당된 페이지에 대한 제자리 덮어쓰기가 불가능하므로 쓰기 연산이 있을 때마다 새로운 클린 페이지로의 대체가 필요하다. 이 문제를 지원하기 위해 SSD는 운영체제의 파일시스템에서 관리하는 논리 페이지를 현재 할당된 물리 페이지로 매핑하는 플래시 변환 계층인 FTL을 내부에 둔다. 쓰기 연산으로 버려진 SSD 페이지는 초기화 작업을 거쳐 재활용되어야 하는데, 그 횟수에 제한이 있기 때문에 FTL은 기본인 페이지 매핑 기능 외에 쓰기 횟수를 줄일 수 있는 캐시 기능을 제공한다. 이 연구에서는 쓰기 횟수를 줄이기 위한 FTL의 캐시 방법론에 집중하여 관련된 알고리즘들을 분석하고, 쓰기 전용 캐시 전략을 제안한다. 시뮬레이터를 사용하여 쓰기 전용 캐시를 실험한 결과 최대 29%의 개선 효과를 보였다.

NVDIMM-N을 활용한 WiscKey 키-밸류 스토어 성능 향상 (Boosting WiscKey Key-Value Store Using NVDIMM-N)

  • 송일한;이보현;이상원
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권3호
    • /
    • pp.111-116
    • /
    • 2023
  • LSM 트리 기반 Key-Value 스토어의 컴팩션(compaction)에 의한 오버헤드를 최적화한 WiscKey 데이터베이스는 값은 별도의 파일에 저장하고, 데이터베이스에는 키와 값의 주소만을 저장한다. 값을 저장하는 과정에서 데이터 무결성을 보장하기 위해 매번 fsync 시스템 호출 함수를 사용한다. 기존의 수행된 연구에서 fsync 시스템 호출 함수를 호출하지 않고 데이터 저장 작업을 반복적으로 수행해 본 결과 총 작업 수행시간이 최대 5.8배까지 줄어들었다. 하지만 fsync 시스템 호출 함수를 사용하지 않을 경우 데이터베이스의 데이터 무결성을 보장하기 어렵다. 본 논문에서는 WiscKey 데이터베이스에서 작업 수행 중 fsync 시스템 호출 함수의 오버헤드를 줄이기 위해 NVDIMM 캐싱 기법을 사용하여 데이터 무결성을 보장함과 동시에 WiscKey 데이터베이스의 성능을 향상시켰다.