• Title/Summary/Keyword: 버퍼 일관성 문제

Search Result 11, Processing Time 0.025 seconds

Efficient Buffer Coherency Management for a Shared-Disk based Multiple-Server DBMS (공유 디스크 기반의 다중 서버 DBMS를 위한 효율적인 버퍼 일관성 관리)

  • Ko, Hyun-Sun;Kim, Yi-Reun;Lee, Min-Jae;Whang, Kyu-Young
    • Journal of KIISE:Databases
    • /
    • v.36 no.5
    • /
    • pp.399-404
    • /
    • 2009
  • In a multiple-server DBMS using the share-disk model, when a server process updates data, the updated ones are not immediately reflected to the buffers of the other server processes. Thus, the other server processes may read invalid data. In this paper, we propose a novel method to solve this problem. In this method the server process stores the identifiers and timestamps of the pages that have been updated during a transaction into the coherency volume when the transaction commits. Then, the server process invalidates its buffers of the pages updated by the other server processes by accessing the coherency volume when the lock is acquired, and, subsequently, read the up-to-date versions of the pages from disk. This method needs only a very small coherency volume and shows a good performance because the amount of data that need to be accessed is very small.

RFJ: A Reliable and Fast Journaling Mechanism (RFJ: 신뢰적 고성능 데이터 버퍼 저널링 기법)

  • Park, Sejin
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.20 no.7
    • /
    • pp.45-51
    • /
    • 2019
  • Modern file systems have journaling mechanism to maintain their stored state consistently even under unexpected system crashes or disasters. However, the journaling makes I/O throughput lower. This performance degradation comes from the ordering mechanism between the data buffer and metadata buffer and two-staged buffer writing. Especially, if the data buffer and metadata buffer are journalled at the same time, then it incurs significant performance degradation due to the two-staged writing. That shows the trade-off relation-ship between I/O performance and system reliability. In this paper, we propose RFJ: a reliable and fast jour-naling mechanism to deal with this trade-off relationship. We propose an ordering enforced writeback journaling mode and selective journaling mechanism. The Ordering enforced writeback journaling mode achieves low I/O latency and the selective journaling mechanism achieves high reliability. The experimental result shows that the performance of RFJ is almost 5x faster than the journal mode of Ext3 file system but it still supports the same reliability with the journal mode.

Taming Vertex Data

  • Iain Cantlay
    • Digital Contents
    • /
    • no.11 s.126
    • /
    • pp.144-151
    • /
    • 2003
  • 문제점: 하위 수준 D3D 지원_ 버텍스 버퍼를 만들기 위해 코어 Direct3D(D3D)는 하위 수준의 메모리 관리만 지원한다. 버텍스 버퍼 데이터는 void* 포인터를 사용해 액세스 된다. 코어 D3D에서 하위 수준의 지원은 매우 적절하다. D3DX는 전체 메시 클래스로서 포함한 상위 수준도 지원한다. 이 상위 수준과 하위 수준 사이에는 아무 것도 없다. 하위 수준의 버텍스 버퍼(VB)를 사용하기 위해서는 먼저 버텍스데이터 구조를 만들고 크기에 맞는 VB를 만든 후 이를 데이터로 채우고(void* 포인터 배치) 마지막으로 필요한 버텍스 선언을 한다. 애플리케이션 코드는 D3D 없이도 스스로 일관성을 가져야 하며 몇몇 하위 수준 에러가 발생할 수도 있다. 기껏해야 에러는 실행하면서 D3D의 디버그 버전으로 잡아낼 수 있다. 최악의 경우, 애플리케이션 문제를 발생시킬 수 있는데 이럴 경우 종종 디버그가 어려울 수도 있다.

  • PDF

Efficient Techniques for Software RAID of SAN based on shared Storage systems (SAN기반 공유 저장 장치 시스템에서 고성능 소프트웨어 RAID를 위한 기법)

  • 김경호;황주영;안철우;박규호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.55-57
    • /
    • 2001
  • 본 논문에서는 최근 이슈가 되고 있는 Fibre Channel과 같은 네트워크를 이용한 공유 디스크 시스템에서 다수의 호스트가 소프웨어 RAID\ulcorner 4 흑은 5를 이용할 때, 디스크 공유에 의해 발생하는 패리티 블록 일관성 문제를 다룬다. 본 논문에서는 XDWRITE을 이용해 Software HAID에서의 일관성 문제 해결과 디스크 1/0수 감소에 대해 설명한다. 또한, 버퍼캐쉬에서 파일 블록 쓰기 발생시 원본의 복사본을 이용하여 패리티 계산을 위한 디스크 읽기의 수를 감소 시키는 방법에 대해 제안한다. 본 논문에서 제안한 방식은 기존의 방식인 보다 1.5배에서 2배 디스크 1/0의 수를 감소시키는 것을 알 수 있다.

  • PDF

Efficient Implementation of RAID Level 5 on Single Disk I/O (SDIO에서 RAID 레벨 5의 효율적인 구현)

  • 김호진;황인철;맹승렬;윤현수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04a
    • /
    • pp.64-66
    • /
    • 2004
  • 단일 입출력 디스크(SDIO)는 클러스터 환경에서 빠르고 신뢰성 있는 분산 저장장치를 제공한다. 단일 입출력 디스크는 주로 RAID 레벨 0이나 레벨 1을 사용하는데, RAID 레벨 5를 사용함으로써 좋은 성능과 좋은 신뢰도 그리고 높은 디스크 용량 사용률을 얻을 수 있다. 그러나 RAID 레벨 5를 사용함으로써 네트웍 오버헤드 문제, 작은 데이터의 기록 성능 문제, 동시 기록 문제가 발생한다. 위의 새 가지 문제를 해결하거나 최소화하기 위하여 본 논문에서는 Parity Cumulating이라는 접근방법을 제시한다. Parity Cumulating은 패리티의 계산을 두 개의 노드로 분산시킴으로써 네트웍 오버헤드를 줄이고, 패리티를 버퍼에 저장하고 디스크에 작업이 없을 때 처리함으로써 작은 데이터의 기록 성능을 높이며 동시 기록시 일관성을 지킨다.

  • PDF

Extension of EXT2 for Single Disk I/O Environment (단일 디스크 입출력 환경을 위한 EXT2의 확장)

  • 임동혁;황인철;변은규;맹승렬
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.76-78
    • /
    • 2004
  • 단일 디스크 입출력 환경은 클러스터 시스템의 분산된 디스크들을 하나의 통합된 디스크의 이미지로 제공하여 사용자에게 편의성을 제공한다. 하지만, 디바이스 수준에서의 서비스를 제공하고 이로 인해 여러 노드에서의 파일의 병렬적인 접근을 지원하기 위해서는 클러스터 파일 시스템의 지원이 요구된다. 본 논문은 리눅스 시스템에서 가장 많이 사용하는 EXT2 파일 시스템을 단일 입출력 환경에서 효과적으로 사용할 수 있는 클러스터 파일 시스템으로의 확장하는 방안에 대해서 설명한다. 기존의 EXT2 파일 시스템을 커널 모듈의 형태로 재구성하고, 버퍼 캐쉬와 메타 데이터의 일관성 유지를 위하여 분산 락 모듈물 구현하고 이를 이용하여 데이터의 일관성과 동기화 문제를 동시에 해결하도록 하여, EXT2 파일 시스템을 클러스터 파일 시스템으로 확장하였다

  • PDF

Improving Periodic Flush Overhead of File Systems Using Non-volatile Buffer Cache (비휘발성 버퍼 캐시를 이용한 파일 시스템의 주기적인 flush 오버헤드 개선)

  • Lee, Eunji;Kang, Hyojung;Koh, Kern;Bahn, Hyokyung
    • Journal of KIISE
    • /
    • v.41 no.11
    • /
    • pp.878-884
    • /
    • 2014
  • File I/O buffer cache plays an important role in narrowing the wide speed gap between the main memory and the secondary storage. However, data loss or inconsistencies may occur if the system crashes before the data that has been updated in the buffer cache is flushed to storage. Thus, most operating systems adopt a daemon that periodically flushes dirty data to the secondary storage. In this study, we show that periodic flushes account for 30-70% of the total write traffic to storage and remove this inefficiency by implementing a small, non-volatile buffer cache. Specifically, we present space-efficient management techniques, such as delta-write and fragment-grouping, and show that the storage write traffic and throughput can be improved by a margin of 44.2% and 23.6%, respectively, with only a small NVRAM.

A Design and Implementation of an Adaptive Stream Controller for Mobile Operating System (이동형 운영체제를 위한 적응적 스트림 처리기 설계 및 구현)

  • Park, Seung-Keun;Oh, Mi-Kyong;Lim, Young-Hwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.147-150
    • /
    • 2002
  • 본 논문에서는 이동 단말기 중 하나인 Windows CE 기반 PDA를 위한 적응적 멀티미디어 스트림 처리기를 설계 및 구현하였다. 제한된 시스템 환경을 갖고 있는 PDA 상에서 멀티미디어 데이터를 실시간으로 전송 및 저장할 때 생기는 메모리 문제를 효율적으로 해결하기 위하여 적응적 버퍼 관리 기법을 사용하였다. 단말기에 적합한 형태로 멀티미디어 데티터를 변환하여 전송하기 위하여 필터를 사용하였고, 필터 파이프라인을 구성하였다. 또한 다양한 형태의 미디움과 필터의 입출력을 일관성 있게 처리하기 위해서 DLM(Dynamic Linking Module) 구조를 사용하였다.

  • PDF

Distributed Data Allocation Methods and Implementations using the Temporary Table (임시 테이블을 사용한 분산 데이타 할당 방법 및 구현)

  • Heo, Gye-Beom;Lee, Jong-Seop;Jeong, Gye-Dong;Choe, Yeong-Geun
    • The Transactions of the Korea Information Processing Society
    • /
    • v.4 no.4
    • /
    • pp.1076-1088
    • /
    • 1997
  • Data repliciation techniques of distributed database a allocation methods occures to overhead to change together all repkicas for consistency maintenance at updates .In case of data migration horizontal or vertical fragment migration has caused to caused to increase data communication.In this paper we purpose batch proxessing method groups the associated items of table and stores temporary table assciated with file relication and migrations.This method increase the usagility of system buffer in distributed trancsaction processing with a number of data inputs and updates.After all,it improved the perform-ance of distributed transaction system by reducing disk I\O processing time and the cost of data cimmunication among local sites.

  • PDF

Memory Efficient Parallel Ray Casting Algorithm for Unstructured Grid Volume Rendering on Multi-core CPUs (비정렬 격자 볼륨 렌더링을 위한 다중코어 CPU기반 메모리 효율적 광선 투사 병렬 알고리즘)

  • Kim, Duksu
    • Journal of KIISE
    • /
    • v.43 no.3
    • /
    • pp.304-313
    • /
    • 2016
  • We present a novel memory-efficient parallel ray casting algorithm for unstructured grid volume rendering on multi-core CPUs. Our method is based on the Bunyk ray casting algorithm. To solve the high memory overhead problem of the Bunyk algorithm, we allocate a fixed size local buffer for each thread and the local buffers contain information of recently visited faces. The stored information is used by other rays or replaced by other face's information. To improve the utilization of local buffers, we propose an image-plane based ray grouping algorithm that makes ray groups have high coherency. The ray groups are then distributed to computing threads and each thread processes the given groups independently. We also propose a novel hash function that uses the index of faces as keys for calculating the buffer index each face will use to store the information. To see the benefits of our method, we applied it to three unstructured grid datasets with different sizes and measured the performance. We found that our method requires just 6% of the memory space compared with the Bunyk algorithm for storing face information. Also it shows compatible performance with the Bunyk algorithm even though it uses less memory. In addition, our method achieves up to 22% higher performance for a large-scale unstructured grid dataset with less memory than Bunyk algorithm. These results show the robustness and efficiency of our method and it demonstrates that our method is suitable to volume rendering for a large-scale unstructured grid dataset.