• Title/Summary/Keyword: 쓰기 성능

Search Result 363, Processing Time 0.033 seconds

Enhancing Write Performance in Cooperative Cache using Extensible 2-Phase Protocol (확장 가능한 두 단계 프로토콜을 이용한 상호 협력 캐쉬의 쓰기 성능 향상)

  • Hwang In-Chul;Maeng Seung-Ryoul;Cho Jung-Wan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.37-39
    • /
    • 2005
  • 요즘 네트웍과 PC의 성능이 향상됨에 따라 값싼 PC를 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 시스템에 대하여 많이 연구 되어 왔다. 이러한 연구의 한 분야로서 클러스터 I/O 하위 시스템의 성능을 향상시키고자 하는 상호 협력 캐쉬가 제시되었다. 기존 상호 협력 캐쉬에 대한 연구는 주로 효율적인 캐쉬 공유 기법에만 집중되어있고 쓰기 성능에 대한 고려는 하지 않고 있다. 또한 대부분의 읽기 데이터는 상호 협력 캐쉬를 통하여 처리되지만 쓰기 데이터는 디스크에 접근하기 때문에 쓰기가 병목현상이 될 수 있다. 따라서 상호 협력 캐쉬에서 읽기 뿐 아니라 쓰기 성능 향상 기법에 대한 연구가 필요하다. 본 논문에서는 상호 협력 캐쉬에서 쓰기 성능 향상 기법으로 확장 가능한 두 단계 프로토콜을 제시한다. 확장 가능한 두 단계 프로토콜은 기존 두 단계 프로토콜과 같이 파일에 읽기/쓰기 접근을 연속된 읽기/쓰기 단계로 나누고, 쓰기 단계에서 연속된 쓰기사이의 불필요한 동작을 제거할 뿐 아니라 쓴 데이터에 대한 일시적 버퍼링을 수행함으로서 쓰기 성능을 향상시킨다. 그리고 확장 가능한 두 단계 프로토콜을 상호 협력 클러스터 파일 시스템의 홈 기반 상호 협력 캐쉬에 적용하여 성능을 비교, 분석한다.

  • PDF

A Study on the Analysis of RocksDB Parameters Based on Machine Learning to Improve Database Performance (데이터베이스 성능 향상을 위한 기계학습 기반의 RocksDB 파라미터 분석 연구)

  • Jin, Huijun;Choi, Won Gi;Choi, Jonghwan;Sung, Hanseung;Park, Sanghyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.69-72
    • /
    • 2020
  • Log Structured Merged Tree(LSM-Tree)구조를 사용하여 빠른 데이터 쓰기 성능을 보유한 RocksDB에는 쓰기 증폭과 공간 증폭 현상이 발생한다. 쓰기 증폭은 과도한 쓰기 연산을 유발하여 데이터 처리 성능 저하와 플래시 메모리 기반 장치의 수명 저하를 초래하며, 공간 증폭은 데이터 저장 공간 점유로 인한 저장 공간 부족 문제를 야기한다. 본 논문에서는 쓰기 증폭과 공간 증폭 완화를 위해 RocksDB 의 성능에 영향 주는 주요 파라미터를 추출하고, 기계학습 기법인 랜덤 포레스트를 사용하여 추출한 파라미터가 쓰기 증폭과 공간 증폭에 미치는 영향을 분석하였다. 실험결과 쓰기 증폭과 공간 증폭에 영향을 많이 주는 주요 요소를 선별하였고 다른 파라미터에 대비해서 성능 격차가 61.7% 더 나타낸 것을 발견하였다.

Partial Garbage Collection Technique for Improving Write Performance of Log-Structured File Systems (부분 가비지 컬렉션을 이용한 로그 구조 파일시스템의 쓰기 성능 개선)

  • Gwak, Hyunho;Shin, Dongkun
    • Journal of KIISE
    • /
    • v.41 no.12
    • /
    • pp.1026-1034
    • /
    • 2014
  • Recently, flash storages devices have become popular. Log-structured file systems (LFS) are suitable for flash storages since these can provide high write performance by only generating sequential writes to the flash device. However, LFS should perform garbage collections (GC) in order to reclaim obsolete space. Recently, a slack space recycling (SSR) technique was proposed to reduce the GC overhead. However, since SSR generates random writes, write performance can be negatively impacted if the random write performance is significantly lower than sequential write performance of the target device. This paper proposes a partial garbage collection technique that copies only a part of valid blocks in a victim segment in order to increase the size of the contiguous invalid space to be used by SSR. The experiments performed in this study show that the write performance in an SD card improves significantly as a result of the partial GC technique.

Analysis and Design for Improving Read Performance on NAND Flash Memory Storage (낸드 플래시 메모리 저장장치에서 읽기 성능 향상을 위한 분석 및 설계)

  • Su-Mi Song;Hyun-Seob Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.525-526
    • /
    • 2023
  • 최근 빅데이터를 처리하기 위한 고용량의 저장장치의 연구가 활발하게 진행되고 있다. 특히 낸드 플래시 메모리 기반 저장장치인 SSD(Solid State Drive)는 고속 데이터 처리가 가능하기 때문에 다양한 저장 시스템에서 사용되고 있다. 그러나 낸드 플래시 메모리는 읽기 속도가 빠르고 쓰기 속도가 느린 비대칭 구조를 가지고 있어 데이터 쓰기 작업이 진행 중일 때 다른 작업이 대기하게 되어 전체적인 시스템 성능에 영향을 미칠 수 있다. 이에 대해 대부분의 연구에서는 쓰기 성능을 개선하기 위한 버퍼 관리 정책들이 제안되었다. 기술의 발전으로 쓰기 성능은 개선되었지만, 그에 비해 읽기 성능이 저조한 문제가 있다. 본 논문에서는 읽기 성능이 쓰기 성능보다 취약한 점을 분석하고 플래시 메모리 내에 저장장치 속도를 개선하기 위해 앞으로 읽기 요청 가능성이 있는 예상 데이터를 선형회귀 모델을 적용하여 전송 대기 시간 중 미리 읽는 정책을 제안한다.

A Study on WAF reduction and SST file size on RocksDB (RocksDB에서 SST 파일에 따른 WAF 감소에 관한 연구)

  • Cho, Minsoo;Choi, Wongi;Park, Sang Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.709-712
    • /
    • 2017
  • RocksDB는 Facebook에서 LevelDB를 기반으로 개발한 임베디드 key-value 스토리지 엔진이다. Log structured tree(LSM-tree)를 기본구조로 사용하는 RocksDB는 데이터를 레벨단위로 저장한다. 지속적인 데이터 입력으로 인하여 레벨의 크기를 초과하게 되면 하위 레벨의 SST 파일과 병합을 통해 하위레벨로 내려 보낸다. 이 과정에서 디바이스의 부가적인 쓰기가 발생한다. 본 논문에서는 RocksDB의 디스크영역에 있는 SST 파일의 크기가 디바이스의 쓰기 증폭에 미치는 영향을 분석하였다. SST 파일크기변화에 따른 디바이스의 쓰기 증폭과 성능변화를 측정하고 비교하였다. 실험결과를 통해 SST의 크기가 작을수록 쓰기 증폭이 줄었지만 디바이스의 쓰기와 읽기 성능이 감소하는 것을 확인하였다. 결과적으로 쓰기 증폭을 줄이고 성능을 최대화 하기 위해서는 이 둘의 트레이드오프를 파악하고 분석하여 시스템에 맞는 최적의 SST 파일 크기를 찾아야한다.

Co-Writing Multiple Files Based on Directory Locality for High Performance of Small File Writes (디렉토리 지역성을 활용한 작은 파일들의 모아 쓰기 기법)

  • Lee, Kyung-Jae;Ahn, Woo-Hyun;Oh, Jae-Won
    • The KIPS Transactions:PartA
    • /
    • v.15A no.5
    • /
    • pp.275-286
    • /
    • 2008
  • Fast File System(FFS) utilizes large disk bandwidth to improve the write performance of large files. One way to improve the performance is to write multiple blocks of a large file at a single disk I/O through the disk bandwidth. However, rather than disk bandwidth, the performance of small file writes is limited by disk access times significantly impacted by disk movements such as disk seek and rotation because FFS writes each of small files at a single disk write. We propose CW-FFS (Co-Writing Fast File System) to improve the write performance of small files by minimizing the disk movements that are needed to write small files to disks. Its key technique called co-writing scheme is to dynamically collect multiple small files named by a given directory and then write them at a single disk I/O to contiguous disk locations. Co-writing several small files at a single disk I/O reduces multiple disk movements that are needed for small file writes to one single disk movement, thus increasing the overall write performance of write-intensive applications. Furthermore, a file allocation scheme is introduced to prevent co-writing scheme from having a negative impact on disk spatial locality of small files named by a given directory. The measurement of our technique implemented in the OpenBSD 4.0 shows that CW-FFS increases the performance of small file writes over FFS in the range from 5 to 35% in the Postmark benchmark.

Delayed Write Scheme for The Flash Memory based Embedded Database Systems (플래시 메모리 기반 임베디드 데이터베이스 시스템을 위한 지연쓰기 기법)

  • Yun, Seung-Hee;Song, Ha-Joo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.287-290
    • /
    • 2006
  • 플래시 메모리는 동작 특성상 메모리 영역에 대한 덮어쓰기(overwrite)가 불가능하고 메모리 쓰기를 위해서는 삭제(erase) 연산을 반드시 먼저 수행해야 한다. 삭제 연산은 읽기 연산에 비해 많은 시간이 소요되므로 될수록 줄이는 것이 플래시 메모리의 수행 성능 향상에 유리하다. 본 논문에서는 플래시 메모리에 대한 삭제 횟수를 줄이기 위해 데이터베이스 페이지에 대한 쓰기 연산을 지연하는 지연쓰기 기법을 제안한다. 이 기법은 페이지에 대한 갱신이 일어날 때 페이지캐시 내의 해당 페이지에 대해서는 갱신을 수행하되 그것을 유발한 레코드 연산(레코드 삽입, 갱신, 삭제)은 별도의 지연쓰기 큐에 기록한다. 그리고 레코드 연산이 지연쓰기 큐에 저장되어 있는 동안에는 해당 페이지에 대한 갱신은 보류한다. 만약 해당 페이지를 다시 읽어야할 필요가 있을 때에는 지연 쓰기 큐에 저장된 갱신 정보와 병합하여 갱신된 페이지를 페이지 캐시에 적재한다. 이는 갱신되는 페이지의 개수와 단일 페이지에 대한 갱신 횟수를 감소시키는 효과를 가져온다. 따라서 플래시 메모리의 삭제 및 쓰기 연산을 감소시켜 데이터베이스 시스템의 수행성능을 향상시키게 된다.

  • PDF

Performance Evaluations of Hybrid Write-Piggybacking Technique for Disk System (복합동반쓰기를 사용하는 디스크 시스템의 성능 평가)

  • Jang, Yun-Seok;Kim, Hong-Il;Kim, Guk-Bo
    • The Transactions of the Korea Information Processing Society
    • /
    • v.3 no.4
    • /
    • pp.983-991
    • /
    • 1996
  • This paper proposes an improved write-piggybacking technique called hybrid write-piggybacking, and evaluates its performance. The performance of the proposed hybrid write-piggybacking technique is done through a trace-driven simulation using a model of a real disk system. The results of simulation show that the proposed hybrid write-piggybacking has better performance compared to the original write-piggybacking technique.

  • PDF

Delayed Write Scheme to Enhance Write Performance of Flash Memory Based Embedded Database Systems (플래시 메모리 기반 임베디드 데이터베이스 시스템의 쓰기 성능 향상을 위한 지연쓰기 기법)

  • Song, Ha-Joo;Kwon, Oh-Heum
    • Journal of Korea Multimedia Society
    • /
    • v.12 no.2
    • /
    • pp.165-177
    • /
    • 2009
  • Embedded database systems (EDBMS) based on NAND flash memories are widely adopted for logging data on sensor nodes. Since write and erase operations of a flash memory are time consuming compared to read operations and wear memory cells, it is important to reduce these operations to enhance the EDBMS performance and to extend the memory life. In this paper, we propose a delayed write scheme to archive this goal. Proposed scheme stores updated parts of database pages into delayed write records to reduce the database page writes. By doing that, it decreases write and erase operations on a flash memory. Therefore, the proposed scheme enhances the logging performance of a write-intensive EDBMS on a sensor node and extends the flash memory life.

  • PDF

A Buffer Cache Replacement Algorithm for Considering both Hybrid Main Memory and Storage (하이브리드 메인 메모리와 스토리지의 특성을 고려한 버퍼 캐시 교체 정책)

  • Kang, Dong Hyun;Eom, Young Ik
    • Journal of KIISE
    • /
    • v.42 no.8
    • /
    • pp.947-953
    • /
    • 2015
  • PRAM is being considered as a potential successor to DRAM because of its characteristics such as byte-addressability, non-volatility, and high density. To gain its benefits, buffer cache replacement algorithm based on PRAM has been actively studied. However, most of the previous studies on buffer cache replacement algorithm limitedly exploit the byte-level performance of PRAM by focusing its limited lifetime and slower access latency compared to DRAM. In this paper, we propose a novel buffer cache replacement algorithm that fully considers the byte-level performance of PRAM and the performance of secondary storage. To take advantage of small size write on PRAM, proposed scheme keeps pages, which are frequently accessed with a small size write, on PRAM and allows the selective page migration from DRAM to PRAM. As a result, our scheme significantly reduces the number of PRAM writes. Our experimental results indicate for real workloads that our scheme reduces the number of PRAM writes by up to 92% and improves its performance by up to 62% compared to CLOCK.