• Title/Summary/Keyword: 압축파일시스템

Search Result 91, Processing Time 0.03 seconds

Improving the Read Performance of Compressed File Systems Considering Kernel Read-ahead Mechanism (커널의 미리읽기를 고려한 압축파일시스템의 읽기성능향상)

  • Ahn, Sung-Yong;Hyun, Seung-Hwan;Koh, Kern
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.16 no.6
    • /
    • pp.678-682
    • /
    • 2010
  • Compressed filesystem is frequently used in the embedded system to increase cost efficiency. One of the drawbacks of compressed filesystem is low read performance. Moreover, read-ahead mechanism that improves the read throughput of storage device has negative effect on the read performance of compressed filesystem, increasing read latency. Main reason is that compressed filesystem has too big read-ahead miss penalty due to decompression overhead. To solve this problem, this paper proposes new read technique considering kernel read-ahead mechanism for compressed filesystem. Proposed technique improves read throughput of device by bulk read from device and reduces decompression overhead of compressed filesystem by selective decompression. We implement proposed technique by modifying CramFS and evaluate our implementation in the Linux kernel 2.6.21. Performance evaluation results show that proposed technique reduces the average major page fault handling latency by 28%.

Design of an Embedded Linux File System with LZSS Algorithm for the PDA System (LZSS 압축 알고리즘을 적용한 PDA용 Embedded Linux 파일 시스템 설계)

  • Jang Seung-Ju
    • The KIPS Transactions:PartA
    • /
    • v.13A no.2 s.99
    • /
    • pp.95-100
    • /
    • 2006
  • I design an Embedded File System in Linux Operating System by applying modified LZSS compressed algorithm. This suggested Compressed File System which is modified file system of the Linux O.S saves the storage space. The compressed file system supports efficient use of storage space. The suggesting file system solves the small space of embedded system. The suggesting file system of this paper gives effect of the large storage space without extending the storage space.

Optional Compression Algorithm Design for Efficient Space Utilization of the EXT3 File System (EXT3 파일 시스템의 효율적인 공간 활용을 위한 선택적 압축 알고리즘 설계)

  • Lee, Seong-Heon;Jang, Seung-Ju
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2011.05a
    • /
    • pp.633-636
    • /
    • 2011
  • In this paper, ordered mode of EXT3 file system offers to use an optional compression algorithm technique. If the system terminates abnormally or an error occurs, data which is being modified will be possibly damaged or a recovery of the existing data can be impossible. To overcome these problems, a journaling file system is used. Journaling file system manages by using an additional space called Journal. EXT3 file system is the most widely used journaling file system. In this paper, When performing a file writing of an existing EXT3 file system, it offers to use an optional compact algorithm technique for an efficient use of a space of storage device.

  • PDF

A Queriable XML Compression Through An Extraction of Type Information (타입 정보 추출을 통한 질의 가능 XML 압축)

  • 박명제;민준기;정진완
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.554-556
    • /
    • 2003
  • 인터넷에서 널리 사용되는 HTML은 현재 데이터베이스 시스템과 같은 저장소 대신, 전형적인 파일 시스템에 저장되는 경우가 대부분이다. 마찬가지로 최근에 인터넷 상에서의 데이터 교환 및 표현의 표준으로 부각되는 XML 역시 파일 시스템에 저장되는 경우가 많다. 하지만, XML 문서의 비정규적인 구조와 장황성 때문에. 디스크 공간이나 네트워크 대역폭이 정규적인 구조의 데이터에 비해 비효율적이다. 따라서. 이를 해결하고자. XML 문서의 압축에 관한 연구가 진행되었다. 하지만. 최근에 연구된 XML 압축 기법들은 압축한 XML 문서에 대한 질의를 지원하지 않거나, 질의를 지원하더라도 XML 문서의 데이터 값들의 특성을 고려하지 않고 단순히 기존의 압축 방법을 통해 XML 문서를 압축한다. 그러므로 본 연구에서는 압축한 XML 문서에 대한 질의를 효율적으로 지원하는 XML 압축 기법을 제안한다. 본 연구에서는 태그를 Dictionary 압축으로 압축하며 태그 별로 데이터 값들의 타입을 추출하여 추출한 타입에 적절한 압축 방법으로 데이터 값을 압축한다. 또한, 제안하는 압축 기법의 구현 및 성능 평가를 통하여. 구현한 시스템이 실생활에 사용되는 XML 문서들을 효율적으로 압축하며 향상된 질의 성능을 제공하는 것을 보인다.

  • PDF

An Improved Bit Vector Compression Method for a Document Retrieval System (문서 검색 시스템을 위한 도치 색인 파일의 압축 저장 기법 개선)

  • Lee, Jun-Young;Kim, Min-Jung;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 1995.10a
    • /
    • pp.18-22
    • /
    • 1995
  • 문서 검색 시스템의 도치 색인 파일은 저장 공간과 검색 시간을 줄이기 위해 색인어 사전과 문서번호를 위한 이진 도치 파일 또는 비트벡터로 구성할 수 있다. 비트벡터는 1의 값을 가지는 비트만 저장함으로써 압축이 가능하나, Bit tree 압축 방법은 block의 크기가 어떻게 결정되느냐에 따라 압축률이 달라진다. 본 논문에서는 비트벡터에 나타나는 1의 값을 가지는 비트의 개수에 의해 bit tree 압축에 대한 최적의 block 크기를 결정하는 방법을 했다. 최적의 block의 크기는 (전체 비트벡터의 크기 / 1의 개수)보다 작거나 같은 최대의 2의 승수이다. 또한 block내의 1의 값을 가지는 비트의 위치에 의해 상대 위치값을 계산해서 block의 오른쪽 반에 나타나는 비트를 더 압축할 수 있는 기법을 구현한다. 본 논문에서 구현한 압축 기법은 Run Length를 이용한 방법에 비해서 13.65%, 기존의 Bit Tree 방법에 비해서 1.88%의 압축률을 개선했다.

  • PDF

Design and Implementation of an In-Memory File System Cache with Selective Compression (대용량 파일시스템을 위한 선택적 압축을 지원하는 인-메모리 캐시의 설계와 구현)

  • Choe, Hyeongwon;Seo, Euiseong
    • Journal of KIISE
    • /
    • v.44 no.7
    • /
    • pp.658-667
    • /
    • 2017
  • The demand for large-scale storage systems has continued to grow due to the emergence of multimedia, social-network, and big-data services. In order to improve the response time and reduce the load of such large-scale storage systems, DRAM-based in-memory cache systems are becoming popular. However, the high cost of DRAM severely restricts their capacity. While the method of compressing cache entries has been proposed to deal with the capacity limitation issue, compression and decompression, which are technically difficult to parallelize, induce significant processing overhead and in turn retard the response time. A selective compression scheme is proposed in this paper for in-memory file system caches that rapidly estimates the compression ratio of incoming cache entries with their Shannon entropies and compresses cache entries with low compression ratio. In addition, a description is provided of the design and implementation of an in-kernel in-memory file system cache with the proposed selective compression scheme. The evaluation showed that the proposed scheme reduced the execution time of benchmarks by approximately 18% in comparison to the conventional non-compressing in-memory cache scheme. It also provided a cache hit ratio similar to the all-compressing counterpart and reduced 7.5% of the execution time by reducing the compression overhead. In addition, it was shown that the selective compression scheme can reduce the CPU time used for compression by 28% compared to the case of the all-compressing scheme.

A Page Cache Mechanism for JFFS2 Flash File System in Embedded Systems (내장형 시스템에서 JFFS2 플래쉬 파일 시스템에 적합한 페이지 캐쉬 구조)

  • 송형근;차호정
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.271-273
    • /
    • 2003
  • 본 논문은 JFFS2 플래쉬 파일 시스템에 적합한 페이지 캐쉬 구조를 제안한다. JFFS2 플래쉬 파일 시스템은 공간활용을 높이기 위해 데이터를 압축 저장하므로 기존 리눅스의 페이지 캐쉬가 효과적으로 사용될 수 있다. 그러나 멀티미디어 파일과 같이 비압축과 순차읽기 특성을 보이는 데이터는 플래쉬 메모리의 빠른 읽기 속도와 낮은 캐쉬적중률로 인해 기존 페이지 캐쉬는 문제점을 보인다. 본 논문에서는 JFFS2 플래쉬 파일 시스템에서 사용하는 리눅스의 페이지 캐쉬를 기술하고 문제점을 분석한다. 그리고 기존 연구에서 제시된 저전력 소모를 위한 페이지 캐쉬 구조에 기반하여 throughput 향상을 위한 페이지 캐쉬 사용 기법을 제시하고 평가한다.

  • PDF

A Study of EXT3 Journaling File System (EXT3 저널링 파일 시스템 기능 개선 연구)

  • Jang, Seung-Ju;Lee, Seong-Heon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.1688-1690
    • /
    • 2010
  • 컴퓨터에서 안정성은 가장 중요시된다. 파일 시스템의 안정성이 문제가 되어 시스템이 다운되거나 여러 가지 문제가 발생할 경우, 데이터가 손상 되거나 데이터 복구가 불가능하게 될 수 있다. EXT3 파일 시스템은 이러한 문제점을 보안하기 위해 기존의 EXT2 파일 시스템에 저널링 기능이 추가된 파일 시스템이다. EXT3 파일 시스템은 매우 안정적이고, 기존의 EXT2 파일 시스템에서의 변경 과정이 쉽고 간단하여 일반적으로 많이 사용 되고 있는 저널링 파일 시스템이다. EXT3 파일 시스템은 기본적으로 ordered mode 를 사용하는데 메타데이터가 저널에 기록되는 추가적인 과정이 이루어져야 하기 때문에 성능의 저하가 발생한다. 본 논문에서는 ordered mode 에 압축 저장 기법을 적용하여 효율적인 공간 관리와 쓰기 속도가 향상된 ordered mode 저널링 기능을 제안하여 파일 시스템 기능을 개선하고자 한다.

Research on an I/O Method of Raw Contents based on MXF File Format For UHD Video Capture/Playback Systems (초고화질 비디오 캡처/재생 시스템을 위한 MXF 파일 포맷 기반 비압축 콘텐츠의 입출력 방법에 관한 연구)

  • Shin, Hwa Seon;Kim, Jewoo;Choi, Byeongho
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2013.11a
    • /
    • pp.95-97
    • /
    • 2013
  • 본 논문에서는 초고해상도(UHD) 비디오 캡처/재생 시스템을 위한 MXF 파일 포맷 기반 콘텐츠 입출력 방법에 대해 논의한다. 초고해상도 비디오의 경우, 기존 고해상도(HD) 대비 4배에서 16배 가량의 데이터를 송수신해야 하기 때문에 고속의 데이터 인터페이스를 필요로 할 뿐만 아니라, 디지털 방송에서 사용하는 MXF 파일 포맷에 기반한 콘텐츠 파일을 제공해야 한다. 이와 같은 문제점을 해결하기 위해 MXF 규격에 기반한 외부 에센스 구조를 바탕으로 실시간으로 초고해상도 비디오를 캡처/재생하는 방법을 제시한다. 따라서 제안하는 방식을 적용하여 초고해상도 비디오를 실시간 캡처/재생하는 효율적인 방송 시스템을 구축할 수 있을 뿐만 아니라 압축된 비디오에 적용할 경우 더욱 향상된 성능의 시스템을 구축할 수 있게 된다.

  • PDF

Efficient Metadata Management Scheme in NAND Flash Based File System Using BPRAM (BPRAM을 이용한 NAND Flash 기반 파일 시스템에서의 효율적인 메타데이터 관리 기법)

  • Yoo, Jin-Soo;Tai-Zhong, Quan;Won, You-Jip
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.321-322
    • /
    • 2011
  • 차세대 저장매체로 각광받고 있는 BPRAM을 이용해, NAND Flash memory의 결점을 보완하고자 하는 많은 연구들이 진행되고 있다. 본 논문에서는 BPRAM과 NAND Flash를 이용하여, 계층적 스토리지에 사용하는 하이브리드 파일 시스템인 Compressing Metadata File System(CMFS)을 개발하였다. CMFS는 Mount time에 필요한 메타데이터를 BPRAM에 저장하여 마운트 시간을 줄이고, 메타데이터를 Update하기 위한 Overhead를 줄이기 위해 부분 갱신 기법을 개발하였다. 또한 메타데이터의 저장을 위해 필요한 BPRAM의 용량를 줄이기 위해 메타데이터를 경량화 및 압축하고, 압축률을 높이기 위해 Hybrid Coding 압축기법을 개발하여 적용한다. Marvel PXA320(806MHz) 보드를 이용하여 CMFS의 성능을 측정하였으며, 타 압축 기법보다 높은 메타데이터의 압축률을 보였다.