• Title/Summary/Keyword: 디스크 저장 방법

Search Result 237, Processing Time 0.031 seconds

Improving Flash Translation Layer for Hybrid Flash-Disk Storage through Sequential Pattern Mining based 2-Level Prefetching Technique (하이브리드 플래시-디스크 저장장치용 Flash Translation Layer의 성능 개선을 위한 순차패턴 마이닝 기반 2단계 프리패칭 기법)

  • Chang, Jae-Young;Yoon, Un-Keum;Kim, Han-Joon
    • The Journal of Society for e-Business Studies
    • /
    • v.15 no.4
    • /
    • pp.101-121
    • /
    • 2010
  • This paper presents an intelligent prefetching technique that significantly improves performance of hybrid fash-disk storage, a combination of flash memory and hard disk. Since flash memory embedded in a hybrid device is much faster than hard disk in terms of I/O operations, it can be utilized as a 'cache' space to improve system performance. The basic strategy for prefetching is to utilize sequential pattern mining, with which we can extract the access patterns of objects from historical access sequences. We use two techniques for enhancing the performance of hybrid storage with prefetching. One of them is to modify a FAST algorithm for mapping the flash memory. The other is to extend the unit of prefetching to a block level as well as a file level for effectively utilizing flash memory space. For evaluating the proposed technique, we perform the experiments using the synthetic data and real UCC data, and prove the usability of our technique.

An Update-Efficient, Disk-Based Inverted Index Structure for Keyword Search on Data Streams (데이터 스트림에 대한 키워드 검색을 위한, 효율적인 갱신이 가능한 디스크 기반 역색인 구조)

  • Park, Eun Ju;Lee, Ki Yong
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.4
    • /
    • pp.171-180
    • /
    • 2016
  • As social networking services such as twitter become increasingly popular, data streams are widely prevalent these days. In order to search data accumulated from data streams efficiently, the use of an index structure is essential. In this paper, we propose an update-efficient, disk-based inverted index structure for efficient keyword search on data streams. When new data arrive at the data stream, the index needs to be updated to incorporate the new data. The traditional inverted index is very inefficient to update in terms of disk I/O, because all index data stored in the disk need to be read and written to the disk each time the index is updated. To solve this problem, we divide the whole inverted index into a sequence of inverted indices with exponentially increasing size. When new data arrives, it is first inserted into the smallest index and, later, the small indices are merged with the larger indices, which leads to a small amortize update cost for each new data. Furthermore, when indices stored in the disk are merged with each other, we minimize the disk I/O cost incurred for the merge operation, resulting in an even smaller update cost. Through various experiments, we compare the update efficiency of the proposed index structure with the previous one, and show the performance advantage of the proposed structure in terms of the update cost.

Design and Evaluation of a Dynamic Disk Striping and a Group-Alternation Round-Robin Data Placement Method for Video-on-Demand Serves (주무형 비디오 서버를 위한 동적 디스크 스트라이핑과 그룹교대 라운드로빈 데이터 배치 방법의 설계 및 평가)

  • 배인한;이재경
    • Journal of Korea Multimedia Society
    • /
    • v.2 no.1
    • /
    • pp.22-29
    • /
    • 1999
  • In video-on-demand systems, movies are striped across the disks of the array in a video server to support multiple access. The blocks of the movies have to be placed carefully on the disks of the array in a video server in order to avoid load imbalance across these disks as well as to achieve maximum utilization of both space and bandwidth of these disks. This paper proposes a movie placement method called the GARR (group-alternation round-robin) that is based on the dynamic disk striping method considering the popularity of movie. The GARR uses group-alternation as movie selection policy and round-robin as data placement policy, where group-alternation allocates popular movie and unpopular movie groups to disks alternately. The performance of the GARR is evaluated by simulations.

  • PDF

Flash Node Caching Scheme for Hybrid Hard Disk Systems (하이브리드 하드디스크 시스템을 위한 플래시 노드 캐싱 기법)

  • Byun, Si-Woo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.9 no.6
    • /
    • pp.1696-1704
    • /
    • 2008
  • The conventional hard disk has been the dominant database storage system for over 25 years. Recently, hybrid systems which incorporate the advantages of flash memory into the conventional hard disks are considered to be the next dominant storage systems. Their features are satisfying the requirements like enhanced data I/O, energy consumption and reduced boot time, and they are sufficient to hybrid storage systems as major database storages. However, we need to improve traditional index management schemes based on B-Tree due to the relatively slow characteristics of hard disk operations, as compared to flashmemory. In order to achieve this goal, we propose a new index management scheme called FNC-Tree. FNC-Tree-based index management enhanced search and update performance by caching data objects in unused free area of flash leaf nodes to reduce slow hard disk I/Os in index access processes. Based on the results of the performance evaluation, we conclude that our scheme outperforms the traditional index management schemes.

Efficient Techniques for Software RAID of SAN based on shared Storage systems (SAN기반 공유 저장 장치 시스템에서 고성능 소프트웨어 RAID를 위한 기법)

  • 김경호;황주영;안철우;박규호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.55-57
    • /
    • 2001
  • 본 논문에서는 최근 이슈가 되고 있는 Fibre Channel과 같은 네트워크를 이용한 공유 디스크 시스템에서 다수의 호스트가 소프웨어 RAID\ulcorner 4 흑은 5를 이용할 때, 디스크 공유에 의해 발생하는 패리티 블록 일관성 문제를 다룬다. 본 논문에서는 XDWRITE을 이용해 Software HAID에서의 일관성 문제 해결과 디스크 1/0수 감소에 대해 설명한다. 또한, 버퍼캐쉬에서 파일 블록 쓰기 발생시 원본의 복사본을 이용하여 패리티 계산을 위한 디스크 읽기의 수를 감소 시키는 방법에 대해 제안한다. 본 논문에서 제안한 방식은 기존의 방식인 보다 1.5배에서 2배 디스크 1/0의 수를 감소시키는 것을 알 수 있다.

  • PDF

Supporting VCR Operation in Patching (패칭에서의 VCR 지원 방법)

  • 조창식;마평수;강지훈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.184-186
    • /
    • 2001
  • VOD 서비스에서 멀티캐스팅 기법을 적용하여 여러 클라이언트가 동일한 스트림을 공유함으로써 네트워크 대역폭을 절약하려는 연구가 활발하다. 패칭 방법은 기존에 전송되고 있는 멀티캐스팅 스트림을 공유하여 디스크에 임시로 저장하고, 별도의 채널을 생성하여 공유가 불가능한 초기 데이타 스트림을 수신하여 재생한다. 초기 데이타에 대한 재생이 끝나게 되면, 디스크에 저장된 데이타에 대한 재생을 수행한다. 패칭 방식은 네트워크 대역폭을 절약할 수 있는 효과와 더불어 클라이언트의 초기 대기시간을 최소화하여 True VOD를 지원한다. 본 논문에서는 패칭 방식의 VOD 시스템에서 VCR 연산 지원 방식을 제시한다. 멀티캐스팅 환경에서의 VCR 연산은 멀티캐스트 채널에 대한 관리와 개별 클라이언트에 대한 세션 정보의 효율적인 관리를 전제로 하고 있다. 지원하는 종류로는 점프(임의위치 재생), 일시정지 및 일시정지 재개, 종료가 있다.

  • PDF

CC-GiST: Cache Conscious-Generalized Search Trees (CC-GiST:캐쉬 인식하는 일반화된 검색 트리)

  • 김원식;이동민;김재화;한욱신
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.88-90
    • /
    • 2004
  • 주기억 징치 DBMS성능에 캐쉬 미스가 중요한 요소이다. 그래서 캐쉬 미스를 줄여주는 캐쉬 인식 트리(chash consclous trees)들이 개발되어 왔다. 캐쉬 인식 트리에서 사용한 기법들은 포인터 압축, 키 압축 개념으로 일반화 할 수 있다. 포인터 압축은 CS$B^{+}$-트리처럼 노드에 각 자식 노드를 가리키는 포인터를 제거하고 대신 세그먼트에 저장된 자식 노드들 중 첫 번째 자식 노드를 가리키는 포인터를 저장하는 개념이다. 키 압축은 pkB-트리, R-트리처럼 키 길이를 출이는 개념이다. 본 논문에서는 키 압축 개념과 포인터 압축 개념을 동싱에 지원하고, 디스크 기반의 GiST를 캐쉬 인식하도록 확장한 CC-GiST를 제안한다. 본 논문의 공헌은 다음과 같이 요약된다. 1)기존의 캐쉬 인식 트리들의 기법을 분류하고 분석함으로써, 캐쉬 인식 트리에 적용할 수 있는 일반적인 방법을 도출하였다. 2)포인터 압축을 위해 세그먼트의 개념을 키 압축을 위하여 베이스 키의 개념을 CC-GiST에 도입하였다. 3)디스크 기반의 GiST를 위해 기정의된 메소드들을 캐쉬 인식하도록 완전하게 수정하였다. 4) 제안한 CC-GiST를 이용하여 기존의 대표적인 캐쉬 인식 트리인 CSB+-트리와 CR-트리를 구현하는 방법을 기술하였다.

  • PDF

An Efficient Caching Algorithm to Minimize Duplicated Disk Blocks in 2-level Disk Cache System (2-레벨 디스크 캐쉬 시스템에서 디스크 블록 중복 저장을 최소화하는 효율적인 캐싱 알고리즘)

  • 류갑상;정수목
    • Journal of the Korea Computer Industry Society
    • /
    • v.5 no.1
    • /
    • pp.57-64
    • /
    • 2004
  • The speed gap between processors and disks is a serious problem. So, I/O sub-system limits the performance of computer system. To overcome the speed gap, caches have been used in computer system. By using cache, the access times to disk blocks can be reduced and the performance of computer system can be improved. In this paper, we proposed an efficient cache management algorithm for computer system which have buffer cache and disk cache. The proposed algorithm can minimize the duplicated blocks between buffet cache and disk cache. We evaluate the proposed algorithm by trace-driven simulation. The simulation results show that the proposed algorithm can reduce the mean access time to disk blocks.

  • PDF

A Cost Estimation model for the flash memory storage system (플래시 메모리 상에서의 비용 예측 모델)

  • Roh, Hong-Chan;You, Jin-Hee;Park, Sang-Hyun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10a
    • /
    • pp.27-31
    • /
    • 2007
  • 최근 모바일 환경에서 우수한 특성으로 인해 플래시 메모리가 하드디스크를 대체할 만한 차세대 저장 장치로서 주목을 받고 있다. 하지만 이러한 플래시 메모리는 읽기 속도에 비해 쓰기 속도가 느리고 접근 비용의 비중이 미미한 특징 때문에 하드디스크 기반에서의 디스크 접근 횟수를 이용한 비용 예측 방법을 그대로 적용할 수 없다. 그러므로 플래시 메모리 기반의 효율적인 인덱스 설계나 질의 처리, 최적화를 위해서는 플래시 메모리에 적합한 비용 예측 방법이 필요하다. 본 논문의 목적은 플래시 메모리를 위한 파일 시스템인 플래시 전환 계층(flash Translation Layer)을 기반으로 비용 예측 모델을 제시하는 것이다. 플래시 메모리의 저장 공간에서 데이터를 읽는 비용은 플래시 메모리의 하드웨어 특성으로부터 쉽게 유추될 수 있지만, 쓰기 비용의 경우 플래시 메모리에 대한 쓰기 작업이 초래하는 가비지 컬렉션(Garbage Collection) 때문에 예측하기가 힘들다. 본 논문은 해당 파일 시스템으로부터 전체 플래시 메모리 공간 대비 유효 데이터의 사용률을 얻어낸 후 그 정보를 이용하여 가비지 컬렉션을 포함한 쓰기 비용을 예측하는 모델을 제안한다. 이러한 예측 모델을 사용하면 인덱스를 구성하거나 질의 처리 및 최적화 알고리즘을 구성하는데 있어 플래시 메모리의 특성을 반영한 비용 효율적인 설계를 수행할 수 있다.

  • PDF

Performance Test of Journaling File System for DVR System (DVR시스템을 위한 저널링 파일시스템의 성능평가)

  • 권우일;윤미현;이동준;장재혁;양승민
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.397-399
    • /
    • 2002
  • 최근 무인 감시 시스템 분야에서 리눅스 기반 DVR(Digital Video Recording)시스템의 사용이 늘어나고 있다. DVR시스템은 기존의 아날로그 비디오영상 기록을 대체하여, 카메라에서 입력받은 아날로그 신호를 디지털화(MPEG또는 MJPEG)된 영상을 하드디스크에 저장하는 방법으로 작동하는 주기적으로 빈번한 하드디스크의 쓰기 작업을 수행한다. 또 기록되는 내용의 특성상 높은 신뢰도가 요구된다. 따라서 저장장치의 신뢰도가 중요하며, 만일의 사태에 발생할 수 있는 시스템 고장에도 저장된 정보의 손실을 최소화해야 한다. 저널링 파일시스템은 이러한 요구사항에 적합한 기능을 갖추고 있으며 최근 사용범위가 넓어지고 있다. 본 논문에서는 리눅스 시스템에서 널리 사용되는 4가지 저널링 파일시스템의 상대적인 읽기, 쓰기 및 복구 성능을 비교 평가하고 이를 바탕으로 고 신뢰도의 DVR시스템에 요구되는 적절한 저널링 파일시스템을 제안한다.

  • PDF