• Title/Summary/Keyword: 저장성능

Search Result 3,324, Processing Time 0.029 seconds

Improving Access Performance of the Linux Cluster File System for Multimedia Service (멀티미디어 서비스를 위한 리눅스 클러스터 파일 시스템의 접근 성능 개선)

  • 홍재연;김형식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.22-24
    • /
    • 2003
  • 클러스터 구조는 고가용성(high availability)과 결함내성(fault tolerance)을 만족하고 확장성이 뛰어나기 때문에 클러스터 파일 시스템은 멀티미디어 서비스에 적합하다. 사용자 수준 클러스터 파일 시스템[1, 2]은 멀티미디어 서비스에 특화된 기능을 제공하고 저장된 위치에 관계없이 파일이나 디렉토리에 접근할 수 있는 단일 시스템 이미지(single system image) 기술을 제공하지만 실제 저장된 위치에 따라 접근 시간의 편차가 발생한다. 본 논문에서는 메타 데이터 캐쉬와 시스템 버퍼를 이용한 사용자 수준 클러스터 파일 시스템의 성능 개선 방법을 제안하고 각각에 대하여 성능 개선 정도를 분석한다. 메타 데이터 캐쉬는 자주 참조되는 원격 노드의 메타 정보를 로컬 저장구조에 저장하고 시스템 버퍼는 데이터 블록의 쓰기 성능을 개선할 뿐만 아니라 선반입을 통하여 읽기 성능을 개선할 수 있다.

  • PDF

The study of striping size according to the amount of storage nodes in the Parallel Media Stream Server (병렬 미디어 스트림 서버에서 저장노드수의 변화에 따른 스트라이핑 크기 결정에 관한 연구)

  • Kim, Seo-Gyun;Nam, Ji-Seung
    • The KIPS Transactions:PartC
    • /
    • v.8C no.6
    • /
    • pp.765-774
    • /
    • 2001
  • In this paper, we proposed the striping policy for the storage nodes in the Linux-based parallel media stream server. We newly developed a storage clustering architecture, and named it as a system RAID architecture. In this system, many storage cluster nodes are grouped to operate as a single server. This system uses unique striping policy to distribute multimedia files into the parallel storage nodes. If a service request occurs, each storage cluster node transmits striped files concurrently to the clients. This scheme can provide the fair distribution of the preprocessing load in all storage cluster nodes. The feature of this system is a relative striping policy based on the file types, service types, and the number of storage nodes to provide the best service.

  • PDF

Design and Implementation of XML Storage System using Object Relational Database System and Hybrid Order Encoding Method (객체 관계 데이터베이스 시스템과 하이브리드 오더 인코딩을 이용한 XML 저장 시스템 설계 및 구현)

  • Kim, Young-Woo;Hong, Eui-Kyeong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.154-156
    • /
    • 2005
  • 인터넷의 발전은 다양한 데이터의 폭발적인 증가를 가져왔다. 유연하고 효과적인 데이터 표현 능력을 지닌 XML이 인터넷 환경에서 데이터 표현 및 교환 수단으로 여러 분야에서 표준으로 활용되고 있다. 그래서 대용량 XML 문서의 저장 및 관리에 대한 연구의 필요성이 증가하였다. 현재 다양한 XML 저장 기법과 XQuery를 이용한 XML 질의 처리에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 객체 관계 데이터베이스 시스템을 이용하여 대용량 XML 문서 처리에 적합하도록 XML 저장 시스템을 설계 및 구현하였다. 또한 하이브리드 오더 인코딩 기법을 이용하여 저장된 XML 문서의 갱신 성능과 XML 질의 처리 성능을 개선하였다. 그리고 XBench를 이용하여 생성한 대용량 XML 문서로 XML 저장 시스템의 성능을 평가하고 분석하였다.

  • PDF

A Design and Implementation of iSCSI Storage with IDE RAID (IDE RAID를 이용한 iSCSI 저장장치 설계 및 구현)

  • 박상현;손재기;민수영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.127-129
    • /
    • 2003
  • 현재 데이터의 양은 인터넷 관련 비즈니스/전자상거래 등 인터넷 프로토콜(IP) 네트워크를 이용한 저장 장치의 데이터 증가를 가져오게 되었다. 본 논문에서는 펜티엄 프로세서, 고속 이더넷 IDE RAID 시스템 (IDE RAID Controller와 IDE 디스크로 구성)과 iSCSI(Internet Small Computer System Interface) 프로토콜을 이용하여 저렴한 비용으로 비교적 우수한 성능의 리눅스 기반의 저장장치 시스템을 설계 구현하였다. 또한 저장장치 시스템의 벤치마크 프로그램인 ioZone을 사용하여 SCSI RAID 시스템으로 구성된 저장 장치 시스템과의 성능을 비교 분석하여 가격대비 성능이 비교적 우수함을 보여준다. 끝으로. 향후 SATA(Serial ATA)를 이용한 저장장치 시스템의 전망을 가늠해본다.

  • PDF

Cross Compressed Replication Scheme for Large-Volume Column Storages (대용량 컬럼 저장소를 위한 교차 압축 이중화 기법)

  • Byun, Siwoo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.14 no.5
    • /
    • pp.2449-2456
    • /
    • 2013
  • The column-oriented database storage is a very advanced model for large-volume data analysis systems because of its superior I/O performance. Traditional data storages exploit row-oriented storage where the attributes of a record are placed contiguously in hard disk for fast write operations. However, for search-mostly datawarehouse systems, column-oriented storage has become a more proper model because of its superior read performance. Recently, solid state drive using MLC flash memory is largely recognized as the preferred storage media for high-speed data analysis systems. In this paper, we introduce fast column-oriented data storage model and then propose a new storage management scheme using a cross compressed replication for the high-speed column-oriented datawarehouse system. Our storage management scheme which is based on two MLC SSD achieves superior performance and reliability by the cross replication of the uncompressed segment and the compressed segment under high workloads of CPU and I/O. Based on the results of the performance evaluation, we conclude that our storage management scheme outperforms the traditional scheme in the respect of update throughput and response time of the column segments.

Performance Analysis of Holographic Data Storage Depending on the Number of Levels Per Pixel of the Code Rate 1/2 Modulation Codes (부호율 1/2인 변조부호의 픽셀당 레벨 수에 따른 홀로그래픽 데이터 저장장치 성능 분석)

  • Jeong, Seongkwon;Lee, Jaejin
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.52 no.10
    • /
    • pp.16-20
    • /
    • 2015
  • We propose three multi-level modulation codes of the code rate 1/2 for holographic data storage considered as a promising candidate for next generation storage systems. Since a pixel with multi-levels can represent more than 1 bit, it is possible to increase the storage capacity and have many codewords. Thus, we can choose a code that the minimum distance is as far as possible. When we compare the codes with the code rate 1/2, the performance of the code with small number of levels is better than that of large number of levels.

An Efficient Recovery Management Scheme for NAND Flash Memory-based B+tree (NAND 플래시 메모리 기반 B+트리를 위한 효율적인 고장회복 관리기법)

  • Lee, Hyun-Seob;Kim, Bo-Kyeong;Lee, Dong-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06c
    • /
    • pp.88-91
    • /
    • 2011
  • NAND 플래시 메모리는 저전력과 빠른 접근 속도의 특징 때문에 차세대 저장장치로 주목 받고 있다. 특히 플래시 메모리로 만들어진 SSD(solid state disk)는 인터페이스가 기존의 하드디스크와 동일하고 대용량화 되고 있기 때문에 가까운 미래에 다양한 저장시스템의 저장장치로 사용될 것으로 예상된다. 그러나 NAND 플래시메모리 기반 저장장치는 쓰기 전 소거 구조와 같은 독특한 하드웨어 특징을 가지고 있기 때문에 특정 지역에 반복적인 쓰기 요청을 발생하는 B트리를 구축하는 것은 심각한 성능저하를 야기 할 것이다. 이러한 문제를 해결하기 위해 버퍼를 이용하여 B트리 구축 성능을 개선한 방법들이 제안되었다. 그러나 이러한 기법들은 갑작스러운 전원 차단 시 버퍼에 유지하고 있던 데이터를 모두 유실하기 때문에 고장회복을 위한 추가적인 방법이 필요하다. 따라서 본 논문에서는 버퍼를 이용한 방법 중 IBSF기법을 기반으로 NAND 플래시 메모리 기반 저장장치에서 고성능의B트리 구축 방법뿐만 아니라 전원 차단시 효율적인 고장회복을 할 수 있는 기법을 제안한다. 본 논문에서 제안하는 기법은 B트리 변경시 변경 된 정보를 로그에 저장하여 관리한다. 또한 루트노드가 변경될 때 검사점(checkpoint)을 수행한다. 마지막으로 다양한 실험을 통하여 본 논문의 고장회복 성능을 보여준다.

Performance Evaluation of Flash Memory-Based File Storages: NAND vs. NOR (플래시 메모리 기반의 파일 저장 장치에 대한 성능분석)

  • Sung, Min-Young
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.9 no.3
    • /
    • pp.710-716
    • /
    • 2008
  • This paper covers the performance evaluation of two flash memory-based file storages, NAND and NOR, which are the major flash types. To evaluate their performances, we set up separate file storages for the two types of flash memories on a PocketPC-based experimental platform. Using the platform, we measured and compared the I/O throughputs in terms of buffer size, amount of used space, and kernel-level write caching. According to the results from our experiments, the overall performance of the NAND-based storage is higher than that of NOR by up to 4.8 and 5.7 times in write and read throughputs, respectively. The experimental results show the relative strengths and weaknesses of the two schemes and provide insights which we believe assist in the design of flash memory-based file storages.

Mechanism to Select the Data Source of HDFS with SSD Cache Based on Storage I / O Cost (SSD 캐시를 적용한 HDFS의 I/O 비용 기반 데이터 선택 기법)

  • Kim, Minkyung;Shin, Mincheol;Park, Sanghyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.676-679
    • /
    • 2015
  • 빅데이터 분석을 위한 Hadoop 환경에서 고성능 저장장치인 SSD에 대한 중요성이 증가하면서 일반적으로 사용되는 저장장치인 HDD와 혼합하여 사용하는 연구들이 주목 받고 있다. 특히 SSD를 HDD의 캐시로 사용했을 때 저장장치에 대한 I/O 성능을 향상할 수 있다는 연구 결과들이 있다. 본 연구는 이를 바탕으로 SSD를 HDD의 캐시로 사용한다. HDFS는 저장장치에 접근하여 I/O를 수행하는데 기존에는 로컬 서버에서 캐시 미스가 발생한 경우 로컬 HDD로 접근한다. 이러한 방식은 접근하는 데이터에 따라 SSD의 높은 Bandwidth를 활용하지 못하게 되는 경우를 발생시키고 그 결과 특정 서버의 I/O 지연으로 전체 분산 처리의 성능을 저하시킬 수 있다. 이를 해결하기 위해 본 연구는 HDFS 레벨에서 로컬 서버의 HDD와 데이터 복제본들이 저장된 원격 서버의 SSD에서 I/O를 수행하는 경우에 대해 수식을 통해 비용을 비교한다. 그 결과 항상 기대 성능이 높은 저장 장치를 선택하여 데이터를 읽어오게 함으로써 기존 방식보다 성능이 개선될 수 있음을 입증한다.

Data Structure Improving Prefetch Performance for Urban Computing File System (도시 컴퓨팅 파일 시스템에서 미리 읽기 성능 향상을 위한 자료구조)

  • Yoon, Ik-June;Ko, Kwang-Jin;Shin, Heon-Shik
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.311-312
    • /
    • 2012
  • 도시 컴퓨팅에서의 파일 시스템은 하나의 메타 데이터 서버와 여러 개의 데이터 저장 서버로 구성되어 있다. 이 데이터 저장 서버의 자료구조를 사용자의 두 가지 질의에 맞게 구성함으로써 미리읽기의 성능을 향상시킨다. 또한 데이터의 손실을 방지하기 위해 복사본을 만들 때, 두 가지의 형태로 바꿔 저장함으로써 데이터의 손실을 막고 여러 질의에 대응하여 좋은 성능을 낼 수 있다.