• 제목/요약/키워드: Large-storage I/O Speed

검색결과 12건 처리시간 0.031초

blockwrite를 이용한 대형 스토리지 성능 측정 및 최적화 연구 (Large Storage Performance and Optimization Study using blockwrite)

  • 김효령;송민규;강용우
    • 한국전자통신학회논문지
    • /
    • 제16권6호
    • /
    • pp.1145-1152
    • /
    • 2021
  • 1.4P 대형 스토리지의 성능을 최적화하기 위하여 청크모드별 특성을 조사하고, I/O 속도면에서 청크 512K 모드를 선택하였다. NVME 스토리지 시스템을 구성하여 대형 스토리지의 데이터 서버 성능 측정에 활용하였다. 1.4P 대형 스토리지의 쓰레드 수에 따른 스루풋의 변화를 측정하여 대형 스토리지 시스템의 특성을 파악하였으며, 스루풋의 최대값은 블록크기 32KB에서 133Gbps 성능을 보임을 확인하였다. GridFTP 방식의 globus-url-copy를 이용하여 데이터 송수신 실험을 수행한 결과, 이 대형 스토리지는 33Gbps의 스루풋을 가지고 있음을 알 수 있었다.

하드디스크 데이터 I/O 속도 측정용 유틸리티 blockwrite 개발과 응용 (Development and Application of HDD I/O Measurement Utility Blockwrite)

  • 김효령;송민규
    • 한국전자통신학회논문지
    • /
    • 제15권6호
    • /
    • pp.1151-1158
    • /
    • 2020
  • 하드디스크의 속도 성능을 탐색해 볼 수 있는 유틸리티를 개발하였다. 하드디스크에 적용하여 속도 곡선을 자세히 볼 수 있음을 보이고, 이동평균 방법을 적용하면 하드디스크의 실린더 구조와 속도 곡선의 변화를 선명하게 볼 수 있도록 하였다. 확장성을 위해 일반 대용량 스토리지에 적용하였으며, 최근에 새로운 저장 매체로 각광 받고 있는 SSD의 I/O 성능을 측정하였다. 10Gbps급 이상의 속도를 보이는 M.2 NVME를 이용하여, 리눅스 O/S에서 제공하는 cp와 속도 비교 실험을 수행함으로써, 유틸리티의 신뢰성을 검증하였다.

Implementation of Hardware RAID and LVM-based Large Volume Storage on Global Data Center System of International GNSS Service

  • Lee, Dae-Kyu;Cho, Sung-Ki;Park, Jong-Uk;Park, Pil-Ho
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.1553-1557
    • /
    • 2005
  • High performance and reliability of the storage system to handle a very large amount of data has been become very important. Many techniques have been applied on the various application systems to establish very large capacity storage that satisfy the requirement of high I/O speed and physical or logical failure protection. We applied RAID and LVM to construct a storage system for the global data center which needs a very reliable large capacity storage system. The storage system is successfully established and equipped on the latest Linux application server.

  • PDF

대용량 컬럼 저장소를 위한 교차 압축 이중화 기법 (Cross Compressed Replication Scheme for Large-Volume Column Storages)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권5호
    • /
    • pp.2449-2456
    • /
    • 2013
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 MLC 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 논문에서는 고속 컬럼-지향 데이터 저장소 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 교차 압축 이중화를 활용하는 새로운 저장소 관리 기법을 제안한다. 본 저장소 관리 기법은 두 개의 MLC SSD에 기반하며, 압축과 비압축된 세그먼트의 교차 이중화를 통하여 높은 CPU 및 입출력 부하에서도 우수한 저장 성능과 안정성을 얻는다. 성능 평가 결과를 통하여 본 저장소 관리 기법이 기존 기법보다 컬럼 세그먼트 갱신 처리치 및 그 응답시간 측면에서 더 우수함을 확인하였다.

고속 데이터베이스 시스템을 위한 컬럼-인지 양분화 기법 (Column-aware Polarization Scheme for High-Speed Database Systems)

  • 변시우
    • 인터넷정보학회논문지
    • /
    • 제13권3호
    • /
    • pp.83-91
    • /
    • 2012
  • 최근 컬럼-기반 저장 장치는 우수한 입출력 성능으로 고속 데이터베이스 시스템의 진보적인 중요 모델이 되었다. 본 논문에서는, 기존의 가로-기반 저장 모델과 비교 분석하고, 고속 컬럼-기반 데이터베이스 시스템의 유효 성능을 향상시키기 위하여, 플래시 메모리와 어시스트 드라이브를 활용한 새로운 컬럼-인지 스토리지 관리 모델을 제안한다. 컬럼-인지 폴라라이징이라고 하는 본 스토리지 관리 기법은 테이블 컬럼을 활성-컬럼과 비활성-컬럼으로 양분하여 압축 저장하며, 고부하시에 어시스트 드라이브를 활용하여 적체된 저장 연산을 리벨런싱한다. 실험 결과는 본 제안 기법이 컬럼-기반 스토리지의 초당 저장 연산 처리치를 19% 개선하였고, 그 응답 성능도 49%개선되었음을 보였다.

NAS를 위한 신뢰성과 확장성이 있는 저장 장치 시스템 (Reliable and Flexible Storage System for NAS Environments)

  • 이태근;강용혁;엄영익
    • 정보처리학회논문지D
    • /
    • 제10D권7호
    • /
    • pp.1085-1092
    • /
    • 2003
  • 대용량, 고속의 멀티미디어 서비스가 일반화됨에 따라 컨텐츠를 저장하는 서버의 저장 장치 또한 대용량화되고 있다. 그러나 서버를 구성하는 다른 하드웨어 구성 요소에 비해 상대적으로 느린 저장 장치의 입출력 속도와 물리적 또는 논리적인 오류는 시스템 전반의 성능을 저하시키는 원인이 되고 있다. 또한 컨텐츠의 지속적인 증가로 인한 유연한 확장성이 필요하게 되었다. 본 논문에서는 이러한 문제점을 해결하기 위해 소프트웨어 RAID 사용하여 저장 장치의 성능을 향상시키고 신뢰성을 높였으며, LVM을 사용하여 저장 장치에 확장성을 부여하였다. 리눅스 커널 2.4.x에서 제공하는 이러한 기능들을 사용하여 신뢰성과 확장성이 있는 저장 장치를 구현하고 성능을 평가하였다.

Performance Evaluation of SSD-Index Maintenance Schemes in IR Applications

  • Jin, Du-Seok;Jung, Hoe-Kyung
    • Journal of information and communication convergence engineering
    • /
    • 제8권4호
    • /
    • pp.377-382
    • /
    • 2010
  • With the advent of flash memory based new storage device (SSD), there is considerable interest within the computer industry in using flash memory based storage devices for many different types of application. The dynamic index structure of large text collections has been a primary issue in the Information Retrieval Applications among them. Previous studies have proven the three approaches to be effective: In- Place, merge-based index structure and a combination of both. The above-mentioned strategies have been researched with the traditional storage device (HDD) which has a constraint on how keep the contiguity of dynamic data. However, in case of the new storage device, we don' have any constraint contiguity problems due to its low access latency time. But, although the new storage device has superiority such as low access latency and improved I/O throughput speeds, it is still not well suited for traditional dynamic index structures because of the poor random write throughput in practical systems. Therefore, using the experimental performance evaluation of various index maintenance schemes on the new storage device, we propose an efficient index structure for new storage device that improves significantly the index maintenance speed without degradation of query performance.

소규모 VOD 시스템의 저장 서버로서 디스크 배열 구조의 분석 (Analysis of Disk Array Architecture as a Storage Server of a Small-Sacle VOD Server)

  • 고정국;김길용
    • 한국정보처리학회논문지
    • /
    • 제4권3호
    • /
    • pp.811-820
    • /
    • 1997
  • 대용량의 저장 공간과 고속 통신망을 갖춘 고성능 저장 장치를 필요로 하는 멀티미디어 응용에서는 데이터 전달 속도와 입출력 성능을 향상시키기 위해 디스크 배열이 사용되고 있다. 디스크 배열은 구성 방법및 데이터 할당 방법등에 따라 성능의 차이를 보이므로 디스크 배열을 설계 할 때 해당 응용에 적합한 디스크 배열 특성 변수가 결정되어야 한다. 본 논문에서는 소규모 VOD 시스템의 저장 서버로서 사용될 디스크 배열의 구조를 결정하기 위한 연속 매체 파일 시스템의 데이터 불럭 크기와 입출력 요구의 크기가 주어질 때 디스크 배열 구성 디스크수, 디스크 배열 구성과 디클러스터링 정도를 권장하기 위해 시뮬레이션을 통해 성능을 평가하였다. 시뮬레 이션을 통해 6Mbps의 MPEG-2파일을 제공하는 디스크 배열의 구조는 스트라이핑 단위가 64-KB 이며, 데이터 불럭이 연속 배치되어 있는 5개의 디스크로 구성된 RAID-5가 가장 적합한 것으로 나타났다.

  • PDF

컬럼-기반 데이터베이스를 위한 그림자 복구 (Shadow Recovery for Column-based Databases)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2784-2790
    • /
    • 2015
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 트랜잭션을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 연구에서는 플래시 미디어 파일 시스템을 기반으로 하는 컬럼-기반 데이터베이스 환경을 위한 새로운 트랜잭션 회복기법(CoSR)을 제안한다. 제안 기법은 기존의 쉐도우 페이징 기법을 개선하여 플래시 파일 시스템에서 새로운 블록에 데이터를 저장할 경우 무효화되어 폐기되는 이전 데이터 블록을 재활용하였다. 이를 위하여 제안된 컬럼-기반 쉐도우 복구 기법에 재활용 쉐도우 리스트 구조를 활용하였다. 제안 기법은 기존 쉐도우 페이징기법의 최대 단점인 쉐도우 페이지 관련 추가 저장공간의 부담을 최소화하고, 기존 복구 기법에서 컬럼 데이터 압축에 기인한 입출력 성능저하를 최소화 할 수 있다. 실험 분석결과를 통하여 CoSR기법이 기존 기법보다 17% 더 우수함을 확인하였다.

Hybrid 인터커넥션 구현을 위한 광전 복합케이블 제작에 관한 연구 (Study on the Photoelectric Composite Cable for Hybrid Interconnection Implementation)

  • 김재열;유관종;박력
    • 한국기계가공학회지
    • /
    • 제16권3호
    • /
    • pp.138-145
    • /
    • 2017
  • With the increasing use of smart electronic devices, the size of the related I/O interface market is increasing rapidly. Demand is also growing for the continuous increase of data and video signals-such as faster data processing speed and data storage capacity-in the smart electronic device input/output interface market. Currently, the POF hybrid cable used in the smart electronic device input / output interface market cannot transmit over a long distance because the optical loss is too large, and the GOF hybrid cable is both vulnerable to bending and other sudden outside changes, and expensive. Therefore, in this study, the design and fabrication of a GOF hybrid cable and fiber guide were carried out in order to develop a cable which can easily withstand external impact, has low optical losses, and meets the demand for continuous data and video signal increase in the smart electronic device input / output interface market.