• 제목/요약/키워드: 디스크 I/O

검색결과 226건 처리시간 0.021초

SAN 환경에서 공유 디스크 파일 시스템을 위한 전역 버퍼 관리자 (A Global Buffer Manager for a Shared Disk File System in SAN Clusters)

  • 박선영;손덕주;신범주;김학영;김명준
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권2호
    • /
    • pp.134-145
    • /
    • 2004
  • 네트워크를 통해 전송되는 데이타의 양이 급속히 증가함에 따라 확장성 있는 저장 시스템에 대한 사용자 요구가 증가하고 있다. 네트워크 연결형 자료 저장 시스템인 SAN(Storage Area Network)은 호스트와 디스크를 광채널 스위치로 연결하는 구조로서 저장 공간과 서버에 대한 확장성을 제공한다. SAN 환경에서는 다수의 호스트가 네트워크에 연결된 저장 장치를 공유하므로 공유 데이타에 대한 일관성 유지가 필요하다. 이를 위해 각 호스트가 수정한 데이타를 즉시 디스크에 반영하는 방법을 사용하고 있지만 이는 느린 디스크 접근 시간(Disk Access Time)으로 인해 시스템의 성능을 저하시키는 요인이 된다. 본 논문에서는 필요한 공유 데이타를 다른 호스트의 메모리를 통해서 직접 전송 받을 수 있도록 하여 공유 데이타의 접근 속도를 향상시킬 수 있는 전역 버퍼 관리자의 설계와 구현에 대해 소개한다. SANtopia 전역 버퍼 관리자는 SAN에 연결된 호스트들이 서로의 버퍼 캐시를 공유하도록 함으로써 블록 데이타로의 빠른 접근을 가능하게 한다. 마이크로 벤치마크를 통한 블록 단위 I/O의 성능 측정 결과, 전역 버퍼 관리자를 사용하는 것이 기존의 디스크 I/O를 사용하는 방법에 비해 약 1.8-12.8배 정도 빠른 성능을 보였으며 파일 시스템 벤치마크를 통한 성능 측정 결과. 전역 버퍼 관리자를 사용한 SANtopia 파일 시스템은 사용하지 않은 것과 비교해서 디렉터리 파일 시스템 콜의 경우 약 1.06배 정도 빠르고 일반 파일시스템 콜은 약 1.14배 정도 빠른 성능을 보였다.

시스템수준 시뮬레이션과 디스크 I/O수준 시뮬레이션 연동을 위한 DEVSim++과 DiskSim 사이의 인터페이스 설계 및 구현 (Design and Implementation of DEVSim++ and DiskSim Interface for Interoperation of System-level Simulation and Disk I/O-level Simulation)

  • 송해상;이순주
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권4호
    • /
    • pp.131-140
    • /
    • 2013
  • 본 논문은 분산 스토리지 시스템과 같이 디스크를 내장하고 있는 다수의 컴퓨터 노드로 구성되어 있는 스토리지 시스템에서 개개의 디스크 스펙 변화에 따른 전체 성능을 분석하고자 할 때 잘 알려져 있는 블록 I/O 수준의 디스크 시뮬레이터인 DiskSim과 시스템수준의 시뮬레이터와의 연동을 위한 인터페이스의 설계 및 구현에 관한 기법을 제안하였다. 본 연구에서 시스템수준 시뮬레이션 엔진으로는 계층적이고 모듈러한 모델링 기법을 지원하는 DEVS 형식론을 지원하는 범용 이산사건시스템 시뮬레이션 엔진인 DEVSim++을 목표로 하였고 이식성을 위해 DiskSim과 DEVSim++ 시뮬레이션 엔진의 내부는 수정하지 않는 것을 가정하였다. 이를 만족하기 위해 I/O 수준의 DiskSim 시뮬레이터와 시스템 수준의 DEVSim++ 기반 시뮬레이터 사이의 연동 인터페이스 구조를 제안하였다. 이 구조에서는 여러 인스턴스의 DiskSim을 관리하는 DiskSimManager의 개념을 도입하여 I/O 수준 시뮬레이션과 시스템 수준 시뮬레이션 간의 시간과 사건(데이터) 동기화를 담당하도록 설계하였고, 시스템 수준의 DEVS 모델에서 간편하게DiskSim을 접근할 수있도록 감싸는 DEVS wrapper 모델을 제안하였다. 벤치마크 실험결과 설계 구현된 연동 인터페이스를 사용한 시뮬레이션 결과는 DiskSim만의 단독 시뮬레이션 결과와 정확히 일치함을 확인함으로써 설계 구현된 연동 인터페이스가 목적에 맞게 잘 동작함을 입증하였다.

비디오 서버를 위한 예약기반 하이브리드 디스크 대역폭 절감 정책의 설계 및 평가 (Design and Evaluation of a Reservation-Based Hybrid Disk Bandwidth Reduction Policy for Video Servers)

  • 오선진;이경숙;배인한
    • 정보처리학회논문지B
    • /
    • 제8B권5호
    • /
    • pp.523-532
    • /
    • 2001
  • 주문형 비디오 시스템의 성능에서 핵심적인 문제는 클라이언트 요청들을 만족시키기 위해 요구되는 비디오 서버의 입.출력 대역폭이다. 이는 지연시간을 증가시키는 원인이 되는 중요한 자원이다. 따라서, 공유를 통하여 비디오 서버 입.출력 요청을 감소시키는 일괄처리 및 피기백킹 등의 다양한 방법들이 사용되고 있다. 일괄처리 정책은 같은 객체에 대한 요청들을 묶어서 기억장치 서버에 대한 하나의 입.출력 요청을 만드는 것이고, 피기백킹 정책은 대응하는 입.출력 스트림들을 그룹으로 서비스할 수 있는 하나의 스트림으로 병합하기 위하여 진행중인 요청들의 디스플레이 율을 변경하는 정책이다. 본 논문에서는 인기 있는 비디오에 대한 요청들의 가능한 한 스케쥴링 되도록 비디오 서버의 입.출력 스트림 용량을 비디오 요청 도착율에 따라 동적으로 예약해 둔다. 그리고 일괄처리의 단점인 스트림 요청 지연시간과 피기백킹의 문제점은 디스크 대역폭 낭비 등을 해결하는 예약기반 하이브리드 디스크 대역폭 절감 정책을 제안한다. 제안한 정책의 성능은 시뮬레이션을 통해 기존의 일괄처리와 피기백킹 정책들과 비교 평가한다. 시뮬레이션 결과에 따르면, 예약기반 하이브리드 디스크 대역폭 절감 정책이 기존의 일괄처리나 피기백킹 정책들에 비해 낮은 서비스 이탈확률과 높은 프레임 절약 백분율 그리고 일정한 서비스 평균대기시간을 제공함을 알 수 있다.

  • PDF

플래쉬 메모리 SSD 기반 해쉬 조인 알고리즘의 성능 평가 (Performance Evaluation of Hash Join Algorithm on Flash Memory SSDs)

  • 박장우;박상신;이상원;박찬익
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권11호
    • /
    • pp.1031-1040
    • /
    • 2010
  • 데이터베이스 관리 시스템의 핵심 알고리즘인 해쉬 조인은 해싱을 위한 메모리가 부족한 경우(즉, 해쉬 테이블 오버플로우) 디스크 입출력를 유발하게 된다 하드디스크를 임시 저장공간으로 사용할 경우, 해쉬 조인의 probing 단계에서 과도한 임의 읽기로 인해 I/O 시간이 성능을 저하시키게 된다. 한편, 플래시메모리 SSD가 저장장치로 각광을 받고 있으며, 머지않아 엔터프라이즈 환경에서 하드디스크를 대체할 것으로 예상 된다 하드디스크와 달리, 기계적인 동작 장치가 없는 플래시메모리 SSD의 경우 임의 읽기에서 빠른 성능을 보이기 때문에 해쉬 조인의 성능을 크게 향상시킬 수 있다. 본 논문에서는 플래시 메모리 SSD를 해쉬 조인을 위한 임시 저장공간으로 사용할 경우의 몇 가지 중요하고 현실적인 이슈들을 다룬다. 우선, 해쉬 조인의 I/O 패턴을 자세히 설명하고, 하드디스크에 비해 플래시메모리 SSD가 수십 배에 가까운 성능 향상을 보이는 이유를 설명한다. 다음으로, 클러스터 크기(즉, 해쉬 조인 알고리즘에서 사용하는 I/O 단위)가 성능에 미치는 영향을 제시하고 분석한다. 마지막으로, 하드디스크의 경우, DBMS의 질의 최적화기가 산출하는 비용이 실 수행시간과 편차가 클 수 있는데 반해, 플래시메모리 SSD의 경우 비용 산출을 정확히 하게 됨을 실험적으로 보인다. 결론적으로, 플래시메모리 SSD를 해쉬 조인을 위한 임시 저장공간으로 사용할 경우, 빠른 성능과 더불어 질의 최적화기의 비용 산출이 훨씬 더 신뢰할 수 있음을 보인다.

단일 디스크 입출력을 위한 커널 모듈 프로토타입의 설계 및 구현 (Design and Implementation of the Kernel Module Prototype for the Single Disk I/O)

  • 황인철;김동환;김호진;맹승렬;조정완
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.406-408
    • /
    • 2003
  • 요즘 값싼 PC를 빠른 네트웍으로 묶어 높은 성능을 얻고자하는 클러스터 컴퓨팅에 대한 연구가 활발히 이루어지고 있다. 이러한 연구 중 클러스터 컴퓨팅 환경을 구성하는 여러 컴퓨터들을 하나의 컴퓨터처럼 보이게 해주는 단일 시스템 이미지 서비스는 사용자에게 쓰기 편리한 환경과 높은 가용성을 제공하여 준다. 단일 시스템 이미지 서비스를 제공하기 위해서는 단일 프로세스 공간, 단일 메모리 공간 및 단일 디스크 입출력을 제공하여 주어야 한다. 단일 디스크 입출력은 여러 컴퓨터에 나누어져 있는 디스크들을 하나의 큰 디스크로 보여주고 여러 디스크들을 효율적으로 사용할 수 있도록 서비스를 제공한다. 이러한 단일 디스크 입출력을 사용자 수준이나 파일 시스템 수준에서 제공하여 주는 것은 성능 측면이나 투명성의 측면에서 커널 모듈로 제공하여 주는 것 보다 좋지 않다. 따라서 본 논문에서는 단일 디스크 입출력을 위하여 커널 모듈 프로토타입을 설계하고 구현한다. 그리고 네트웍 파일 시스템과 단일 디스크를 이용하여 단일 디스크 입출력을 위한 터널 모듈의 성능과 비교, 분석한다.

  • PDF

고성능 병렬화일 시스템을 위한 디스크 할당 방법 (A Disk Allocation Scheme for High-Performance Parallel File System)

  • 박기현
    • 한국정보처리학회논문지
    • /
    • 제7권9호
    • /
    • pp.2827-2835
    • /
    • 2000
  • 최근, 멀티미디어 정보처리와 같은 대규모 데이터 처리에 필수적인 입출력 시스템의 성능을 높이기 위하여 많은 관심이 집중되고 있으며, 고성능 병렬화일 시스템에 관한 연구도 이런 노력에 속한다. 본 연구에서는 고성능 병렬화일 시스템을 위한 효율적인 디스크 할당 방법을 제안한다. 즉, 병렬화일의 자료 분산(data declustering)특성을 이용하여 병렬화일에 대한 병렬도 개념을 정의하고, 이를 기반으로 여러 병렬화일들이 동시에 처리되는 경우에, 최대의 작업처리량(throughput)을 얻기 위한 각 병렬화일에 적합한 디스크상의 자료 분산 정도를 계산하는 방법을 제안한다. 또한 동시에 처리되는 병렬화일들이 많이 늘어날수록, 최대의 작업처리량을 얻기 위한 계산이 너무 복잡해지므로, 효율적인 근사 디스크 할당 알고리즘도 아울러 제안한다. 제안된 근사 알고리즘은 계산이 간단하고, 특히 입출력 작업부하(workload)가 높은 환경에서는 매우 효율적임을 보여준다. 또한 입출력 요구들의 도착 비율이 무한대일 경우, 근사 알고리즘만을 이용하여도 최대 작업처리량을 위한 최적 디스크 할당을 얻을 수 있음을 증명하였다.

  • PDF

디스크 입출력의 병렬성을 이용한 대용량 입출력 QoS 제어 기법 (A Massive I/O QoS Control Method using Parallelism fo Disk I/O)

  • 장시웅;정기동
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권1호
    • /
    • pp.98-106
    • /
    • 1999
  • 본 논문에서는 대용량 입출력을 수행하는 태스크의 QoS를 제어하기 위한 방법으로사용자가 시스템에 입출력 요구시 요구 대역폭을 제시하고, 파일시스템에서 디스크개소와 입출력 이벤트를 고려하여 입출력의 병렬성을 제어함으로써 QoS를 제어하는 방법을 제안하였다. 그리고, 시스템에서 각 태스크가 주어진 병렬성을 가지고 입출력을 진행하고 있을 때, 요구 대역폭을 가지고 입출력을 요구하는 태스크의 대역폭을 만족시키기 위한 병렬성을 계산하는 분석 모델을 유도하였다. 그리고, 디스크 입출력의 병렬성을 이용하여 대용량 입출력의 QoS를 효율적으로 제어할 수 있음을 분석 모델의 결과를 통해 검증하였다.

링 구조 NUMA 시스템에서 디스크 입출력의 성능 향상을 위한 효율적인 방안 (Efficient Schemes for Enhancing Performance of Disk I/O in Ring based NUMA Systems)

  • 김철홍;김명주;장성태;엄성용;전주식
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제28권3호
    • /
    • pp.134-143
    • /
    • 2001
  • NUMA 구조 다중 프로세서 시스템에서는 상호 연결망으로서의 버스의 제약을 극복하기 위해 지점간 링크를 이용한 링 구조가 제안되었다. 링 구조 NUMA 시스템에서, 전송이 페이지 단위(2K 바이트 이상)로 이루어지는 디스크 입출력 요구는 지점간 링크에 대한 오랜 접근을 요구하여 지점간 링크의 트래픽을 증가시키는 원인으로 작용한다. 본 논문에서는 지점간 링크의 트래픽을 줄이기 위한 방안으로 입출력 전용 채널을 사용하는 세 가지 디스크 입출력 구조를 제시한다. 제시되는 디스크 입출력 구조를 사용하는 시스템은 디스크 입출력 요구로 인한 지점간 링크의 접근을 없앰으로써 기존 시스템에 비해 트랜잭션의 수행시간을 줄일 수 있다는 장점이 있다. 중앙집중형, 병렬형, 분산형의 세 가지 디스크 입출력 구조를 설계하기 위한 고려 사항과 구현 비용 등을 생각해 본 후, 노드수, 원격 디스크 접근 확률, 디스크 입출력 전송 데이터 크기 등을 달리한 여러 시스템 환경에서의 각 구조의 성능을 비교, 분석해 본다.

  • PDF

데이터 스트림에 대한 키워드 검색을 위한, 효율적인 갱신이 가능한 디스크 기반 역색인 구조 (An Update-Efficient, Disk-Based Inverted Index Structure for Keyword Search on Data Streams)

  • 박은주;이기용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권4호
    • /
    • pp.171-180
    • /
    • 2016
  • 트위터와 같은 소셜 네트워킹 서비스(social networking service)의 확산으로 스트림 형태의 데이터가 크게 증가하고 있다. 스트림 형태로 들어와 누적되는 데이터를 효율적으로 검색하기 위해서는 색인이 반드시 필요하다. 본 논문에서는 스트림 형태로 들어와 계속 누적되는 데이터에 대한 키워드 검색을 효율적으로 할 수 있게 해주는, 효율적인 갱신이 가능한 디스크 기반 역색인(inverted index) 구조를 제안한다. 데이터 스트림을 검색하기 위해서는 데이터의 유입에 따라 역색인을 계속해서 갱신해 주어야 한다. 전통적인 역색인을 사용하는 경우, 역색인을 갱신하기 위해서는 매번 디스크에 저장된 모든 색인 데이터를 읽고 다시 써야 하므로 디스크 I/O 측면에서 매우 비효율적이다. 이러한 문제를 해결하기 위해 본 논문에서는 역색인을 크기가 지수적으로 증가하는 여러 역색인들로 나누어 저장한다. 새로운 데이터가 들어오면 우선 가장 작은 크기의 역색인에 삽입하고, 작은 크기의 역색인들을 더 큰 크기를 가진 역색인들과 나중에 병합함으로써 평균적으로 역색인을 갱신하는 비용을 크게 낮춘다. 또한 디스크에 저장된 역색인들을 병합할 때 발생하는 디스크 I/O 비용을 최소화함으로써 역색인의 갱신 비용을 더욱 낮춘다. 다양한 실험을 통해 기존 방법과 제안 방법의 효율성을 비교하고, 제안 방법이 갱신 비용에 있어 기존 방법에 비해 훨씬 효율적임을 보인다.

EPR : 지리 정보 시스템을 위한 향상된 병렬 R-tree 색인 기법 (EPR : Enhanced Parallel R-tree Indexing Method for Geographic Information System)

  • 이춘근;김정원;김영주;정기동
    • 한국정보처리학회논문지
    • /
    • 제6권9호
    • /
    • pp.2294-2304
    • /
    • 1999
  • 본 논문은 병렬 입출력과 효율적인 디스크 접근을 이용하여 입출력 성능을 높임으로써 지리 정보 시스템의 질의 처리 성능을 향상시키는 것을 목적으로 한다. 동시에 접근할 가능성이 높은 인접한 공간 데이터를 디스크의 논리적 블록 단위로 패킹하여 하나 또는 연속적인 논리적 블록으로 클러스터링 하면 한번의 디스크 접근으로 많은 공간 데이터를 읽을 수 있어 질의 처리에 따른 디스크 접근 횟수와 디스크 접근 오버 헤드를 줄임으로써 입출력 시간을 줄일 수 있다. 본 논문에서는 기존 Parallel R-tree 기법의 병렬 입출력 기법과 패킹 기반 클러스터링 기법을 결합하여 효율적인 입출력을 지원하는 EPR(Enhanced Parallel R-tree) 색인 기법을 제안한다. EPR 기법의 주요 특징은 다음과 같다. 첫째, 공간 데이터를 Hilbert space filling curve를 이용하여 인접도에 따라 정렬하여 패킹함으로써 상향식으로 R-tree를 생성한다. 둘째, 정렬된 공간 데이터를 패킹하여 하나 또는 연속적인 논리적 블록에 저장하는 패킹 기반 클러스터링을 통해 공간 데이터 클러스터를 구성한다. 셋째, 색인 기법 및 공간 데이터 클러스터를 round-robin 스트라이핑 방식을 통해 다중 디스크에 분산 배치한다. EPR 기법과 기존 PR 기법의 성능을 비교한 결과, 공간 질의 처리 속도가 30% 이상 향상되었으며, 특히 논리적 블록의 크기가 클수록, 공간 데이터의 크기가 작을수록 질의 처리 성능이 향상되는 결과를 보였다.

  • PDF