• 제목/요약/키워드: disk I/O

검색결과 241건 처리시간 0.024초

고속 저장 장치를 위한 입출력 스택 최적화 (Optimizing I/O Stack for Fast Storage Devices)

  • 한혁
    • 한국콘텐츠학회논문지
    • /
    • 제16권5호
    • /
    • pp.251-258
    • /
    • 2016
  • 최근 클라우드 컴퓨팅, 사회 관계망 서비스 등의 분야에서 고속 저장 장치에 대한 수요가 크게 증가하고 있다. 성능이 우수한 고속 저장 장치가 개발되고 있지만 현재 리눅스 운영체제의 입출력 스택은 하드 디스크 드라이브를 고려해서 설계되었기 때문에 고속 저장 장치를 충분히 활용하고 있지 못하다. 이 논문에서는 고속 저장 장치의 입출력 대역폭과 입출력 지연시간을 최대로 활용할 수 있는 최적화된 입출력 스택을 제안한다. 이를 위해 기존 리눅스의 블록 입출력 계층을 새로운 인터페이스를 가지는 입출력 계층으로 대체하고 최적화한다. 제안된 입출력 계층은 기존의 하드 디스크 드라이브를 고려한 블록 계층을 우회하고 디바이스 드라이버를 최적화하여 고속 저장 장치의 성능을 최대한 이용할 수 있게 해준다. 또한, 리눅스의 ext2/ext4 파일 시스템을 제안된 입출력 계층 위에서 동작할 수 있도록 최적화하였고, 벤치마크 실험 결과를 통해서 제안하는 입출력 스택은 기존 리눅스 입출력 스택과 비교하여 1.7배 정도의 성능 향상이 있음을 확인할 수 있었다.

클리스터 기반 연속 미디어 저장 서버에서의 통합형 통계적 승인 제어 기법 (Integrated Stochastic Admission Control Policy in Clustered Continuous Media Storage Server)

  • 김영주;노영욱
    • 정보처리학회논문지A
    • /
    • 제8A권3호
    • /
    • pp.217-226
    • /
    • 2001
  • 본 논문은 클러스터 기반의 분산 구조를 갖는 CCMSS(Clustered Continuous Media Storage Server) 시스템의 미디어 검색 동작에 대해 디스크의 입출력 지연 시간 뿐맘 아니라 내부 네트워크의 통신 지연 시간을 함께 고려한, 열린 큐잉 네트워크 기반의 해석적 모델을 제시하고 이를 이용하여 전체 서비스 지연 시간에 대한 확률적 모델을 정의한다. 그리고 정의된 확률적 모델을 바탕으로 허용된 서비스 실패율 범위에서 최대 서비스 가능한 사용자 요구 수를 구하고 이 값을 이용하여 승인 제어를 수행하는 통합형 통계적 승인 제어 모델을 제안한다. 제안된 승인 제어 기법의 성능 분석을 위해 단순히 디스크 성능만을 고려한 확률적 모델과 본 논문에서 제안한 디스크 성능과 내부 네트워크의 성능을 함께 고려한 확률적 모델을 통해 산출한 마감시간 실패율과 실제 클러스터 기반 서버 환경에서 모의 실험을 통해 얻은 결과를 비교하였으며, 실험 결과에 대한 분석을 통해 제안된 승인 제어 기법이 CCMSS 시스템의 실제 서비스 지연 요소를 정확히 반영하고 있다는 것을 알 수 있었다.

  • PDF

소규모 VOD 시스템의 저장 서버로서 디스크 배열 구조의 분석 (Analysis of Disk Array Architecture as a Storage Server of a Small-Sacle VOD Server)

  • 고정국;김길용
    • 한국정보처리학회논문지
    • /
    • 제4권3호
    • /
    • pp.811-820
    • /
    • 1997
  • 대용량의 저장 공간과 고속 통신망을 갖춘 고성능 저장 장치를 필요로 하는 멀티미디어 응용에서는 데이터 전달 속도와 입출력 성능을 향상시키기 위해 디스크 배열이 사용되고 있다. 디스크 배열은 구성 방법및 데이터 할당 방법등에 따라 성능의 차이를 보이므로 디스크 배열을 설계 할 때 해당 응용에 적합한 디스크 배열 특성 변수가 결정되어야 한다. 본 논문에서는 소규모 VOD 시스템의 저장 서버로서 사용될 디스크 배열의 구조를 결정하기 위한 연속 매체 파일 시스템의 데이터 불럭 크기와 입출력 요구의 크기가 주어질 때 디스크 배열 구성 디스크수, 디스크 배열 구성과 디클러스터링 정도를 권장하기 위해 시뮬레이션을 통해 성능을 평가하였다. 시뮬레 이션을 통해 6Mbps의 MPEG-2파일을 제공하는 디스크 배열의 구조는 스트라이핑 단위가 64-KB 이며, 데이터 불럭이 연속 배치되어 있는 5개의 디스크로 구성된 RAID-5가 가장 적합한 것으로 나타났다.

  • PDF

병렬처리 공간자료구조연구 (A Study on Parallel Spatial Index Structure)

  • 방갑산
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.775-776
    • /
    • 2009
  • 공간데이터를 관리하는 공간 index structure는 대부분 순차처리를 위한 구조를 가지고 있다. 많은 응용분야에서 방대한 양의 공간 데이터는 보조기억장치(예: disk)에 저장이 되어 사용이 되고 공간 index structure의 operation은 I/O에 대한 의존도가 크므로, I/O operation의 병렬처리는 공간 index structure의 질의반응시간을 현저하게 줄일 수 있다. 본 논문에서는 PPR-tree라는 병렬형 공간 index structure를 제안한다.

공간 메인 메모리 DBMS를 위한 효율적인 회복 시스템 (An Efficient Recovery System for Spatial Main Memory DBMS)

  • 김정준;주성완;강홍구;홍동숙;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권3호
    • /
    • pp.1-14
    • /
    • 2006
  • 최근 실시간 서비스의 요구 사항을 갖는 위치 기반 서비스(Location Based Service : LBS)와 텔레매틱스(Telematics) 서비스를 효율적으로 제공하기 위해서 공간 메인 메모리 DBMS에 대한 관심이 급증하고 있다. 이러한 공간 메인 메모리 DBMS에서는 시스템 장애가 발생하였을 경우 메인 메모리상의 모든 공간 데이타를 잃어버릴 수 있으므로 데이타베이스의 안정성을 위한 회복 시스템은 매우 중요하다. 회복 시스템에서 로그와 체크포인트 수행 과정 중 발생하는 디스크 입출력은 전체 시스템 성능을 저하하는 중요한 요인이 되고 있다. 그러므로, 공간 메인 메모리 DBMS에서 디스크 입출력을 줄일 수 있는 효율적인 회복 시스템에 대한 연구가 절실히 필요하다. 본 논문에서는 공간 메인 메모리 DBMS를 위한 효율적인 회복 시스템에 대해서 연구하였다. 먼저 로그 기법으로는 디스크 입출력을 줄이고 트랜잭션의 동시성 향상을 위해 사전 완료 기법을 사용하였고, 전체 시스템 성능을 향상시키기 위해 기존의 퍼지-핑퐁 체크포인트 기법에서 발생하는 동일 페이지에 대한 중복 디스크 입출력 문제를 해결한 퍼지-쉐도우 체크포인트 기법을 제안하여 회복 시스템 구현 시 사용하였다. 그리고 마지막으로 본 논문에서 개발한 회복 시스템의 성능 평가를 수행하여 효율성을 입증하였다.

  • PDF

공간 조인의 성능 향상을 위한 동적 그리드 공간 분할 알고리즘 (Dynamic Grid Space Partition Algorithms for Improve the Performance of Spatial Joins)

  • 박재형;정병수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.174-176
    • /
    • 1999
  • 지리 정보 시스템에서 공간 객체들은 크기가 가변적이고 객체의 형태가 일정하지 않을 뿐만 아니라 공간 객체의 분포 또한 일정하지 않다. 공간 조인은 이러한 공간 객체들의 특성으로 인해 비용이 많이 들고, 공간 객체의 분포에 따라 특정 영역에서의 공간 조인 비용이 많이 들 수 있다. 이 논문에서는 공간 객체들의 분포에 따라 한 번의 Disk 접근으로 공간 객체들을 적재할 수 있는 크기로 셀을 동적 분할하는 알고리즘을 제안한다. 제안된 알고리즘을 수행한 후에 생성된 다양한 크기의 셀을 기반으로 공간 조인을 수행한다. 또한 정제 단계에서 공간 객체를 메모리로 적재하는 Disk I/O를 줄이기 위한 방법도 알아본다.

  • PDF

APC: 가상 메모리 시스템에서 적응적 페이지 선반입 제어 기법 (APC: An Adaptive Page Prefetching Control Scheme in Virtual Memory System)

  • 안우현;양종철;오재원
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권3호
    • /
    • pp.172-183
    • /
    • 2010
  • 가상 메모리 시스템(VM)에서 페이지 부재로 발생하는 디스크 I/O를 감소시키기 위해 페이지 선반입 기법을 사용한다. 이 기법은 부재 페이지와 함께 추가적인 페이지들을 한 번의 디스크 I/O로 미리 읽는다. 그런데, 4.4BSD와 같은 운영체제의 VM은 응용 프로그램의 페이지 참조 패턴을 고려하지 않고 항상 가능한 많은 페이지들을 선반입하고자 한다. 이 방법은 선반입된 페이지들 중 일부만 사용하는 참조패턴에서 디스크 참조 시간을 증가시키며, 유용한 페이지들을 메모리에서 내보내는 메모리 오염을 야기한다. 이런 문제를 해결하기 위해 본 논문은 적응적 페이지 선반입 제어 기법(APC)을 제안한다. APC는 선반입 페이지들 중에서 메모리에 존재하는 동안 참조된 페이지들의 비율을 프로세스 단위로 주기적으로 측정하고, 이 비율을 사용하여 4.4BSD VM이 선반입하고자 하는 페이지의 개수를 조절한다. 그래서 실행도중 페이지 참조 패턴이 바뀌더라도 적절한 수의 페이지를 선반입할 수 있다. 성능 검증을 위해 APC를 4.4BSD 기반의 FreeBSD 6.2에 구현하였으며, SOR, SMM, FFT 벤치마크를 통해 성능을 측정하였다. 성능 측정 결과 APC는 기존 BSD VM보다 벤치마크의 실행 시간을 최대 57% 단축하였다.

Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석 (An Analysis of Utilization on Virtualized Computing Resource for Hadoop and HBase based Big Data Processing Applications)

  • 조나연;구민오;김바울;;민덕기
    • 정보화연구
    • /
    • 제11권4호
    • /
    • pp.449-462
    • /
    • 2014
  • 빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

파일 접근 패턴과 캐쉬 영역을 고려한 선반입 기법 (Prefetching Policy based on File Acess Pattern and Cache Area)

  • 임재덕;황보준형;고광식;서대화
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.447-454
    • /
    • 2001
  • 디스크 I/O성능 개선을 위한 여러 선반입 알고리즘이 연구되어져 왔다. 선반입 알고리즘은 디스크 접근 횟수를 줄임으로써 병렬파일시스템의 I/O성능을 높여준다. 본 논문에서는 OBA 선반입 기법의 확장 버전인 AMBA 선반입 기법을 제안한다. AMBA 선반입 기법은 현재 사용되고 있는 다음 블록 하나만 선반입하는 것이 아니라, 디스크의 대역폭이 충분하다면 여러 파일 블록을 연속해서 선반입 하는 방법이다. 이는 응용프로그램에서의 데이터 요청이 빈번해도 이전에 연속해서 선반입한 파일 블록에 의해 선반입 효과를 기대할 수 있다. 그리고 버퍼캐쉬 영역 내에 선반입된 파일 블록의 수를 제한함으로써 버퍼캐쉬의 효율성을 높여준다. 제안된 선반입 기법은 리눅스 운영체제 기반의 사용자 수준의 파일 시스템에서 구현하고 실험하였다. 실험 결과 제안된 AMBA 선반입 기법은 순차적으로 접근되는 큰 파일에 대해서는 기존 시스템에 비해 30∼40%의 성능을 개선해준다.

  • PDF

SSD 컨트롤러 최적 설계 기법 (Design Optimization Techniques for the SSD Controller)

  • 이두진;한태희
    • 대한전자공학회논문지SD
    • /
    • 제48권8호
    • /
    • pp.45-52
    • /
    • 2011
  • 플래시 메모리는 빠른 처리 속도, 비휘발성, 저전력, 강한 내구성으로 인해 최근 다방면에서 활용되는 비중이 점점 커지고 있고, 최근 비트 당 가격이 저렴해지면서 NAND 플래시 기반의 SSD (Solid State Disk)가 기존 기계적 메커니즘의 HDD(Hard Disk Drive)를 대체할 새로운 저장 장치로 주목받고 있다. 특히 모바일 기기에 적용되는 싱글 패키지 SSD 제품의 경우 병렬 처리를 통한 성능 향상을 위해 채널 수를 증가시키면 NAND 플래시 컨트롤러의 면적과 입출력 핀 수가 채널 수 증가에 따라 증가하여 폼팩터 (form factor)에 직접적인 영향을 주게 된다. 본 논문에서는 NAND 플래시 채널 수와 인터페이스의 채널당 FIFO 버퍼 사이즈를 최적화하여 SSD 컨트롤러의 성능을 고려한 면적과 입출력 핀 수를 최소화하고 이를 폼팩터에 반영하는 방법을 제안한다. 이중 버퍼를 채용한 10채널 지원 SSD 컨트롤러에 대해서 실험을 통해 동일한 성능을 유지하면서도 버퍼 블록 사이즈를 73%정도 축소시킬 수 있었고, 컨트롤러 전체 칩 면적으로는 채널 수 감소에 따른 채널별 컨트롤 블록과 입출력 핀 수 감소 등으로 인해 대략 40%정도 축소 가능할 것으로 예상된다.