• 제목/요약/키워드: 병렬 디스크 입출력

검색결과 42건 처리시간 0.028초

다해상도용 영상 데이터 관리 시스템 설계 (Design of Management System for Multiresolution Image Data)

  • 김성재;조승호
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
    • /
    • pp.49-53
    • /
    • 2002
  • 본 논문은 광학 현미경으로 관찰된 데이터들을 분산 시스템이나 병렬 시스템에 구현한 소프트웨어 시스템의 설계에 대한 것으로, 이 시스템이 처리하는 데이터들이 대용량이라는 특성과 함께 다중 해상도의 특성을 갖는다. 본 시스템은 고객/서버 모델을 기반으로 하였으며, 대용량 데이터 처리시 성능에 중요한 디스크 입출력의 대역폭을 높이기 위해 힐버트 곡선 기반의 분산 알고리즘을 적용하였다. 서버부는 조정자 노드와 서비스 노드로 구성되며, 시스템의 제 구성 요소들간에는 정해진 통신 규약에 따라 메시지를 주고 받고, 상호 독립적이다. 이 시스템은 의학 교육, 원격 병리, 가상 학술 회의 등에 응용될 때 활용 가치가 높을 것으로 기대된다.

  • PDF

복합 저장 시스템을 위한 상황-인지 파일 관리에 대한 연구 (A Study of Context-aware File Management for Hybrid Storage Systems)

  • 변시우;허문행;노창배
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2007년도 춘계학술발표논문집
    • /
    • pp.189-191
    • /
    • 2007
  • 본 논문은 하이브리드 저장 장치를 위한 효율적인 병렬 저장 시스템 구조와 데이터 및 파일 관리 기술 개발을 목표로 한다. 기존의 플래시 메모리 기반의 기존의 데이터 저장 구조들을 분석하고, 병렬형 하이브리드 데이터 저장 시스템 구조와 비교 분석한다. 또한, 하이브리드 하드 디스크의 데이터 저장 및 입출력 연산 수행을 효과적으로 지원할 수 있도록 플래시 메모리의 고유한 특성을 활용한 상황 인지 데이터 및 파일 관리 기법을 제안한다.

  • PDF

복합 저장 시스템을 위한 상황-인지 파일 관리에 대한 연구 (Study of Contdext-aware File Management for Hybrid Storage Systems)

  • 변시우;강봉직;노창배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
    • /
    • pp.383-384
    • /
    • 2007
  • 본 논문은 하이브리드 저장 장치를 위한 효율적인 병렬 저장 시스템 구조와 데이터 및 파일 관리 기술 개발을 목표로 한다. 기존의 플래시 메모리 기반의 기존의 데이터 저장 구조들을 분석하고, 병렬형 하이브리드 데이터 저장 시스템 구조와 비교 분석한다. 또한, 하이브리드 하드디스크의 데이터 저장 및 입출력 연산 수행을 효과적으로 지원할 수 있도록 플래시 메모리의 고유한 특성을 활용한 상황인지 데이터 및 파일 관리 기법을 제안한다.

  • PDF

고성능 저장장치를 위한 SAN최적화기법 (A SAN Optimization Scheme for High-Performance Storage System)

  • 이인선
    • 디지털융복합연구
    • /
    • 제12권1호
    • /
    • pp.379-388
    • /
    • 2014
  • 본 논문에서는 SAN(Storage Area Network)에 장착된 하드디스크를 단순히 고성능 저장장치로 교체하면 고성능 저장장치의 뛰어난 성능을 제대로 활용할 수 없음을 확인하고 원인 분석을 하여 고성능 저장장치를 위한 SAN의 성능 최적화기법들을 제안하였다. 먼저 고성능 저장장치에 맞지 않는 기존의 SAN 입출력경로에 존재하던 지연을 없애고, 저장장치 서버에서 입출력 요청들을 병렬 처리할 수 있게 하고, 소형 랜덤 입출력처리의 성능 향상을 위해 SAN에 연결된 초고속 네트워크에 사용되는 기존의 전송 프로토콜에 시간적 병합 기법을 추가하였다. 제안한 기법들의 우수성을 입증하는 방법으로 실제로 고성능 저장장치를 장착한 SAN에 최적화기법들을 구현하였으며, 다양한 입출력 데이터로 실험한 결과 30%이상의 입출력 지연시간 절감과 200%이상의 성능 향상을 확인하였다.

MEMS 기반 저장장치를 위한 병렬성 기반 스케줄링 기법 (Parallelism-aware Request Scheduling for MEMS-based Storages)

  • 이소윤;반효경;노삼혁
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제34권2호
    • /
    • pp.49-56
    • /
    • 2007
  • MEMS 기반 저장장치는 높은 대역폭과 저전력성, 고집적도, 저가 등의 특성으로 인해 모바일 기기에서 대용량 서버 시스템에 이르는 다양한 환경에서 사용가능한 차세대 저장장치이다. MEMS 기반 저장장치는 원판이 회전하는 하드디스크와 달리 매체가 사각형 구조로 되어 있으며 하나의 매체에 동시에 읽고 쓸 수 있는 수천 개의 헤드가 존재한다. 본 논문에서는 이와 같은 MEMS 기반 저장장치의 물리적 특성에 적합한 새로운 입출력 요청 스케줄링 기법을 제안한다. 새롭게 제안한 알고리즘은 사각형 평면상에서의 헤드의 탐색 시간뿐 아니라 수천 개의 헤드에 의한 병렬적인 입출력을 고려한다. 또한, 기아 현상(starvation)을 극복하기 위해 알고리즘에 노화 요소(aging factor)를 반영한다. 트레이스 기반 모의 실험을 통해 본 논문이 제안한 스케줄링 알고리즘이 기존의 대표적인 알고리즘인 SPTF(Shortest Positioning Time First) 알고리즘에 비해 평균 응답 시간과 응답 시간의 편차 측면에서 각각 39.2%와 62.4%가 향상됨을 보였다.

스트라이핑 기반의 병렬 접근 미러링 기법 (Parallel Accessed Mirroring based on Stripping)

  • 강동재;김창수;신범주;김학영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.539-542
    • /
    • 2002
  • 멀티미디어와 인터넷의 대중화가 야기한 급격한 데이터의 증가는 테라(Tera)바이트 이상의 대용량 저장공간과 대용량 정보의 효율적인 공유를 지원하는 스토리지 시스템을 요구하고 있으며 이를 위하여 SAN 기반의 스토리지 클러스터링 시스템들이 많이 사용되고 있다. 이러한 환경에서 하드웨어 또는 소프트웨어 RAID(Redundant Array of Independent Disks)는 대용량 정보의 고성능의 입출력과 신뢰성을 위해서 필수적이 되었다. 범용적인 RAID로는 RAE-0, RAID-1, RAID-5가 주로 사용되고 있으며 각각의 레벨은 장단점을 갖는다. 본 논문에서는 RAID-0와 RAID-1이 갖는 문제점들의 보완을 위하여 변형된 RAID 레벨인 RAID-SM을 제안한다. RAID-SM은 기존의 RAID-1이 가지는 데이터의 가용성을 유지하면서 추가적인 비용 없이 RAID-0의 우수한 입출력 성능을 얻기 위한 RAID-1의 변형된 방식이다. RAID-SM의 구현을 위하여 디스크상의 데이터의 배치 및 데이터 맵핑 탕식을 정의하고 RAID-SM에서의 I/O방법을 기술한다. 제안하는 RAID-SM은 멀티미디어나 GIS 데이터와 같은 읽기 연산 집약적인 시스템을 대상으로 하는 안정적인 레이드 방식이며 RAID-SM의 장점 및 성능은 본 논문에서의 실험을 통한 결과로서 제시한다.

  • PDF

SSD 기반의 RAID 시스템에서 패리티 디스크의 중복 제거 (De-duplication of Parity Disk in SSD-Based RAID System)

  • 양유석;이승규;김덕환
    • 전자공학회논문지
    • /
    • 제50권1호
    • /
    • pp.105-113
    • /
    • 2013
  • 데이터 입출력의 지연 및 병목현상을 해결하기 위해, 여러 개의 디스크를 병렬 구조로 연결한 RAID 시스템이 널리 사용되고 있다. 현재 HDD에 비해 입출력 성능이 좋은 SSD 기반의 RAID 시스템이 활성화 되고 있으나, SSD를 사용하여 RAID 시스템을 구현 할 경우 SSD의 쓰기 횟수 제한 문제와 빈번한 쓰기 연산으로 인한 전력소모의 문제가 발생한다. 본 논문에서는 갱신 비용이 많이 드는 SSD 기반의 RAID 시스템에서 parity 디스크의 중복된 데이터를 제거하는 방법을 제안한다. 제안한 방법은 parity 데이터의 chunk 보다 작은 크기로 분할 하고, 중복된 데이터를 제거 하여 쓰기 연산을 줄이고 마모도 및 전력 소모를 낮춘다. 실험결과 EVENODD 코드를 사용한 RAID-6 시스템의 경우 제안한 방법이 전체 디스크의 약 16%, parity 디스크에서 31% 마모도의 감소를 보였으며, 30% 전력 감소를 보여 중복제거기법을 사용하지 않았을 때 보다 성능이 증가 한 것을 알 수 있다. RAID-5 시스템에서는 전체 디스크의 약 12%, parity 디스크의 32%의 마모도 감소를 보였고, 전력소모의 경우 36%의 전력 소모 감소를 보인다.

그리드 분할에 의한 다차원 데이터 디클러스터링 성능 분석 (Performance Analysis on Declustering High-Dimensional Data by GRID Partitioning)

  • 김학철;김태완;이기준
    • 정보처리학회논문지D
    • /
    • 제11D권5호
    • /
    • pp.1011-1020
    • /
    • 2004
  • 대규모의 데이터를 다루는 여러 시스템에서 데이터를 다수의 병렬 디스크에 분산시켜 저장한 후 질의 처리시 동시에 여러 개의 디스크를 접근함으로써 입출력 성능의 향상을 위한 많은 노력들이 행해져 왔다. 대부분 이전 연구들은 데이터 공간을 이루는 각 차원이 겹치지 않는 여러개의 구간으로 나누어져 전체 데이터 공간이 그리드 형태로 분할되어 있다는 가정하에 각 차원의 구간 번호로 결정되는 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 개발에 집중되었다. 하지만, 그들은 데이터 공간을 그리드 형태로 분할하는 방법이 전체 디클러스터링 알고리즘 성능에 미치는 영향을 간과하였다. 본 논문에서 우리는 효과적인 그리드 분할을 통하여 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 향상 시켰다. 이를 위하여 영역 질의 크기가 주어졌을 때 겹치는 그리드 셀의 수를 예측하는 모델을 제시하였으며 이를 이용하여 가능한 그리드 분할 방법들 중에서 질의 크기를 감소시키는 분할 방법을 선택하였다. 일반적으로, 다차원 데이터에 대해서는 이진 분할을 하지만 본 논문에서는 더 작은 수의 차원을 선택해서 여러 번 분할함으로써 질의를 만족하는 그리드 셀의 수를 감소시켰다. 다양한 실험 결과에 의하면 본 논문에서 제시한 예측 모델은 질의 크기와 차원에 관계없이 0.5% 이내의 에러율을 보이는 것으로 나타났다. 또한 효과적인 그리드 분할을 통하여 다차원 데이터에 대해서 가장 성능이 좋은 것으로 소개되고 있는 Kronecker sequence 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 최대 23배까지 향상시킬 수 있음을 알 수 있었다.

하둡 클러스터 기반의 대용량 정성 공간 추론기의 설계 (Design of a Large-Scale Qualitative Spatial Reasoner Based on Hadoop Clusters)

  • 김종환;김종훈;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1316-1319
    • /
    • 2015
  • 본 논문에서는 대규모 분산 병렬 컴퓨팅 환경인 하둡 클러스터 시스템을 이용하여, 공간 객체들 간의 위상 관계를 효율적으로 추론하는 대용량 정성 공간 추론기를 제안한다. 본 논문에서 제안하는 공간 추론기는 추론 작업의 순차성과 반복성을 고려하여, 작업들 간의 디스크 입출력을 최소화할 수 있는 인-메모리 기반의 아파치 스파크 프레임워크를 이용하여 개발하였다. 따라서 본 추론기에서는 추론의 대상이 되는 대용량 공간 지식들을 아파치 스파크의 분산 데이터 집합 형태인 PairRDD와 RDD로 변환하고, 이들에 대한 데이터 오퍼레이션들로 추론 작업들을 구현하였다. 또한, 본 추론기에서는 추론 시간의 많은 부분을 차지하는 이행 관계 추론에 필요한 조합표를 효과적으로 축소함으로써, 공간 추론 작업의 성능을 크게 향상시켰다. 대용량의 공간 지식 베이스를 이용한 성능 분석 실험을 통해, 본 논문에서 제안한 정성 공간 추론기의 높은 성능을 확인할 수 있었다.

클라우드 스토리지 최적화를 위한 고속 캐싱 및 대용량 파일 전송 기법 (A Scheme on High-Performance Caching and High-Capacity File Transmission for Cloud Storage Optimization)

  • 김태훈;김정한;엄영익
    • 한국통신학회논문지
    • /
    • 제37권8C호
    • /
    • pp.670-679
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 환경의 보급과 함께 스토리지의 데이터양이 급증함에 따라 그에 따른 스토리지 저장 비용이 빠르게 증가하고 있다. 더불어, 사용자들의 다양한 서비스 및 데이터 요청으로 클라우드 스토리지의 부하 또한 급증하고 있다. 이러한 문제를 해결하기 위해 분산 파일 시스템을 통한 저비용 고성능 스토리지 환경을 제공하고자 하는 기존의 연구가 있었으나, 이에는 데이터 병렬처리, 임의위치 접근처리, 빈번한 작은 워크로드 접근처리 등의 취약점이 존재한다. 최근에는 캐싱 기술을 이용하여 이를 개선하려는 연구가 주목받고 있다. 본 논문에서는 분산 파일 시스템 환경에서 병렬 캐싱, 분산 캐싱과 공유 자원을 고려한 데이터 병렬 전송방법을 제공하는 CHPC(Cloud storage High-Performance Caching) 구조를 제안하며, 또한 이를 기존의 방법들과 비교 평가하여 스토리지 부하를 최적화하는 방법을 제시한다. 더불어, 제안 기법이 기존 클라우드 시스템에 비하여 스토리지 서버의 디스크 입출력 감소, 서버로 데이터의 요청이 집중되어 발생하는 병목현상 방지, 각 클라이언트의 중복되는 페이지 캐시 제거, 데이터 전송률 향상의 장점을 가짐을 보인다.