• Title/Summary/Keyword: 분산 RAID

Search Result 19, Processing Time 0.023 seconds

Design and Implementation of iATA-based RAID5 Distributed Storage Servers (iATA 기반의 RAID5 분산 스토리지 서버의 설계 및 구현)

  • Ong, Ivy;Lim, Hyo-Taek
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.2
    • /
    • pp.305-311
    • /
    • 2010
  • iATA (Internet Advanced Technology Attachment) is a block-level protocol developed to transfer ATA commands over TCP/IP network, as an alternative network storage solution to address insufficient storage problem in mobile devices. This paper employs RAID5 distributed storage servers concept into iATA, in which the idea behind is to combine several machines with relatively inexpensive disk drives into a server array that works as a single virtual storage device, thus increasing the reliability and speed of operations. In the case of one machine failed, the server array will not destroy immediately but able to function in a degradation mode. Meanwhile, information can be easily recovered by using boolean exclusive OR (XOR) logical function with the bit information on the remaining machines. We perform I/O measurement and benchmark tool result indicates that additional fault tolerance feature does not delay read/write operations with reasonable file size ranged in 4KB-2MB, yet higher data integrity objective is achieved.

Autonomous Network Combination of RAID System to read/write Performance Improvement (RAID 시스템에서 자율적 네트웍 조합에 의한 읽기/쓰기 성능 개선)

  • 최귀열
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.7 no.1
    • /
    • pp.158-163
    • /
    • 2003
  • When the number of disks array systems that contain multiple disk drives, system performance is limited by a bottleneck at a centralized controller at a communication path than uses a bus. A redundant array of inexpensive disks(RAID) consists of many disks to enable high performance and large capacity. We evaluate a scalable architecture called Autonomous network, in which the controller functions are distributed to all disk drives and each disk has autonomy in processing its tasks. Disks drives enable better scalability and more effective utilization of system resources than with a hierarchical system. Autonomous network provided high read/write performance throughput in proportion to the number of disks.

The Error-Handling Strategies of RAID for Data Availability (데이터 가용성(HA)의 효율적인 지원을 위한 RAID 에러 핸들링 정책)

  • Kang, Dong-Jae;Bak, Yu-Hyeon;Kim, Young-Ho;Kim, Chang-Soo;Shin, Bum-Joo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.365-368
    • /
    • 2002
  • 본 논문에서는 SANtopiaVM의 데이터 가용성 및 성능을 고려한 에러 핸들링 정책을 제안한다. 제안하는 에러 핸들링 정책은 RAID1과 RAID5에 대한 정책으로 추분하며 에러 발생시의 복구를 위하여 RAID1에서는 FBB(Failed Block Bitmap)라는 비트맵을 추가하여 데이터의 일관성을 유지하고 디스크의 복구 시에는 저기 연산에 대한 부하 분산 및 복구 비용을 감소시키는 쓰기 연산을 제안함으로서 에러 핸들링 시에 입출력 비용을 줄인다. RAID5에서는 추가적인 여분 디스크를 사용한 Sparing Disk 기법을 제안함으로서 디스크 에러 모드에서도 정상 모드의 성능에 근접하는 입출력 성능을 보장하며 빠른 디스크 복구를 지원한다. 제안하는 에러 핸들링 정책은 SANtopiaVM RAID의 오류 발생시, 시스템 성능의 급격한 저하를 완화할 수 있으며 에러로부터 빠른 복구를 지원함으로서 데이터에 대한 효율적인 고 가용성의 특징을 제공한다.

  • PDF

Self Recovery System With High Availability in Clustered VOD Server (클러스터형 VOD 서버에서 고가용성을 고려한 자체 복구 시스템)

  • Lee, Joa-Hyoung;Seo, Dong-Mahn;Bang, Cheol-Seok;Kim, Byoung-Gil;Park, Chong-Myung;Jung, In-Bum
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11a
    • /
    • pp.149-152
    • /
    • 2003
  • 최근 VOD 서버 모델로 제안되는 클러스터형 VOD 서버는 확장성과 가용성을 높일 수 있다는 장점이 있지만 서버에 노드수가 증가하면서 서버에 장애가 발생할 가능성이 높아지는 문제점을 가지고 있다. 본 논문에서는 클러스터형 VOD 서버에서 노드 장애 발생시 이를 복구하기 위한 방안으로서 RAID-3, 4의 특성을 취합하고, 이에 파이프라인 개념을 더한 복구 시스템을 제시하고자 한다. 본 복구 시스템은 RAID-4 개념을 도입하여 디스크로의 접근을 큰 사이즈의 블록단위로 함으로써 디스크의 효율성을 증가시키며, 네트웍에는 RAID-3 개념을 적용하여 작은 사이즈의 블록으로 나누어 전송함으로써 네트웍을 효율적으로 사용하고 메모리 부하를 줄일 수 있도록 한다. 또한 파이프라인 개념을 도입하여 복구과정을 여러 노드에서 분담하여 동시에 처리함으로써 CPU, 네트웍, 메모리 등과 같은 자원에 대한 부하가 모든 노드로 분산되도록 한다.

  • PDF

The study of striping size according to the amount of storage nodes in the Parallel Media Stream Server (병렬 미디어 스트림 서버에서 저장노드수의 변화에 따른 스트라이핑 크기 결정에 관한 연구)

  • Kim, Seo-Gyun;Nam, Ji-Seung
    • The KIPS Transactions:PartC
    • /
    • v.8C no.6
    • /
    • pp.765-774
    • /
    • 2001
  • In this paper, we proposed the striping policy for the storage nodes in the Linux-based parallel media stream server. We newly developed a storage clustering architecture, and named it as a system RAID architecture. In this system, many storage cluster nodes are grouped to operate as a single server. This system uses unique striping policy to distribute multimedia files into the parallel storage nodes. If a service request occurs, each storage cluster node transmits striped files concurrently to the clients. This scheme can provide the fair distribution of the preprocessing load in all storage cluster nodes. The feature of this system is a relative striping policy based on the file types, service types, and the number of storage nodes to provide the best service.

  • PDF

A study of enhancing the storage efficiency in HDFS (HDFS에서 저장 공간 절약을 위한 방법에 관한 연구)

  • Ahn, Hoo-Young;Lee, Soo-Ho;Lee, Kyong-Ha;Lee, Yoon-Joon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.98-100
    • /
    • 2012
  • 분산 파일시스템은 네트워크를 통해 여러 대의 서버들이 하나의 파일 시스템을 구성하여 높은 확장성과 고 가용성을 지원한다. 분산 파일 시스템에서는 신뢰성과 고성능이 중요하며 대부분의 분산 파일시스템은 이를 위해 데이터 복제에 의존한다. 그러나 이 방법은 저장 공간의 오버헤드를 증가시키는 단점을 가진다. 이 논문에서는 이 문제점을 해결하고자 대표적인 분산 파일 시스템인 HDFS에 분산 RAID에서의 erasure code로 데이터 복제본을 대체하는 방법으로 가용성과 신뢰성을 유지하면서 저장 공간을 절약하는 방법을 제안한다.

I/O Scheduling of Multiple Disk Arrays for Reducing Deadline Miss Rate on VOD Servers (VOD 서버에서 마감시간 초과율 감소를 위한 다중 디스크배열 I/O 스케줄링)

  • Jeong, Gyeong-Jin;Kim, Seong-Jo
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.28 no.5
    • /
    • pp.236-244
    • /
    • 2001
  • 디스크배열 또는 RAID 시스템은 저렴한 비용으로 대용량 저장공간을 제공할 수 있으나, VOD 서비스와 같은 대규모 멀티미디어 서비스에 대해서는 아직 충분한 입출력 속도를 지원하지 못하고 있다. 보다 높은 대역폭을 지원하기 위해 다수의 디스크 컨트롤러를 채용한 다중 디스크배열에서 스트라이프를 전체 디스크에 효과적으로 분산시키기 위한 수직 스트라이핑 모델이 이용되고 있다. VOD 서비스 이용자가 고품질의 동영상을 감상하기 위해서는, 응용프로그램이 요청한 마감시간까지 저장장치에 기록되어 있는 데이터를 읽어와야 한다. 본 논문에서는 효과적이 VOD 서비스 지원을 위해, 다중 디스크배열에서 각 디스크 컨트롤러의 지역 요청큐로 분산된 입출력 요청들을 스케쥴링하여 마감시간 초과율(deadline miss rate)을 줄이기 위한 알고리즘을 제안한다. 이 알고리즘은 VOD 서버와 같이 데이터 읽기 작업이 많은 멀티미디어 서비스에 적합하도록 설계되었다. 시뮬레이션 결과, 제안된 알고리즘이 마감시간 초과율을 평균 41.5% 감소시킴을 알 수 있었다.

  • PDF

Design of OpenStack Cloud Storage Systems - Applying Infiniband Storage Network and Storage Virtualization Performance Evaluation (인피니밴드 스토리지 네트워크를 적용한 오픈스택 클라우드 스토리지 시스템의 설계 및 스토리지 가상화 성능평가)

  • Heo, Hui-Seong;Lee, Kwang-Soo;Pirahandeh, Mehdi;Kim, Deok-Hwan
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.7
    • /
    • pp.470-475
    • /
    • 2015
  • Openstack is an open source software that enables developers to build IaaS(Infrastructure as a Service) cloud platforms. Openstack can virtualize servers, networks and storages, and provide them to users. This paper proposes the structure of Openstack cloud storage system applying Infiniband to solve bottlenecking that may occur between server and storage nodes when the server performs an I/O operation. Furthermore, we implement all flash array based high-performance Cinder storage volumes which can be used at Nova virtual machines by applying distributed RAID-60 structures to three 8-bay SSD storages and show that Infiniband storage networks applied to Openstack is suitable for virtualizing high-performance storage.

Design and Implementation of Reliable Network RamDisk (신뢰성 있는 네트웍 램디스크의 설계 및 구현)

  • Her, Jun-Ho;Ramakrishna, R.S.
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.283-286
    • /
    • 2001
  • 전통의 자기 디스크 형태 저장 장치로의 접근 지연 시간을 줄이고자, 최근에 서로 네트워크로 연결된 컴퓨터간의 메모리 자원들을 파일을 저장하는 장치로써 활용해 볼 수 있는 가상 장치(Network RamDisk)가 개발되었다. 이 시스템은 메모리 공간을 제공해 주는 서버의 노드들이 패리티 그룹(parity group)을 이루는 일종의 software RAID 시스템으로 한 서버의 노드 crash 에 대해 대응하는 것을 고려하지 않아 제 이의 서버가 노드 crash, 프로세스 crash 혹은 데이터 손실을 발생시키면 완전히 데이터를 잃어버리는, 신뢰성이 낮은 문제점이 있다. 본 논문은 클라이언트가 서버측의 노드 crash를 적절히 감지하고 새로운 서버로 fail over 할 수 있는 여러 가지 기법들을 설계하고 구현하였다. 또한 서버 풀(server pool)이라는 가상의 공간을 따로 관리하여 서버들에 대한 메모리 자원 요구 부하를 균등히 분산 시키는 효과도 얻도록 하였다.

  • PDF