• 제목/요약/키워드: glusterFS

검색결과 9건 처리시간 0.021초

SSD 환경 아래에서 GlusterFS 성능 최적화 (Performance Optimization in GlusterFS on SSDs)

  • 김덕상;엄현상;염헌영
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권2호
    • /
    • pp.95-100
    • /
    • 2016
  • 빅데이터, 클라우드 컴퓨팅 시대가 오면서 데이터 사용량이 점점 증가하고 있고 이러한 빅데이터를 신속히 처리하기 위한 시스템들이 개발되고 있다. 그 중 데이터를 저장하기 위한 시스템으로 분산 파일 시스템이 널리 사용되고 있다, 이러한 분산 파일 시스템 중에는 글러스터 파일 시스템(GlusterFS)이 있다. 또한 기술의 발달로 고성능 장비인 Nand flash SSD (Solid State Drive)의 가격이 하락함에 따라서 데이터센터로 도입이 증가되는 추세이다. 따라서 GlusterFS에서도 SSD를 도입하려고 하지만, GlusterFS는 하드디스크를 기반으로 설계되었기 때문에 SSD를 이용했을 시 구조적인 문제로 성능 저하가 발생하게 된다. 이러한 구조적인 문제점들에는 I/O-cache, Read-ahead, Write-behind Translator들이 있다. 랜덤 I/O에 장점이 있는 SSD에 맞지 않는 기능들을 제거함으로써, 4KB 랜덤 읽기의 경우 255%까지의 성능 향상 결과와, 64KB 랜덤 읽기의 경우 50%까지의 성능 향상 결과를 얻었다.

클라우드 분산 파일 시스템 성능 개선 및 평가 (Performance Enhancement and Evaluation of Distributed File System for Cloud)

  • 이종혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권11호
    • /
    • pp.275-280
    • /
    • 2018
  • 클라우드 환경에서 빅데이터 적재와 이후 애플리케이션을 통한 고속 처리를 위해서는 적합한 분산 파일 시스템의 선택이 요구된다. 본 논문에서는 GlusterFS 기반 쓰기 성능 향상 방법을 제안하고 클라우드 환경에서 기존 분산 파일 시스템 중 MapRFS, CephFS, GlusterFS와 성능을 비교 평가한다. 본 논문에서 제안한 쓰기 성능 향상 방법은 동기식 스토리지 복제 방식에서 사용하는 동기화 수준을 디스크에서 메모리로 변경함으로써 응답 시간을 향상 시킨다. 실험 결과는 본 논문의 제안 방법이 적용된 분산 파일 시스템이 순차 쓰기의 경우와 랜덤 쓰기와 랜덤 읽기가 혼합된 경우에서 다른 분산 파일 시스템 대비 성능이 우수함을 보인다.

분산 파일시스템의 소거 코딩 구현 및 성능 비교 (Implementation and Performance Measuring of Erasure Coding of Distributed File System)

  • 김재열;김영철;김동오;김홍연;김영균;서대화
    • 한국통신학회논문지
    • /
    • 제41권11호
    • /
    • pp.1515-1527
    • /
    • 2016
  • 최근의 빅데이터, 머신러닝, 클라우드 컴퓨팅 분야의 성장에 따라 대용량의 비정형 데이터를 저장할 수 있는 스토리지의 중요성은 날로 커지고 있다. 이에 따라 MAHA-FS, GlusterFS, Ceph 등의 개방형 하드웨어 기반의 분산 파일시스템 기술이 많은 주목을 받고 있다. 이러한 저비용 분산 파일시스템들은 데이터의 내결함성을 보장하기 위하여 초기에 복제 방식을 사용하였으나, 스토리지의 용량이 커질수록 복제 방식이 가지는 스토리지 공간의 저효율성이 점차 부각되면서 이를 보완하려는 방향으로 연구가 진행되고 있다. 본 논문은 복제방식을 대체하여 스토리지 공간 효율성을 향상시킬 수 있는 소거코딩 기법을 MAHA-FS 분산 파일시스템에 적용하여 스토리지의 효율성을 높이고, 소거코딩 지원에 따라 발생하는 데이터 일관성 문제를 해결하는 효율적인 방식으로 VDelta 기법을 제안하고 적용하였다. 본 논문은 MAHA-FS와 GlusterFS의 소거코딩의 구조적 차이점을 기술하고 두 파일시스템의 성능을 비교하여 MAHA-FS의 소거코딩 성능이 GlusterFS에 비해 우수함을 확인하였다.

스마트 팩토리 환경에서의 GlusterFS 기반 빅데이터 분산 처리 시스템 설계 (Design of GlusterFS Based Big Data Distributed Processing System in Smart Factory)

  • 이협건;김영운;김기영;최종석
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권1호
    • /
    • pp.70-75
    • /
    • 2018
  • 스마트 팩토리는 설계 개발, 제조, 유통 물류 등 생산 전체 과정에 정보 통신 기술을 적용하여 생산성, 품질, 고객만족도 등을 향상시킬 수 있는 지능형 공장이다. 스마트 팩토리에서 발생되는 데이터의 양은 공장의 규모 및 시설 수준에 따라 많은 차이를 보이지만, 기존의 생산관리시스템을 활용하여 방대한 양의 데이터를 발생시키는 스마트 팩토리 환경에 적용하기에 어려움이 있다. 이로 인해 방대한 양의 빅데이터 처리할 수 있는 빅데이터 분산 처리 시스템의 필요성이 요구되고 있다. 따라서 본 논문에서는 스마트 팩토리 환경에서의 GlusterFS 기반 빅데이터 분산 처리 시스템 설계하였다. 제안하는 빅데이터 분산 처리 시스템은 기존 분산 처리 시스템에 비해 네트워크 트래픽 분산 및 관리를 통해 부하와 데이터 소실 위험도를 감소시켰다.

GlusterFS 분산 파일 시스템 모니터링 설계 (Monitoring Design for Distributed File System GlusterFS)

  • 이정현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.174-177
    • /
    • 2015
  • 최근 Social, Mobile, IoT 등에 기반한 비즈니스 데이터의 폭증과 함께 이를 저장하고 처리하기 위한 Big Data 플랫폼, 분산 스토리지 기술 등이 사용되고 있다. 최근 제안된 분산 스토리지들은 클라우드 기반 기술과 Scale-Out 아키텍처를 적용하여 데이터의 증가에 대응할 수 있는 구조를 갖추고 있다. 분산 스토리지의 노드가 수백 대 이상으로 증가하는 경우 수작업을 통한 관리방법으로는 운영관리는 불가능하며 자동화된 운영관리와 모니터링 방법이 필요하다. 본 논문에서는 GlusterFS 분산 스토리지를 대상으로 네트워크, 서버, 디스크, 스토리지 서비스 등 시스템 상태를 구간별로 모니터링할 수 있도록 설계하였다. 이를 통해 분산 스토리지 전체 인프라에 대한 모니터링과 스토리지 서비스 수준을 모니터링 할 수 있도록 하였다.

클라우드 스토리지를 위한 오픈 소스 기반 분산 파일 시스템의 성능 평가 (Performance Evaluation of Open Source Based Distributed File System for Cloud Storage)

  • 이세호;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.185-187
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 기술은 기존의 서버, 데스크톱 컴퓨팅 환경을 빠르게 변화시키며, 차세대 인터넷 서비스의 핵심 분야로 부각되고 있다. 클라우드 컴퓨팅 기술 중 특히 저비용, 안정성, 확장성, 무결성 그리고 보안성을 가지고 있는 클라우드 스토리지 서비스가 각광 받고 있다. 이에 본 논문은 클라우드 스토리지 기반 기술인 분산 파일 시스템에 관해서 살펴보고, 오픈소스 기반의 분산 파일 시스템인 MooseFS, XtreemFS, GlusterFS, Ceph 등을 이용하여 시스템 구축 및 성능 측정을 수행 하였다. 수행결과 Postmark에서는 GlusterFS, MD5SUM에서는 XtreemFS가 가장 좋은 성능을 보여주었다.

클라우드 스토리지 인프라 구축을 위한 오픈 소스 기술 동향 (Trend analysis of Open Source Technologies for Cloud Storage Infrastructure)

  • 배유미;정성재;배정민;박정수;성경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 춘계학술대회
    • /
    • pp.263-266
    • /
    • 2013
  • 클라우드 컴퓨팅 환경의 보편화, 모바일 기기의 증가, 다양한 웹 기반 서비스의 등장으로 대용량의 저장 공간이 요구되고 있다. 특히, 구글 드라이브, 네이버 ndrive, 다음 클라우드 등 웹 기반의 저장형 서비스의 이용이 보편화되면서 많은 저장 공간이 요구되고 있다. 따라서, 스토리지 분야도 네트워크를 통하여 가상화된 스토리지 자원을 사용자의 요구에 따라 제공이 가능하고, 대규모 확장이 쉽고, 특정 지리적 위치에 구애받지 않는 클라우드 스토리지 기술이 각광받도 있다. 본 논문에서는 클라우드 스토리지 인프라 구축을 위하여 공개 소프트웨어 기술인 하둡, 스위프트, GlusterFS의 특징에 대해 알아본다.

  • PDF

클라우드 환경의 오픈소스 기반 분산 파일 시스템 분석 및 비교 (An Analysis and Comparison of Open Source Based Distributed File System for Cloud Environment)

  • 김건우;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.182-184
    • /
    • 2012
  • 클라우드 컴퓨팅이 많은 관심을 받고 발전하면서 여러 IT선도업체에서 클라우드 컴퓨팅 기술 개발에 많은 투자를 하고 있다. 이러한 클라우드 컴퓨팅 환경에서는 대부분의 데이터를 서버에 저장한다. 이러한 이유로 클라우드 환경에서 사용되는 파일 시스템은 기존의 파일 시스템 보다 많은 데이터를 저장하게 된다. 이에 따라 많은 데이터를 처리하기 위해서 클라우드 환경에서는 분산 파일 시스템 기술을 활용하고 있다. 또한 분산 파일 시스템은 네트워크상의 여러 스토리지 서버에 데이터가 분산되어 저장되기 때문에 데이터의 관리뿐만 아니라 성능, 장애 허용, 보안 등의 요구사항을 만족해야 한다. 본 논문에서는 XtreemFS, Ceph, GlusterFS, MooseFS 등의 분산 파일 시스템들을 기능적 측면에서 살펴보고, 각 분산 파일 시스템을 본 논문에서 제안하는 기능적 평가요소 측면에서 비교하고 평가한다.

토러스 연결망 기반의 대용량 멀티미디어용 분산 스토리지 시스템 (Torus Network Based Distributed Storage System for Massive Multimedia Contents)

  • 김재열;김동오;김홍연;김영균;서대화
    • 한국멀티미디어학회논문지
    • /
    • 제19권8호
    • /
    • pp.1487-1497
    • /
    • 2016
  • Explosively growing service of digital multimedia data increases the need for highly scalable low-cost storage. This paper proposes the new storage architecture based on torus network which does not need network switch and erasure coding for efficient storage usage for high scalability and efficient disk utilization. The proposed model has to compensate for the disadvantage of long network latency and network processing overhead of torus network. The proposed storage model was compared to two most popular distributed file system, GlusterFS and Ceph distributed file systems through a prototype implementation. The performance of prototype system shows outstanding results than erasure coding policy of two file systems and mostly even better results than replication policy of them.