• 제목/요약/키워드: 파일 스토리지

검색결과 131건 처리시간 0.073초

중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법 (Chunk Placement Scheme on Distributed File System Using Deduplication File System)

  • 김건우;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

클라우드 파일/블록/객체 스토리지의 통합사용을 위한 소프트웨어 정의 스토리지 자동 설정 모듈의 설계 및 구현 (Design and Implementation of Software-Defined Storage Autoconfiguration Module for Integrated Use of Cloud File/Block/Object Storage)

  • 박선;차병래;김종원
    • 스마트미디어저널
    • /
    • 제7권4호
    • /
    • pp.9-16
    • /
    • 2018
  • 클라우드 컴퓨팅(Cloud Computing)의 경제성과 유연성을 향상시키기 위해 복잡해지는 자원의 운영 및 관리를 자동화하는 추세에 있다. 그러나 클라우드 스토리지에 대한 자동화는 제조업체의 스토리지 하드웨어에 종속되나, 사용자가 필요로 하는 용도에 맞추어 스토리지 유형을 유연하게 지원할 수 없다. 본 논문에서는 클라우드 스토리지의 자동화 추세에 맞추어 사용자의 환경에 연계한 블록/파일/객체 스토리지를 통합으로 지원하는 자동 설정 모듈을 제안한다. 제안방법은 클라우드 스토리지인 ceph을 자동으로 설치하기 위하여 Chef 구성관리도구 기반의 자동설치 및 설정 모듈을 제안하였으며, 사용자들이 ceph 스토리지를 쉽게 사용할 수 있도록 쉘 프로그램 기반의 블록/파일/객체 스토리지 자동설정 모듈을 제안하였다. 제안방법은 하드웨어 종속 없이 가상이나 물리적인 사용자 환경에서도 자동적으로 공유파일 스토리지, 블록 스토리지, 객체 스토리지에 대한 설정 및 관리를 쉽게 할 수 있다.

클라우드 기반 파일 시스템의 오브젝트 크기별 성능 분석 (Performance Analysis of Cloud-Backed File Systems with Various Object Sizes)

  • 김지원;이경준;류성태;한환수
    • 정보과학회 논문지
    • /
    • 제43권7호
    • /
    • pp.744-750
    • /
    • 2016
  • 오늘날, 클라우드 인프라 서비스는 일정한 성능을 보장해주면서도 사용한 만큼 비용을 지불하는 과금체계를 통해 많은 인터넷 서비스들의 운영비용을 개선시켜 주고 있다. 특히 오브젝트 스토리지는 필요한 만큼 파일을 저장할 수 있고, 언제 어디서나 접근할 수 있다는 점에서 각광받고 있다. 이에 따라, 최근에는 오브젝트 스토리지를 HTTP 기반의 RESTful API 방식이 아닌 POSIX 기반 파일 액세스가 가능한 클라우드 기반 파일 시스템 연구들이 등장하고 있다. 하지만 이러한 파일 시스템들은 오브젝트 스토리지에 저장되는 모든 파일을 동일한 크기의 단위 오브젝트로 분할하기 때문에 데이터 접근 시 비효율적인 입출력이 발생할 여지가 있다. 따라서 본 연구에서는 파일 및 워크로드의 특성을 구별하여 오브젝트 스토리지에 저장되는 단위 오브젝트의 적합한 크기를 추정하고, 각 파일의 접근 성능을 향상시킬 수 있다는 점을 검증한다. 제안하는 기법은 S3QL에 비해 평균 18.6% 빨라진 것으로 나타났다.

망 분리 환경에서 스토리지 기반의 데이터 공유 시스템 설계 및 구현 (Design and Implementation of Storage-based Data Sharing System in the Separate Network Environment)

  • 조인휘;이석순
    • 한국통신학회논문지
    • /
    • 제36권5B호
    • /
    • pp.477-483
    • /
    • 2011
  • 본 논문에서는 망이 분리된 환경에서 스토리지 기반의 데이터 공유 시스템을 구축하는 경우 데이터 전송의 효율을 개선하기 위하여 어떻게 시스템을 설계하고 구현해야 하는지에 대해서 제안하고자 한다. 기존 시스템은 사용자 PC 에서 수신된 단위 패킷별로 파일을 생성하고 스토리지를 통하여 생성된 파일의 수만큼 상대편 망으로 전송을 한다. 스토리지를 통해서 다수의 파일을 전송하는 경우 파일에 할당된 블록 외에 추가적으로 불필요한 블록도 함께 읽어야 함으로써 전송 시 비효율이 발생했다. 제안 시스템은 이러한 비효율을 제거하기 위해서 통일한 시점에 수신되는 패킷에 대해서 스냅 샷 개념을 도입하여 하나의 파일에 저장하고 생성되는 파일의 수를 최대한 줄이고 블록 사이즈에 최적화 되도록 하여 파일을 생성했다. 이렇게 생성된 파일은 불필요한 블록을 읽어 들이는 것을 최소화하여 전송함으로써 기존의 방식보다 사용자 응답속도가 개선되었다.

웹 로컬스토리지 데이터 보안을 위한 연구 (A Study on Data Security of Web Local Storage)

  • 김지수;문종섭
    • 인터넷정보학회논문지
    • /
    • 제17권3호
    • /
    • pp.55-66
    • /
    • 2016
  • HTML5의 로컬스토리지는 HTML5에서 지원하는 웹 스토리지로, 디바이스에 파일 형태로 저장되어 온 오프라인 모두에서 호환 가능하고 영구 보관이 가능하다는 특징을 가진다. 그러나 로컬스토리지는 데이터를 평문상태로 저장하기 때문에, 파일에 대한 접근 및 수정이 가능하다. 또한 각 도메인에 대한 로컬스토리지를 파일명을 통해 분류하기 때문에, 파일명이 변조되거나 다른 디바이스로 유출되면 로컬스토리지 파일의 재사용이 가능하다는 문제점이 존재한다. 본 논문에서는 로컬스토리지 파일이 생성된 도메인 및 디바이스에 대한 무결성, 기밀성 보장을 위한 방법을 제안한다. 로컬스토리지에 저장되는 데이터를 암 복호화하여 보관하는 방법으로, 암호키는 서버에 보관되며 암호키를 요청하는 단계에서 로컬스토리지를 생성한 디바이스 및 도메인에 대한 인증이 이루어진다. 이를 통해 로컬스토리지의 도메인 및 디바이스간의 기밀성과 무결성을 보장한다. 최종적으로, 제안 방법에 따른 실험을 진행하여 본 논문에서 설명하는 로컬스토리지에 대한 비정상적인 접근에 대해 탐지하는 것을 보였다.

클라우드 스토리지를 최종 저장 장치로 사용하는 인메모리 파일 시스템 (In-Memory File System Backed by Cloud Storage Services as Permanent Storages)

  • 이경준;김지원;류성태;한환수
    • 정보과학회 논문지
    • /
    • 제43권8호
    • /
    • pp.841-847
    • /
    • 2016
  • 네트워크 기술의 발달에 따라 고속으로 인터넷에 연결 가능한 장치의 수가 증가하면서 언제 어디서나 쉽게 접근이 가능한 클라우드 스토리지의 사용량이 증가하고 있다. 대표적인 클라우드 스토리지의 형태 중 하나인 오브젝트 스토리지는 비용이 저렴하고 높은 가용성과 지속성을 보장해주지만, HTTP 기반 인터페이스인 RESTful API로만 데이터에 접근가능하다는 제약이 있다. 본 논문에서는 이러한 점을 해소하고자, 기존 POSIX 인터페이스를 지원하며 클라우드 오브젝트 스토리지와 데이터를 주고받을 수 있는 인메모리 파일 시스템을 제안한다. 특히 본 연구의 클라우드 스토리지로 파일을 보내는 플러시 기법은 리눅스 시스템의 스왑 모듈을 활용하여 개발함으로써 기존 애플리케이션들과 높은 호환성을 가지며, 기존 클라우드 스토리지를 사용하는 시스템이 가지는 오버헤드를 최소화하였다. 제안하는 파일 시스템은 S3QL 보다는 약 57% 빠른 쓰기 성능을 보이며, tmpfs와 매우 근접한 읽기 성능을 보인다.

대용량 스토리지 시스템을 위한 pNFS 프로토콜의 성능 평가 (Experimental Evaluation of pNFS Protocol for Mass Storage System)

  • 김태진;김한규;노삼혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.221-223
    • /
    • 2012
  • 많은 대학과 스토리지 업체에서 고성능 병렬 파일시스템 관련 연구를 활발히 진행하고 있다. 그러나 대학이나 업체에서 연구된 병렬 파일시스템 기술은 상호 호환성에 제약이 있다. 네트워크 파일시스템 관련해서 유일한 표준 기술인 NFS은 최근 pNFS 기능을 포함한 NFSv4.1로 확장되었다. pNFS은 NFS 서버를 거치지 않고 데이터를 병렬적으로 접근함으로써 고성능 입출력을 보장해 주고 있으며 기존 스토리지 기술과의 호환성을 제공하고 있다. 본 연구에서는 pNFS의 성능 평가를 위해서 pNFS을 사용하는 대용량 스토리지 시스템을 구현하고 NFSv4와 NFSv4.1간 성능을 비교한다. 성능 비교는 파일 사이즈와 동시 수행 프로세스 수 별로 수행되며 읽기 및 쓰기 연산에 대한 pNFS의 성능 향상을 확인한다.

스토리지 클래스 메모리 기반 파일시스템의 일관성 유지 기법 비교 및 분석 (Analysis and Comparison of Consistency Control Mechanism for Storage Class Memory based File System)

  • 이현구;김정훈;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.50-51
    • /
    • 2014
  • 최근 기존 스토리지의 물리적 한계를 극복하기 위해 차세대 스토리지로 불리는 스토리지 클래스 메모리(SCM)의 연구 및 개발이 활발히 진행되고 있다. 이러한 SCM의 장점을 활용하기 위한 SCM 전용파일 시스템 또한 많은 연구가 되고 있다. 하지만, 현재까지 연구되어온 SCM 전용 파일 시스템은 빠른 속도에만 중점을 두어 부분적인 일관성 지원 또는 특정한 환경에서의 시스템 성능 저하 등의 문제요인이 있다. 본 논문에서는 SCM과 SCM 전용 파일 시스템을 알아보고 일관성 유지 기법의 비교 및 분석을 통하여 현재까지 연구된 일관성 유지 기법의 문제점을 파악하고 SCM에 최적화된 새로운 일관성 유지 기법의 방향을 모색한다.

가상파일시스템에서 디렉토리 및 파일 변경 추적에 기반한 온라인 스냅샷 방법 (Online Snapshot Method based on Directory and File Change Tracking for Virtual File System)

  • 김진수;송석일;신재룡
    • 한국콘텐츠학회논문지
    • /
    • 제19권5호
    • /
    • pp.417-425
    • /
    • 2019
  • 스토리지 스냅샷(snapshot) 기술은 특정 시점의 데이터를 보전하고, 필요할 때 원하는 시점의 데이터를 복구하여 접근하기 위한 기술로 스토리지 보호 응용 개발에 필수적인 기술이다. 이 논문에서는 기존의 스냅샷 기술이 스토리지 하드웨어 벤더에 종속되거나 파일시스템이나 가상 블록장치에 종속되는 문제를 해결하고 온라인으로 스냅샷을 생성하기 위한 새로운 스냅샷 방법을 제안한다. 이 논문에서는 제안하는 스냅샷 기술은 가상파일시스템의 변경연산에 대한 로그를 추출하는 방식을 이용하여 파일시스템, 가상 블록장치, 하드웨어에 독립적으로 동작하는 스냅샷 기술을 설계하고 개발한다. 또한, 개발하는 스냅샷 기술은 디렉토리 및 파일 단위의 스냅샷을 스토리지 서비스 중단 없이 생성하고 관리 한다. 마지막으로 실험을 통해서 제안하는 스냅샷 기술의 스냅샷 생성시간 및 스냅샷으로 인한 성능 저하를 측정한다.

에너지 효율적인 파일 분산배치 정책 (Energy-efficient File Distribution Policy)

  • 박찬영;이재면;강경태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제56차 하계학술대회논문집 25권2호
    • /
    • pp.5-6
    • /
    • 2017
  • 본 논문은 데이터를 보다 적은 소비전력으로 보관하기 위한 에너지 효율적인 파일 분산배치 정책을 제안한다. 이 정책은 개별 하드디스크 용량을 빠르게 가득 채우도록 분산 스토리지의 쓰기 동작을 처리하고, 가득 찬 하드디스크의 모터를 정지시켜 에너지 효율을 향상시킨다. Ceph 분산 스토리지를 수정하여 제안하는 파일 분산배치 정책을 적용하였으며 시뮬레이션을 통하여 제안하는 파일 분산배치 정책이 에너지 효율적임을 확인하였다.

  • PDF