• 제목/요약/키워드: File Storage

검색결과 453건 처리시간 0.032초

대형 멀티미디어 파일의 익명성 지원을 위한 수정 GNUnet (GNUnet improvenemt for anonymity supporing in large multimedia file)

  • 이명훈;박병연;조인준
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2006년도 춘계종합학술대회
    • /
    • pp.81-90
    • /
    • 2006
  • GNUnet은 파일의 익명성 지원을 위해 파일을 1KByte 블록코기로 분리하는 인코딩 방법, 인코딩된 블록을 비구조적 분산기법을 통해 피어들에게 분산시키는 방법, 분산된 블록을 검색하여 원본 데이터로 복구하는 방법을 제안하였다. 하지만 인코딩 및 블록 분산 방안은 약 $600\sim700MB$의 대용량 멀티미디어 파일을 처리할 경우 첫째, 추가적으로 R블럭과 I블럭을 과도하게 요구하게 되어 약 4%의 저장공간을 낭비하는 문제를 지니게 되었다. 둘째, 비구조적 브로드캐스팅 분산방에 의하여 네트워크 부하가 과도한 단점을 내포하였다. 셋째, 이용자의 데이터 검색방법에 있어 파일명을 키워드로 생성하는 방법을 제안했기 때문에 키워드 검색의 한계점이 들어났다. 본 논문에서는 이러한 문제점 해결을 위하여 인코딩 블록의 크기를 가변적으로 결정하는 방법과 구조적 위상을 통해 블록을 분산시키는 방안 그리고 데이터 컨텐츠를 이용한 키워드 생성방안을 제안하였다. 따라서 제안 인코딩 방법은 기존 4%에 해당되는 추가 블록생성을 1% 이내로 최소화하였고, 다면체의 구조적 위상에 인코딩된 블록을 전송하기 때문에 네트워크 부하를 감소시켰다. 그리고, 데이터의 컨텐츠를 키워드로 작성한 컨텐츠 기반 키워드 추출방법을 제안하였다.

  • PDF

PaaS 클라우드 컴퓨팅을 위한 컨테이너 친화적인 파일 시스템 이벤트 탐지 시스템 (Container-Friendly File System Event Detection System for PaaS Cloud Computing)

  • 전우진;박기웅
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제15권1호
    • /
    • pp.86-98
    • /
    • 2019
  • 최근 컨테이너 기반의 PaaS (Platform-as-a-Service)를 구축하는 트렌드가 확대되고 있다. 컨테이너 기반 플랫폼 기술은 클라우드 컴퓨팅을 구축하기 위한 하나의 주요 기술로써, 컨테이너는 가상 머신에 비해 구동 오버헤드가 적다는 장점이 있어 수백, 수천 대의 컨테이너가 한 대의 물리적 머신에서 구동될 수 있다. 하지만 이러한 클라우드 컴퓨팅 환경에서 구동되는 다수의 컨테이너에 대한 스토리지 로그를 기록하고 모니터링하는 것은 상당한 오버헤드가 발생한다. 따라서 본 논문에서는 클라우드 컴퓨팅 환경에서 구동되는 컨테이너의 파일 시스템 변경 이벤트를 탐지할 때 발생하는 두 가지 문제점을 도출하고, 이를 해결하여 PaaS 형태의 클라우드 컴퓨팅 환경에서 컨테이너 파일 시스템 이벤트 탐지를 위한 시스템을 제안하였다. 성능 평가에서는 본 논문에서 제안한 시스템의 성능에 대한 세가지 실험을 수행하였고, 본 논문에서 제안한 모니터링 시스템은 컨테이너의 CPU, 메모리 읽기 및 쓰기, 디스크 읽기 및 쓰기 속도에 아주 미세한 영향만을 발생시킨다는 것이 실험을 통해 도출되었다.

대용량 파일시스템을 위한 선택적 압축을 지원하는 인-메모리 캐시의 설계와 구현 (Design and Implementation of an In-Memory File System Cache with Selective Compression)

  • 최형원;서의성
    • 정보과학회 논문지
    • /
    • 제44권7호
    • /
    • pp.658-667
    • /
    • 2017
  • DRAM 기반의 인메모리 캐시는 고비용으로 인해 용량을 늘리는 데에는 한계가 있다. 이를 위해 압축을 이용하여 더 많은 데이터를 캐시하는 기법들이 연구되어 왔다. 그러나 압축은 높은 처리부하와 반응 지연을 야기한다. 본 논문에서는 섀넌 엔트로피를 통해 파일의 압축률을 낮은 오버헤드를 통해 고속으로 예측하여, 높은 압축률을 가진 파일만 압축하는 선택적 압축 기법을 제안하였다. 또한 이를 파일시스템 내에서 실제 사용이 가능하도록 커널 레벨에서 파일 시스템을 위한 인메모리 캐시를 제공하도록 구현하였다. 실험 결과 선택적 압축 기법은 비 압축에 비해 약 18%의 실행시간 감소를 보이며, 전체 캐시 데이터 압축 방법에 비해서도 캐시 히트율의 감소에 의한 성능하락을 최소화 시키고, 동시에 압축에 대한 오버헤드를 줄여, 7.5%의 실행시간을 감소시킬 수 있음을 보였다. 또한 압축에 사용되는 CPU사용시간을 모두 압축 했을 때와 비교하여 28%감소시킬 수 있음을 보여주었다.

컬럼-기반 데이터베이스를 위한 그림자 복구 (Shadow Recovery for Column-based Databases)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2784-2790
    • /
    • 2015
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 트랜잭션을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 연구에서는 플래시 미디어 파일 시스템을 기반으로 하는 컬럼-기반 데이터베이스 환경을 위한 새로운 트랜잭션 회복기법(CoSR)을 제안한다. 제안 기법은 기존의 쉐도우 페이징 기법을 개선하여 플래시 파일 시스템에서 새로운 블록에 데이터를 저장할 경우 무효화되어 폐기되는 이전 데이터 블록을 재활용하였다. 이를 위하여 제안된 컬럼-기반 쉐도우 복구 기법에 재활용 쉐도우 리스트 구조를 활용하였다. 제안 기법은 기존 쉐도우 페이징기법의 최대 단점인 쉐도우 페이지 관련 추가 저장공간의 부담을 최소화하고, 기존 복구 기법에서 컬럼 데이터 압축에 기인한 입출력 성능저하를 최소화 할 수 있다. 실험 분석결과를 통하여 CoSR기법이 기존 기법보다 17% 더 우수함을 확인하였다.

PACS내 영상저장 장치의 데이터 전송 (The Data Transmission of Image Storage System of PACS)

  • 조의현;박정규
    • 한국방사선학회논문지
    • /
    • 제12권6호
    • /
    • pp.785-791
    • /
    • 2018
  • 최근 PACS에서 장기간 저장장치로 디스크 배열이 많이 사용되고 있으나, 디스크에 대한 년 간 불량률에 관해서 신뢰성이 부족한 실정이다. 2016년 10월부터 2017년 2월까지 PACS 판독기에서 의료영상을 읽거나 저장하면서 하드디스크의 직렬포트단자를 조사하였으며, PACS 영상저장 장치에 사용되었던 하드디스크 98대와 개인용 컴퓨터에 사용되었던 하드디스크 101대에 저장된 데이터에서 전송률을 산출하였다. PACS 판독기에서 CT영상을 읽었을 경우에는 수십 MB이하 단위로 읽기는 87.8%, 쓰기는 12.2%가 수행되었다. PACS 판독기에서 CT 영상을 저장할 때는 수십 MB이하 단위로 읽기는 11.4%, 쓰기는 88.6%가 수행되었다. 개인용 컴퓨터에서 엑셀 파일을 읽을 경우에는 3 MB 이하단위로 읽기는 75%, 쓰기는 25%가 수행되었다. 개인용 컴퓨터에서 엑셀 파일 저장을 진행하면서 하드디스크와의 통신은 3 MB이하단위로 읽기는 38%, 쓰기는 62%가 수행되었다. PACS내 영상저장장치에 사용되는 하드디스크의 전송률은 10 GB/h, 개인용 컴퓨터의 하드디스크의 전송률은 5 GB/h로 나타났다. PACS내 영상저장에 사용되던 하드디스크의 년간 불량률은 0.97 ~ 1.13%를 보였고, 개인용 컴퓨터 내 하드디스크의 년간 불량률은 0.51~0.7%를 보였다. 전송량이 높을수록 년 간 불량률도 높아졌다. 이러한 결과는 하드디스크의 수명예측이나 연간 고장률을 예측하기 위한 기초 자료로 활용될 것이다.

SAN기반 클러스터 파일 시스템의 일관성 검증을 위한 검사 프로그램의 설계 및 구현 (Design and Implementation of Consistency Check Program for Storage Area Network Based Cluster File System)

  • 백주현;박성용;이장선;오상규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.70-72
    • /
    • 2002
  • 본 논문에서는 기존 파일 시스템의 일관성 검사 프로그램 및 클러스터 파일 시스템의 특징 분석을 통해 클러스터 파일 시스템의 일관성을 검사하는데 필요한 프로그램 설계 요소 및 구현 방법에 관해 논한다. 나아가 이러한 설계 방법에 따라 구현된 프로그램을 실제 상용화된 클러스터 파일 시스템에 적용함으로써 검사 프로그램의 기능을 검증한다 이를 위해 뮤테이션 테스트(Mutation Test) 기법을 도입하여 일관성 검사 프로그램의 신뢰성 검증 방법을 고찰하고 그에 따른 테스트 결과를 살펴본다.

  • PDF

SANfs: 리눅스 클러스터를 위한 확장성 있는 공유파일시스템 (SANfs: A Scalable Shared File System for Linux Clusters)

  • 황주영;안철우;박규호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.91-93
    • /
    • 2001
  • 본 논문에서는 Storage Area Network기반의 대규모용량의 저장장치에 적합한 확장성 있는 공유파일시스템을 제안하고, Linux상에서의 구현을 보인다. 락의 단위는 블록이 아닌 파일단위로 하므로써 락오버헤드를 줄이고, callback방식의 파일 락을 사용한다. 파일데이터일관성 및 디렉토리캐쉬 일관성유지를 위한 Linux상에서의 구현방법을 보인다. 메타서버의 free block관리부담을 줄이기 위해서 분산 free block관리법을 사용한다. 또한 Inode와 data를 분리 저장함으로써 성능을 최적화한다.

  • PDF

리눅스 클러스터 화일 시스템 $SANique^{TM}$의 오류 탐지 기법 (Failure Detection in the Linux Cluster File System $SANique^{TM}$)

  • 임화정;이규웅;이장선;오상규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.37-39
    • /
    • 2002
  • 본 논문은 SAN(storage area network)강에 네트워크-부착형 (network-attached) 저장 장치들을 직접 연결하여 화일 서버 없이 직접 데이터 전송이 가능한 SAN 기반의 리눅스 클러스터 공유 화일 시스템인 SANique$^{TM}$의 오류 탐지 기법 및 회복 기법에 대하여 기술한다. 클러스터 내의 노드 오류에 의해 발생하는 "split-brain"오류 상황 및 문제점을 공유 화일 시스템 환경 하에서 성의하고, 이 문제를 해결할 수 있는 오류 탐지기법을 제시한다.

  • PDF

고속 저장 장치를 위한 입출력 스택 최적화 (Optimizing I/O Stack for Fast Storage Devices)

  • 한혁
    • 한국콘텐츠학회논문지
    • /
    • 제16권5호
    • /
    • pp.251-258
    • /
    • 2016
  • 최근 클라우드 컴퓨팅, 사회 관계망 서비스 등의 분야에서 고속 저장 장치에 대한 수요가 크게 증가하고 있다. 성능이 우수한 고속 저장 장치가 개발되고 있지만 현재 리눅스 운영체제의 입출력 스택은 하드 디스크 드라이브를 고려해서 설계되었기 때문에 고속 저장 장치를 충분히 활용하고 있지 못하다. 이 논문에서는 고속 저장 장치의 입출력 대역폭과 입출력 지연시간을 최대로 활용할 수 있는 최적화된 입출력 스택을 제안한다. 이를 위해 기존 리눅스의 블록 입출력 계층을 새로운 인터페이스를 가지는 입출력 계층으로 대체하고 최적화한다. 제안된 입출력 계층은 기존의 하드 디스크 드라이브를 고려한 블록 계층을 우회하고 디바이스 드라이버를 최적화하여 고속 저장 장치의 성능을 최대한 이용할 수 있게 해준다. 또한, 리눅스의 ext2/ext4 파일 시스템을 제안된 입출력 계층 위에서 동작할 수 있도록 최적화하였고, 벤치마크 실험 결과를 통해서 제안하는 입출력 스택은 기존 리눅스 입출력 스택과 비교하여 1.7배 정도의 성능 향상이 있음을 확인할 수 있었다.