• Title/Summary/Keyword: 파일 분산배치

Search Result 25, Processing Time 0.022 seconds

Analyses of Replica Placement Schemes in Distributed File Systems (대용량 분산 파일 시스템의 복제 배치 기법 분석)

  • Choi, Dae-Soon;Kim, Jee-Hong;Eom, Young-Ik
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.373-375
    • /
    • 2012
  • 정보의 양이 늘어나고 그 크기가 커짐에 따라 많은 분야에서 대규모 분산 파일 시스템을 제안하고 사용하고 있다. 현재 제안된 분산 파일 시스템은 대부분 확장가능하며 장애에 견딜 수 있고 신뢰성이 있는 시스템을 기본으로 하여 구성되었다. 따라서 분산 파일 시스템은 장애에 효과적으로 견질 수 있고 높은 신뢰성을 보장하기 위해서 데이터의 복제를 만들어 서로 다른 스토리지에 배치한다. 본 논문에서는 대규모 분산 파일 시스템의 복제 배치 기법에 관하여 비교 분석 하였다. 먼저 분산 파일 시스템의 동작 구조를 확인하고 분산 파일 시스템에서 보편적으로 중요시 되는 특성을 파악하였다. 그리고 복제 배치 기법이 효과적인 분산 파일 시스템 구성 시 고려해야 할 것들을 부하 분산, 디스크 분산, 장애 분산으로 나누었다. 이 세 가지 요소를 기준으로 하여 분산 파일 시스템인 GFS, HDFS, Ceph, MooseFS의 복제 배치 기법을 분석하고 각각의 특성 파악하였다.

Energy-efficient File Distribution Policy (에너지 효율적인 파일 분산배치 정책)

  • Park, Chanyoung;Lee, Jaemyoun;Kang, Kyungtae
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2017.07a
    • /
    • pp.5-6
    • /
    • 2017
  • 본 논문은 데이터를 보다 적은 소비전력으로 보관하기 위한 에너지 효율적인 파일 분산배치 정책을 제안한다. 이 정책은 개별 하드디스크 용량을 빠르게 가득 채우도록 분산 스토리지의 쓰기 동작을 처리하고, 가득 찬 하드디스크의 모터를 정지시켜 에너지 효율을 향상시킨다. Ceph 분산 스토리지를 수정하여 제안하는 파일 분산배치 정책을 적용하였으며 시뮬레이션을 통하여 제안하는 파일 분산배치 정책이 에너지 효율적임을 확인하였다.

  • PDF

Chunk Placement Scheme on Distributed File System Using Deduplication File System (중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

참조파일 유지를 통한 분산 데이터베이스 통신량 감축에 대한 연구

  • 황영헌;이우기;강석호
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 1997.10a
    • /
    • pp.216-219
    • /
    • 1997
  • 분산 데이터베이스에서의 통신량을 줄이기 위한 기법과 관련한 많은 연구가 수행되고 있으며, 이러한 연구는 주로 데이터베이스 설계 초기에 고려되는 파일의 배치에 대한 문제를 다루고 있다. 이러한 파일 배치 문제에서는 분산 데이터베이스 상황을 가정하고, 공식화(formulation)한 후 이에 대한 해법을 제시하는 방식을 취하는 것이 일반적이다. 본 연구에서는 하나의 파일이 다른 지점에 있는 파일을 참조하는 경우 두 파일에 대한 접근량을 줄이기 위한 방법을 제안함으로써 분산 데이터베이스의 물리적 설계의 최적화를 도모하였다. 본 연구에서는 기존의 방법과는 달리 참조정보를 요하는 참조 파일(referential file)을 추가함으로써 두 지점간의 통신량을 줄이고자 하는 방안을 제시하였으며, 이 때 참조 파일의 종류는 참조하는 레코드의 수를 유지하는 방법과 참조 여부에 관한 정보만 유지하는 두 가지 방법을 모두 고려하였다. 본 연구에서는 기존의 방식과 본 연구에서 제안한 두 가지 방법간의 통신비용을 계산함으로써 본 연구의 타당성을 검증하였다. 이때 참조 무결성을 유지하는 대표적인 세 가지 제약조건, 즉 Cascade delete, Restricted, Nullify를 대상으로 분석함으로써 이와 관련된 대다수의 프로토콜에서 본 연구에서 제안한 방법의 효용성을 입증코자 했다. 이를 위해 필요한 공식들을 유도해 내는 작업도 논문에서 중요하게 다루었다. 이 연구는 분산 데이터베이스 설계시 통신량을 줄이는 중요한 고려 요소로 활용될수 있을 것이다.

  • PDF

Storage Space Page Grouping in a Distributed Local File System on Desktop Systems to Optimize File Availability (데스크탑 시스템을 이용한 분산 지역 파일 시스템에서의 파일 가용도 최적화를 위한 저장 공간 페이지 배치 기법)

  • 김준우;신현식;장래혁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.856-858
    • /
    • 2001
  • 분산 파일 시스템에서 파일을 복제하는 목적의 하나는 파일의 가용성을 높이는 것이다 서버들로 이루어진 시스템에서 가용도 문제는 주로 오류 상황이 대상이다 반면에 데스크탑으로 구성된 경우 각각이 상대적으로 가용도가 낮고 그 편차도 커서 파일의 가용도를 최적화 하도록 복제본을 저장하는 것이 기본적인 문제가 된다. 파일 단위 복제 기법에서는 파일 수가 참여 시스템 수에 따라 기하급수적으로 증가하고 파일 배치 때마다 가용도 최적화를 수행해야 하는 문제가 있다. 본 논문에서는 저장 공간 단위 복제 기법을 제안한다. 데스크탑 시스템의 저 장롱간을 고정 크기의 페이지들로 나누고 이들을 조합해서 일정한 가용도를 가지는 페이지 그룹을 형성한다. 파일들은 이 페이지 그룹에 저장된다. 페이지의 개수가 파일 수가 아닌 시스템 수에 의존하고, 파일 배치 시점과 무관하게 페이지 그룹을 만들 수 있는 장점이 있다. 최종 가용도를 높이고 연산 시간을 줄이기 위해 ILS(Iterated Local Search )방법을 이용만 탐색을 수행한다.

  • PDF

Dynamic Replication Management Scheme based on AVL Tree for Hadoop Distributed File System (하둡 분산 파일 시스템 기반의 AVL트리를 이용한 동적 복제 관리 기법)

  • Ryu, Yeon-Joong;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.337-340
    • /
    • 2014
  • 클라우드 시스템이 큰 이슈로 떠오르면서 그 기반이 되는 분산 파일 시스템에 관한 연구가 계속되고 있다. 최근 제안된 분산파일 시스템은 대부분 확장 가능하며 신뢰성이 있는 시스템으로 구성되어 있으며 내고장성(Fault tolerance)과 높은 가용성을 위해 데이터 복제 기법을 사용하며 하둡 분산 파일 시스템에서는 블락의 복제수를 기본3개로 지정한다. 그러나 이 정책은 복제수가 많아지면 많아질수록 가용성은 높아지지만 스토리지 또한 증가한다는 단점이 있다. 본 논문에선 이러한 문제점을 해결하기 위해 최소한의 블락 복제수와 복제된 블락을 효율적으로 배치하여 더 좋은 성능과 부하분산(Load Balancing)하기 위한 기법을 제안한다.

  • PDF

Parallel File System for Multimedia Data (Multimedia Data를 위한 병렬 파일 시스템)

  • 박시용;석창규;박성호;김영주;정기동
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.600-602
    • /
    • 2000
  • 본 논문에서는 여러 개의 디스크를 클러스트화한 메시지 전송 기반의 병렬 멀티미디어 파일 시스템(PMFS: Parallel Multimedia File System)을 제안하고 설계, 구현하였다. 본 논문에서 구현한 PMFS는 이식성, 유연성 그리고 확장성을 고려한 멀티미디어 데이터를 지원하는 병렬 파일 시스템으로 2계층 분산 클러스트 구조에 적합하다. 그리고 제어 메시지와 TCP를 기반으로 서버들간에 통신을 하고 다양한 방법의 데이터 배치 기법을 제공한다. PMFS의 성능 평가 결과 데이터들이 임의 시작 블록과 DIS배치 기법으로 저장된 경우 가장 좋은 성능을 보였다.

  • PDF

File Block Management for Energy-Efficient Distributed Storages (파일 분산 저장 시스템의 에너지 효율성 증대를 위한 파일 블록 관리 기술)

  • Suh, Min-Kook;Kim, Seong-Woo;Seo, Seung-Woo
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.53 no.1
    • /
    • pp.97-104
    • /
    • 2016
  • Because of rapid growth of data size, the number of data storage has been increased. When using multiple data storages, a distribute file system is essential to insure the availability of data files. The power consumption is a major problem when using a distributed file system with many data storages. Previous works have aimed at reducing the energy consumption with efficient file block layout by changing some data servers into stand-by mode. The file block migration has not been seriously considered because migration causes large cost. But when we consider addition of a new data server or file, file block migration is needed. This paper formulates the minimization of data block migration as an ILP optimization problem and solves it using branch-and-bound method. Using this technique, we can maximize the number of stand-by data servers with the minimum number of file block movement. However, computation time of branch-and-bound method of an ILP optimization problem increases exponentially as the problem size grows. Therefore this paper also proposes a data block and data server grouping method to solve many small ILP problems.

Energy and Performance-Efficient Dynamic Load Distribution for Mobile Heterogeneous Storage Devices (에너지 및 성능 효율적인 이종 모바일 저장 장치용 동적 부하 분산)

  • Kim, Young-Jin;Kim, Ji-Hong
    • Journal of the Korea Society of Computer and Information
    • /
    • v.14 no.4
    • /
    • pp.9-17
    • /
    • 2009
  • In this paper, we propose a dynamic load distribution technique at the operating system level in mobile storage systems with a heterogeneous storage pair of a small form-factor and disk and a flash memory, which aims at saving energy consumption as well as enhancing I/O performance. Our proposed technique takes a combinatory approach of file placement and buffer cache management techniques to find how the load can be distributed in an energy and performance-aware way for a heterogeneous mobile storage air of a hard disk and a flash memory. We demonstrate that the proposed technique provides better experimental results with heterogeneous mobile storage devices compared with the existing techniques through extensive simulations.

Optical Phase Conjugation Combined with Dispersion Maps Configured with Sine-wave Profile (사인파형 프로파일 구조의 분산 맵과 결합한 광 위상 공액)

  • Seong-Real Lee
    • Journal of Advanced Navigation Technology
    • /
    • v.26 no.6
    • /
    • pp.474-480
    • /
    • 2022
  • Optical phase conjugation is one of techniques capable of compensating for distortion due to chromatic dispersion and nonlinearity, which are essential for long-distance transmission of wavelength division multiplexed (WDM) signal. We proposed and analyzed a way to solve the limitations of this technology through dispersion map with periodic dispersion profile. In the proposed system, optical phase conjugator (OPC) is placed at the position of 1:2 or 2:1 of the entire link, and the dispersion profile of dispersion map has periodic shape in the form of a sine wave or an inverse-sine wave. It was confirmed that the effective compensation of the distorted 960 Gb/s WDM signal was further improved through the proposed periodic dispersion map when the OPC was located at the 1:2 point instead of the 2:1 point of the entire link. In addition, it was found that the maximum RDPS allocated to fiber span should be 1,800 ps/nm or more in order to increase the design flexibility of dispersion-managed link with the proposed periodic dispersion map.