• 제목/요약/키워드: 파일 분산배치

검색결과 25건 처리시간 0.022초

대용량 분산 파일 시스템의 복제 배치 기법 분석 (Analyses of Replica Placement Schemes in Distributed File Systems)

  • 최대순;김지홍;엄영익
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.373-375
    • /
    • 2012
  • 정보의 양이 늘어나고 그 크기가 커짐에 따라 많은 분야에서 대규모 분산 파일 시스템을 제안하고 사용하고 있다. 현재 제안된 분산 파일 시스템은 대부분 확장가능하며 장애에 견딜 수 있고 신뢰성이 있는 시스템을 기본으로 하여 구성되었다. 따라서 분산 파일 시스템은 장애에 효과적으로 견질 수 있고 높은 신뢰성을 보장하기 위해서 데이터의 복제를 만들어 서로 다른 스토리지에 배치한다. 본 논문에서는 대규모 분산 파일 시스템의 복제 배치 기법에 관하여 비교 분석 하였다. 먼저 분산 파일 시스템의 동작 구조를 확인하고 분산 파일 시스템에서 보편적으로 중요시 되는 특성을 파악하였다. 그리고 복제 배치 기법이 효과적인 분산 파일 시스템 구성 시 고려해야 할 것들을 부하 분산, 디스크 분산, 장애 분산으로 나누었다. 이 세 가지 요소를 기준으로 하여 분산 파일 시스템인 GFS, HDFS, Ceph, MooseFS의 복제 배치 기법을 분석하고 각각의 특성 파악하였다.

에너지 효율적인 파일 분산배치 정책 (Energy-efficient File Distribution Policy)

  • 박찬영;이재면;강경태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제56차 하계학술대회논문집 25권2호
    • /
    • pp.5-6
    • /
    • 2017
  • 본 논문은 데이터를 보다 적은 소비전력으로 보관하기 위한 에너지 효율적인 파일 분산배치 정책을 제안한다. 이 정책은 개별 하드디스크 용량을 빠르게 가득 채우도록 분산 스토리지의 쓰기 동작을 처리하고, 가득 찬 하드디스크의 모터를 정지시켜 에너지 효율을 향상시킨다. Ceph 분산 스토리지를 수정하여 제안하는 파일 분산배치 정책을 적용하였으며 시뮬레이션을 통하여 제안하는 파일 분산배치 정책이 에너지 효율적임을 확인하였다.

  • PDF

중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법 (Chunk Placement Scheme on Distributed File System Using Deduplication File System)

  • 김건우;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

참조파일 유지를 통한 분산 데이터베이스 통신량 감축에 대한 연구

  • 황영헌;이우기;강석호
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1997년도 추계학술대회발표논문집; 홍익대학교, 서울; 1 Nov. 1997
    • /
    • pp.216-219
    • /
    • 1997
  • 분산 데이터베이스에서의 통신량을 줄이기 위한 기법과 관련한 많은 연구가 수행되고 있으며, 이러한 연구는 주로 데이터베이스 설계 초기에 고려되는 파일의 배치에 대한 문제를 다루고 있다. 이러한 파일 배치 문제에서는 분산 데이터베이스 상황을 가정하고, 공식화(formulation)한 후 이에 대한 해법을 제시하는 방식을 취하는 것이 일반적이다. 본 연구에서는 하나의 파일이 다른 지점에 있는 파일을 참조하는 경우 두 파일에 대한 접근량을 줄이기 위한 방법을 제안함으로써 분산 데이터베이스의 물리적 설계의 최적화를 도모하였다. 본 연구에서는 기존의 방법과는 달리 참조정보를 요하는 참조 파일(referential file)을 추가함으로써 두 지점간의 통신량을 줄이고자 하는 방안을 제시하였으며, 이 때 참조 파일의 종류는 참조하는 레코드의 수를 유지하는 방법과 참조 여부에 관한 정보만 유지하는 두 가지 방법을 모두 고려하였다. 본 연구에서는 기존의 방식과 본 연구에서 제안한 두 가지 방법간의 통신비용을 계산함으로써 본 연구의 타당성을 검증하였다. 이때 참조 무결성을 유지하는 대표적인 세 가지 제약조건, 즉 Cascade delete, Restricted, Nullify를 대상으로 분석함으로써 이와 관련된 대다수의 프로토콜에서 본 연구에서 제안한 방법의 효용성을 입증코자 했다. 이를 위해 필요한 공식들을 유도해 내는 작업도 논문에서 중요하게 다루었다. 이 연구는 분산 데이터베이스 설계시 통신량을 줄이는 중요한 고려 요소로 활용될수 있을 것이다.

  • PDF

데스크탑 시스템을 이용한 분산 지역 파일 시스템에서의 파일 가용도 최적화를 위한 저장 공간 페이지 배치 기법 (Storage Space Page Grouping in a Distributed Local File System on Desktop Systems to Optimize File Availability)

  • 김준우;신현식;장래혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.856-858
    • /
    • 2001
  • 분산 파일 시스템에서 파일을 복제하는 목적의 하나는 파일의 가용성을 높이는 것이다 서버들로 이루어진 시스템에서 가용도 문제는 주로 오류 상황이 대상이다 반면에 데스크탑으로 구성된 경우 각각이 상대적으로 가용도가 낮고 그 편차도 커서 파일의 가용도를 최적화 하도록 복제본을 저장하는 것이 기본적인 문제가 된다. 파일 단위 복제 기법에서는 파일 수가 참여 시스템 수에 따라 기하급수적으로 증가하고 파일 배치 때마다 가용도 최적화를 수행해야 하는 문제가 있다. 본 논문에서는 저장 공간 단위 복제 기법을 제안한다. 데스크탑 시스템의 저 장롱간을 고정 크기의 페이지들로 나누고 이들을 조합해서 일정한 가용도를 가지는 페이지 그룹을 형성한다. 파일들은 이 페이지 그룹에 저장된다. 페이지의 개수가 파일 수가 아닌 시스템 수에 의존하고, 파일 배치 시점과 무관하게 페이지 그룹을 만들 수 있는 장점이 있다. 최종 가용도를 높이고 연산 시간을 줄이기 위해 ILS(Iterated Local Search )방법을 이용만 탐색을 수행한다.

  • PDF

하둡 분산 파일 시스템 기반의 AVL트리를 이용한 동적 복제 관리 기법 (Dynamic Replication Management Scheme based on AVL Tree for Hadoop Distributed File System)

  • 류연중;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.337-340
    • /
    • 2014
  • 클라우드 시스템이 큰 이슈로 떠오르면서 그 기반이 되는 분산 파일 시스템에 관한 연구가 계속되고 있다. 최근 제안된 분산파일 시스템은 대부분 확장 가능하며 신뢰성이 있는 시스템으로 구성되어 있으며 내고장성(Fault tolerance)과 높은 가용성을 위해 데이터 복제 기법을 사용하며 하둡 분산 파일 시스템에서는 블락의 복제수를 기본3개로 지정한다. 그러나 이 정책은 복제수가 많아지면 많아질수록 가용성은 높아지지만 스토리지 또한 증가한다는 단점이 있다. 본 논문에선 이러한 문제점을 해결하기 위해 최소한의 블락 복제수와 복제된 블락을 효율적으로 배치하여 더 좋은 성능과 부하분산(Load Balancing)하기 위한 기법을 제안한다.

  • PDF

Multimedia Data를 위한 병렬 파일 시스템 (Parallel File System for Multimedia Data)

  • 박시용;석창규;박성호;김영주;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.600-602
    • /
    • 2000
  • 본 논문에서는 여러 개의 디스크를 클러스트화한 메시지 전송 기반의 병렬 멀티미디어 파일 시스템(PMFS: Parallel Multimedia File System)을 제안하고 설계, 구현하였다. 본 논문에서 구현한 PMFS는 이식성, 유연성 그리고 확장성을 고려한 멀티미디어 데이터를 지원하는 병렬 파일 시스템으로 2계층 분산 클러스트 구조에 적합하다. 그리고 제어 메시지와 TCP를 기반으로 서버들간에 통신을 하고 다양한 방법의 데이터 배치 기법을 제공한다. PMFS의 성능 평가 결과 데이터들이 임의 시작 블록과 DIS배치 기법으로 저장된 경우 가장 좋은 성능을 보였다.

  • PDF

파일 분산 저장 시스템의 에너지 효율성 증대를 위한 파일 블록 관리 기술 (File Block Management for Energy-Efficient Distributed Storages)

  • 서민국;김성우;서승우
    • 전자공학회논문지
    • /
    • 제53권1호
    • /
    • pp.97-104
    • /
    • 2016
  • 저장해야 하는 데이터양이 상당히 증가하여 필요 저장 장치의 수가 증가하게 되었다. 다수의 저장 장치 이용 시 일부 저장 장치가 사용 불가능하여도 파일의 가용성을 보장하는 파일 분산 저장 기술이 필수적이다. 최근 다수의 저장 장치로 구성된 파일 분산 저장 시스템의 에너지 소모가 문제가 되고 있다. 파일 분산 저장 시스템의 에너지 효율성을 향상시키기 위한 대표적인 기존 기술은 효율적인 파일 블록 배치를 통하여 사용량이 적은 시간에 일부 저장 장치를 절전 상태로 변경하는 것이다. 한 번 배치가 된 파일 블록의 재배치는 기존 연구에서 고려되지 않는데, 대량의 파일을 저장하고 있는 파일 분산 저장 시스템에서 파일 블록의 재배치에는 큰 비용이 필요할 수 있기 때문이다. 하지만 새 저장 장치나 파일이 추가되는 경우를 고려할 때 파일 블록의 재배치는 필수적이다. 본 논문은 파일 블록의 재배치 시 필요한 블록 이동수를 최소화하는 정수 최적화 문제를 제시하고 이를 분기한정법 알고리즘으로 해결하는 방법을 제안한다. 이를 통해 최소한의 파일 블록 이동으로 최대한의 많은 수의 저장 장치를 절전 상태로 변경할 수 있다. 하지만 정수 최적화 문제의 분기한정법 알고리즘을 통한 해결은 연산 속도가 문제 크기에 따라 지수 함수적으로 증가하는 문제가 있다. 따라서 본 논문에서는 모든 파일과 데이터 서버를 여러 집단으로 나누어 크기가 작은 문제 다수를 해결하는 방식을 제안한다.

에너지 및 성능 효율적인 이종 모바일 저장 장치용 동적 부하 분산 (Energy and Performance-Efficient Dynamic Load Distribution for Mobile Heterogeneous Storage Devices)

  • 김영진;김지홍
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권4호
    • /
    • pp.9-17
    • /
    • 2009
  • 본 논문에서는 운영체제 수준에서 에너지 절감과 함께 I/O 성능 개선을 목적으로 하여 소형 하드 디스크와 플래시 메모리를 이종의 저장 장치로 가지는 모바일 시스템에 대해 동적 부하 분산 기법을 제안한다. 제안 기법은 부하가 에너지 및 성능 효율적인 방법으로 하드디스크와 플래시 메모리의 이종성의 저장 장치 구성에 대해서 어떻게 효율적으로 분산될 수 있을 것인지를 발견하기 위하여 파일 배치 기법과 버퍼 캐시 관리 기법을 결합하는 접근법을 취한다. 제안한 기법은 폭넓은 시뮬레이션을 통해서 기존의 기법들과 비교하여 이종의 모바일 저장장치들에 대해서 더 개선된 실험 결과를 보이는 것으로 나타났다.

사인파형 프로파일 구조의 분산 맵과 결합한 광 위상 공액 (Optical Phase Conjugation Combined with Dispersion Maps Configured with Sine-wave Profile)

  • 이성렬
    • 한국항행학회논문지
    • /
    • 제26권6호
    • /
    • pp.474-480
    • /
    • 2022
  • 광 위상 공액은 파장 분할 다중 (WDM; wavelength division multiplexed) 신호의 장거리 전송을 위해 필수적인 색 분산과 비선형성에 의한 왜곡을 보상할 수 있는 기술 중 하나이다. 이 기술이 그동안 가지고 있었던 한계를 주기적 분산 프로파일을 갖는 분산 맵을 통해 해소하는 방안을 제안하고 분석해 보았다. 제안하는 시스템에서 광 위상 공액기 (OPC; optical phase conjugator)는 전체 링크의 1:2 또는 2:1의 위치에 배치되고, 분산 맵의 프로파일은 사인파 또는 반전된 사인파 모양의 주기적 형태를 갖는다. OPC가 전체 링크의 2:1 지점이 아닌 1:2 지점에 위치할 때 제안된 주기적 형태의 분산 맵을 통해 왜곡된 960 Gb/s WDM 신호의 보상이 더욱 개선되는 것을 확인하였다. 또한 제안된 주기적 분산 맵을 갖는 분산 제어 링크의 설계 융통성을 늘리기 위해서는 중계 구간에 할당되는 최대 RDPS (residual dispersion per span)가 1,800 ps/nm 이상이 되어야 하는 것도 알 수 있었다.