• 제목/요약/키워드: 분산 파일 시스템

검색결과 383건 처리시간 0.028초

대용량 분산 파일 시스템의 복제 배치 기법 분석 (Analyses of Replica Placement Schemes in Distributed File Systems)

  • 최대순;김지홍;엄영익
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.373-375
    • /
    • 2012
  • 정보의 양이 늘어나고 그 크기가 커짐에 따라 많은 분야에서 대규모 분산 파일 시스템을 제안하고 사용하고 있다. 현재 제안된 분산 파일 시스템은 대부분 확장가능하며 장애에 견딜 수 있고 신뢰성이 있는 시스템을 기본으로 하여 구성되었다. 따라서 분산 파일 시스템은 장애에 효과적으로 견질 수 있고 높은 신뢰성을 보장하기 위해서 데이터의 복제를 만들어 서로 다른 스토리지에 배치한다. 본 논문에서는 대규모 분산 파일 시스템의 복제 배치 기법에 관하여 비교 분석 하였다. 먼저 분산 파일 시스템의 동작 구조를 확인하고 분산 파일 시스템에서 보편적으로 중요시 되는 특성을 파악하였다. 그리고 복제 배치 기법이 효과적인 분산 파일 시스템 구성 시 고려해야 할 것들을 부하 분산, 디스크 분산, 장애 분산으로 나누었다. 이 세 가지 요소를 기준으로 하여 분산 파일 시스템인 GFS, HDFS, Ceph, MooseFS의 복제 배치 기법을 분석하고 각각의 특성 파악하였다.

하둡 분산 파일 시스템 기반 소용량 파일 처리를 위한 동적 프리페칭 기법 (A Dynamic Prefetchiong Scheme for Handling Small Files based on Hadoop Distributed File System)

  • 유상현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.329-332
    • /
    • 2014
  • 클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

  • PDF

중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법 (Chunk Placement Scheme on Distributed File System Using Deduplication File System)

  • 김건우;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

분산 컴파일 지원 시스템 설계 및 구현 (Design and Implementation of Distributed Compiling Support System)

  • 조현주;박재규;정재형;조영우;김정애;유기영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.43-45
    • /
    • 2004
  • 모바일 분야의 비약적인 발전과 더불어 모바일 분야의 소스 크기 또한 커져 컴파일 시간이 심각한 문제로 대두되고 있다 단 논문에서는 컴파일 시간을 줄이기 위한 방법으로 분산 컴파일을 지원하는 시스템을 설계 및 구현하였다 제안하는 분산 컴파일 지원 시스템은 소스를 분산하기 위하여 컴파일 옵션이 아니라 make 파일내용 중에서 생성되어야 할 오브젝트와 오브젝트 생성규칙을 가지고 있는 부분만을 종속성 분석 결과에 따라 분할하여 재생성함으로써 분산 컴파일이 가능하도록 설계하여 분산컴파일을 위한 전처리부분에 드는 시간을 최대한 줄여 분산 컴파일 성능을 높일 수 있도록 하였다. 성능 테스트 결과에 따르면, 단일 시스템에서의 컴파일 할 때보다 약 4배정도 컴파일 시간이 단축된 결과를 보이고 있다

  • PDF

클라우드 환경의 오픈소스 기반 분산 파일 시스템 분석 및 비교 (An Analysis and Comparison of Open Source Based Distributed File System for Cloud Environment)

  • 김건우;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.182-184
    • /
    • 2012
  • 클라우드 컴퓨팅이 많은 관심을 받고 발전하면서 여러 IT선도업체에서 클라우드 컴퓨팅 기술 개발에 많은 투자를 하고 있다. 이러한 클라우드 컴퓨팅 환경에서는 대부분의 데이터를 서버에 저장한다. 이러한 이유로 클라우드 환경에서 사용되는 파일 시스템은 기존의 파일 시스템 보다 많은 데이터를 저장하게 된다. 이에 따라 많은 데이터를 처리하기 위해서 클라우드 환경에서는 분산 파일 시스템 기술을 활용하고 있다. 또한 분산 파일 시스템은 네트워크상의 여러 스토리지 서버에 데이터가 분산되어 저장되기 때문에 데이터의 관리뿐만 아니라 성능, 장애 허용, 보안 등의 요구사항을 만족해야 한다. 본 논문에서는 XtreemFS, Ceph, GlusterFS, MooseFS 등의 분산 파일 시스템들을 기능적 측면에서 살펴보고, 각 분산 파일 시스템을 본 논문에서 제안하는 기능적 평가요소 측면에서 비교하고 평가한다.

분산 파일 시스템을 위한 웹기반 워크로드 생성기 개발 (The Development of Web-based Workload Generator for a Distributed File System)

  • 김동오;차명훈;김홍연;김영균;김성엽
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.99-101
    • /
    • 2014
  • 다양한 응용 분야에서 대량의 데이타 저장이 빈번해 짐에 따라 분산 파일 시스템에 대한 효용성이 커지고 있으며, 이로 인해 수많은 분산 파일 시스템이 개발되고 있다. 이러한, 분산 파일 시스템의 효율성을 검증할 수 있는 방법에 대한 필요성이 커지고 있다. 또한, SSD와 같은 우수한 성능을 가지는 장치를 사용하는 분산 파일 시스템에서는 SSD와 같은 장치의 효율성을 보기 위한 복잡한 워크로드를 생성 하여 시험할 수 있어야 한다. 하지만 기존의 입출력 시험 도구에서는 복잡한 상황을 시험하는 것이 매우 어렵다. 따라서, 본 논문에서는 필요에 따라 파일의 분포에 따라 다른 입출력 패턴을 가지는 여러 부하 상황을 생성이 가능하며, 웹을 통해 손쉽게 시험할 수 있는 분산 파일 시스템을 위한 웹기반 워크로드 생성기를 개발하였다.

GLORY-FS: 대규모 인터넷 서비스를 위한 분산 파일 시스템

  • 김홍연;진기성;차명훈;이상민;이상민;김영철;김영균
    • 정보와 통신
    • /
    • 제30권4호
    • /
    • pp.16-22
    • /
    • 2013
  • 본고에서는 분산 파일 시스템 기술의 현황 및 최근 이슈를 다룬다. 먼저 클라우드 컴퓨팅 및 빅데이터 분석 분야에서 산업체 표준으로 간주되고 있는 Hadoop의 분산 파일 시스템을 위주로 현황과 한계에 대해 다루고, 국내에서 개발된 유사한 구조의 분산 파일시스템인 GLORY-FS를 Hadoop 파일 시스템과 대비하여 국내 활용 사례를 기반으로 유사성 및 차이점을 비교한다.

효율적인 병렬 입출력을 지원하기 위한 분산공유디스트의 설계 및 구현 (The Design and Implementation of the Distributed Shared Disk for Efficient Parallel I/O)

  • 송창호;남영진;박찬익
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.718-720
    • /
    • 1998
  • 병렬파일시스템을 분산 환경에서 구현하고자 할 때 하부기능들을 관리 및 유지하기 위해서는 복잡한 내부 동작이 필요하다. 저 수준의 하드웨어 관리기능들을 고수준의 파일 서비스 기능들과 분리함으로써 병렬파일시스템 구현의 복잡도를 감소시킬수 있다. 이를 위해 본 논문에서는 분산환경상에서 물리적으로 분산되어 있는 디스크들을 하나의 거대한 논리적인 가상 디스크로 보여주는 분산공유디스크개념을 제안한다. 분산 공유디스크는 병렬 파일 시스템을 지원하기 위한 저수준의 인터페이스를 제공함으로써 병렬파일시스템에서 필용로 하는 하부기능들을 잠재적으로 제공할 수 있다. 또한 클러스터 기반 시스템에서 분산공유디스크의 프로토타입을 구현하여 그의 동작을 실험하였다.

  • PDF

분산 파일 시스템 기반 NoSQL의 데이터 안정성을 위한 범용 트랜잭션 관리 기법 (General-purpose Transaction Management Technique for Data Stability of NoSQL on Distributed File System)

  • 권영현;윤도현;박호진
    • 디지털콘텐츠학회 논문지
    • /
    • 제16권2호
    • /
    • pp.299-306
    • /
    • 2015
  • 본 논문에서는, 분산 파일 시스템을 기반으로 하는 NoSQL의 데이터 안정성 확보를 연구하였다. 본 논문의 궁극적 목표인 분산 파일 시스템 기반의 NoSQL을 구현하는 과정에서 분산 파일 시스템의 제약 조건인 랜덤 쓰기 문제에 봉착했고, 이 문제의 해결을 위해 중간파일의 개념을 사용함으로써 어떠한 장애 상황에서도 데이터의 오염을 방지할 수 있었다. 또한 중간파일을 쓰는 과정에서 기존 파일 시스템에 비해 분산 파일 시스템이 가지는 성능적 열세를 인식하여, NoSQL을 위한 파일 블록 단위를 다시 정의하는 방법으로 성능적 손실을 크게 줄였다. 결과적으로, 본 논문에서는 보편적 분산 파일 시스템의 확장성을 가진 NoSQL을 개발함과 동시에 원자성, 일관성, 고립성, 성능 등의 조건을 만족하는 트랜잭션 관리 기법을 사용함으로써 데이터 안정성을 가지면서 실용적 사용에도 무리가 없는 NoSQL을 구현하였다.

하둡 분산파일시스템에서 안전한 쓰기, 읽기 모델과 평가 (A Secure Model for Reading and Writing in Hadoop Distributed File System and its Evaluation)

  • 방세중;나일균;김양우
    • 인터넷정보학회논문지
    • /
    • 제13권5호
    • /
    • pp.55-64
    • /
    • 2012
  • 요즘 클라우드 컴퓨팅이 활성화됨에 따라 분산파일시스템의 요구가 증대되고 있지만 클라우드 컴퓨팅 환경에서 민감한 개인정보의 악용을 방지하는 분산파일시스템의 프레임은 아직 없다. 그래서 이 논문에서는 비밀분산 방법을 이용하여 분산파일시스템을 위한 안전한 쓰기/읽기 모델을 제시하였다. 이 모델은 비밀분산 방법을 사용하여 분산파일시스템의 기밀성뿐만 아니라 가용성도 보장한다. 또 제안한 방법으로 비밀 분산, 복구를 실행하였고 이를 대표적 암호화 알고리즘인 SEED 알고리즘에 의한 것과 비교를 함으로써 제시한 방법의 우수성을 보였다. 이와 더불어 이 방법이 하둡 분산파일시스템에 쉽게 이식될 수 있도록 하둡 분산파일시스템의 구조에 의존적이지 않은 쓰기/읽기 모델을 제안하였으며, 비밀분산모델의 성능측정방법으로 제안모델에 대한 이론적 평가를 실시하였다.