• 제목/요약/키워드: 분산 파일 시스템

검색결과 383건 처리시간 0.028초

전역적 메모리에서의 캐시 일관성에 관한 연구 (A Study on the Cache Consistency in Global Memory)

  • 진연호;김은경;정병수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.9-11
    • /
    • 2000
  • 최근의 네트웍 환경에서는 멀티미디어 서비스와 대용량의 파일을 이용하는 어플리케이션의 증가로 인해 이를 충족시킬 수 있는 저장 장치가 요구되고 있는 실정이며 이러한 저장 장치를 이용한 분산 환경의 네트웍 파일 시스템이 필수적이 되었다. 실제로 ATM, Fast switched LAN, Fibre channel 같은 고속의 네트웍 발달로 인해 분산 환경의 네트웍 파일 시스템에서 디스크를 엑세스하는 속도보다 오히려 네트웍으로 연결된 원격지의 메모리를 액세스하는 것이 더 빨라졌다. 따라서 지역 디스크 캐싱 기법이 분산 환경의 네트웍 저장 시스템으로 적용되면서 전역적 메모리를 관리하는 것과 원격지간의 캐시 일관성 문제(cache consistency)를 고려하지 않을 수 없게 되었다. 본 논문에서는 분산 환경의 캐싱 기법을 살펴보고 전역적 메모리의 캐시 일관성 문제를 다루면서 이에 대한 설계방안 및 앞으로의 연구 방향을 제시한다.

  • PDF

Hadoop Distribute file system에서 Small file을 효과적으로 처리하기 위한 파일 병합 기법 연구 (A File Merging Scheme for Efficient Handling of Small Files in Hadoop Distributed File System)

  • 박종창;윤희용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.15-17
    • /
    • 2013
  • HDFS(Hadoop Distribute File System)는 대용량 파일 처리를 목적으로 설계 되었으며 현재 이상적인 분산 파일 시스템으로 각광 받고 있다. 이러한 HDFS는 기존 분산파일 시스템과 많은 유사성을 가지고 있으나, Fault Tolerance를 제공하고, 데이터 엑세스 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다는 차별성을 가지고 있다. 하지만 실제 HDFS 데이터 집합에는 Small file이 차지하는 비중이 상당히 높으며, 이러한 다수의 Small file 은 데이터 처리에 있어 높은 비용을 초래할 뿐 아니라 Master Node 의 파일 처리 및 메모리 성능에 악영향을 미친다. 따라서 본 논문에서는 HDFS에서 Small file 이 미치는 영향을 분석하고 이러한 문제점을 해결 할 수 있는 로컬 인덱스 파일기반의 파일 병합 기법을 제안한다.

대규모 파일 시스템을 위한 동적 해싱 디렉토리 (Dynamic Hashing Directories for Large File Srstems)

  • 김신우;이용규
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2004년도 춘계학술발표대회논문집
    • /
    • pp.616-619
    • /
    • 2004
  • 최근 대용량 데이터의 저장과 검색을 요구하는 파일시스템이 필요하게 됨에 따라, 별도의 서버를 두지 않고 분산된 클라이언트가 메타데이터를 직접 관리하면서 모든 저장 장치들에 접근할 수 있는 SAN 기반 리눅스 클러스터 파일시스템의 연구가 활발하게 진행 중에 있다. 이러한 대규모 파일 시스템을 위해서는 동적 해싱을 이용한 디렉토리 관리가 요구되므로, 본 논문에서는 그 중 확장 해싱 디렉토리 구조와 선형 해싱 디렉토리 구조를 설계 및 구현하고, 구현된 시스템을 이용하여 성능평가를 통해 두 디렉토리 구조의 성능을 분석한다. 비교 분석 결과, 파일의 삽입 성능에서는 선형 해싱 기반의 디렉토리가 우수하였으나, 공간 활용면에서는 확장 해싱 기반의 디렉토리가 우수한 성능을 보였다.

  • PDF

10G WAN 환경에서 글로벌 공유파일시스템 성능 분석 (Performance analysis of global shared file system at 10G WAN)

  • 우준;최윤근;장지훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.187-190
    • /
    • 2015
  • 지역적으로 분산되어 있는 PLSI 연동 자원 간 사용자 작업 데이터의 원활한 공유을 위한 글로벌 공유파일시스템은 통합 슈퍼컴퓨팅 서비스의 핵심 구성요소 중의 하나이다. 본 연구에서는 10Gbps급 WAN 전용망 환경에서 공개 소프트웨어인 Lustre 병렬파일시스템 기반의 글로벌 공유파일시스템의 성능을 측정 및 분석하여 차세대 글로벌 공유파일시스템 구축을 위한 기반을 마련하고자 한다.

가상화 환경에서의 병렬 분산 처리 파일시스템 프로파일러 구조 (Architecture of Parallel Distributed File System Profiler in Virtualized Enviroments)

  • 최원석;김태원;정혜진;민영근;김준모
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.145-147
    • /
    • 2012
  • 최근 데이터의 급증으로 인해 병렬 분산 처리 파일시스템의 사용이 증가되었으나 물리 자원 요구와 그에 따른 관리 자원 소모로 인해 가상화 환경에서의 병렬 분산 처리 파일 시스템이 활발히 연구되고 있다. 이의 성능 분석을 위해서는 프로파일러의 역할이 중요한데 현재 사용되고 있는 프로파일러들은 시스템 및 관리 프로파일러로써 가상화 환경에 적합하지 않아 가상화 환경에 적합하며 기존 프로파일러의 단점을 보완하는 새로운 프로파일러의 필요성이 증가하고 있다. 본 논문에서는 기존 프로파일러의 장단점을 분석하고 기존 프로파일러들의 단점을 보완하는 가상화 환경에 적합한 새로운 프로파일러의 구조를 제안한다.

클라우드 스토리지를 위한 오픈 소스 기반 분산 파일 시스템의 성능 평가 (Performance Evaluation of Open Source Based Distributed File System for Cloud Storage)

  • 이세호;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.185-187
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 기술은 기존의 서버, 데스크톱 컴퓨팅 환경을 빠르게 변화시키며, 차세대 인터넷 서비스의 핵심 분야로 부각되고 있다. 클라우드 컴퓨팅 기술 중 특히 저비용, 안정성, 확장성, 무결성 그리고 보안성을 가지고 있는 클라우드 스토리지 서비스가 각광 받고 있다. 이에 본 논문은 클라우드 스토리지 기반 기술인 분산 파일 시스템에 관해서 살펴보고, 오픈소스 기반의 분산 파일 시스템인 MooseFS, XtreemFS, GlusterFS, Ceph 등을 이용하여 시스템 구축 및 성능 측정을 수행 하였다. 수행결과 Postmark에서는 GlusterFS, MD5SUM에서는 XtreemFS가 가장 좋은 성능을 보여주었다.

리눅스 클러스터 파일 시스템을 위한 M-WIA 기반 고속 통신 모듈의 설계 및 구현 (Design and Implementation of The High-Speed Communication Module for a Linux Cluster File System Using M-VIA)

  • 박의수;최현호;유찬곤;유관종
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(상)
    • /
    • pp.461-465
    • /
    • 2003
  • 클러스터 파일 시스템은 데이터 입출력 대역폭을 극대화하여 효율성을 높이고 각 노드의 입출력 부담을 균등하게 부과하기 위하여 원본 파일을 여러 노드에 분산 저장한다. 이렇게 파일을 노드들에 분산 저장하기 위해서는 효율적인 노드간 데이터 통신을 필요로 하며, 노드 내부에서도 클러스터 파일 시스템과 어플리케이션과의 효율적인 전용 데이터 교환 메커니즘을 지원해야 한다. 이를 위해 사용자 수준 통신 프로토콜인 VIA를 선정하여 운영체제(Operating System)의 간섭으로 인한 네트워크 계층간의 데이터 복사에 의한 병목현상을 줄이고자 하였다. 본 논문에서는 노드간 데이터 통신을 위해 M-VIA를 이용하여 통신모듈을 설계 및 구현하였다. 그리고 실제 성능테스트를 통하여 기존의 소켓 기반인 TCP/IP를 이용한 통신모듈과의 성능을 비교 평가하고 확인 한다.

  • PDF

리눅스 클러스터 파일 시스템을 위한 Myrinet 기반 초고속 통신모듈의 설계 및 구현 (Design and Implementation of a Myrinet based High-speed Communication Module for the Linux Cluster File System)

  • 박의수;이흥기;최현우;김형식;유원경;유관종
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.16-18
    • /
    • 2003
  • 클러스터 파일 시스템은 데이터 입출력 대역폭을 극대화하여 효율성을 높이고 각 노드의 입출력 부담을 균등하게 부과하기 위하여 원본 파일을 여러 노드에 분산 저장한다. 이렇게 파일을 노드들에 분산 저장하기 위해서는 효율적인 노드간 데이터 통신을 필요로 하며, 노드 내부에서도 클러스터 파일 시스템과 어플리케이션과의 효율적인 전용 데이터 교환 메커니즘을 지원해야 한다. 본 논문에서는 WAN(Wide Area Network)에 적합하도록 설계된 TCP를 이용한 기존의 교환 메커니즘인 통신모듈이 가지고 있는 문제점을 해결하기 위해 다양한 프로토콜과 하드웨어적인 접근을 통해 Myrinet이 초고속 통신모듈에 적합함을 보이고 GM API를 활용하여 기존의 소켓기반인 TCP/IP를 이용한 통신 모듈을 대처할 새로운 통신모듈의 모델을 제시한다.

  • PDF

자바기반 분산시스템을 위한 통합개발환경의 구현 (Implementation of Integrated Development Environment for Java-based Distributed System)

  • 이지현;유철중;장옥배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.534-536
    • /
    • 1999
  • 분산 객체 애플리케이션은 모듈화된 설계로 인해 컴포넌트 개발 및 수정을 독립적으로 이루어지도록 해준다. 즉, 분산 객체 시스템에서 객체 편집이나 프로젝트 관리, 컴파일, 레지스트리 구동 등을 위한 통합 개발 환경은 사용자가 보다 편리한 환경에서 작업할 수 있도록 도움을 준다. RMI는 CORBA, DCOM에 비하여 사용자 그룹이나 각종 개발 환경들이 풍부하지 못하지만 자바에 익숙한 프로그래머라면 손쉽게 분산 객체 시스템의 동작을 재사용 컴포넌트들을 시험해 볼 수 있다는 장점이 있다. 본 논문은 이러한 RMI를 이용한 분산 객체 시스템에서 사용자가 각종 인터페이스나 클라이언트/서버 애플리케이션을 작성하고 작성된 애플리케이션 컴파일 및 디버깅을 수행한 후 작성한 클라이언트/서버 애플리케이션이 의도한 바와 같이 동작하는지 검증 및 확인을 위해 구현된 통합 개발 환경인 JDAT(Java Distributed Application Tester)의 구성과 세부적인 기능, 그리고 용도를 설명하고자 한다.

  • PDF

Kerberos 기반 하둡 분산 파일 시스템의 안전성 향상방안 (A Study on Security Improvement in Hadoop Distributed File System Based on Kerberos)

  • 박소현;정익래
    • 정보보호학회논문지
    • /
    • 제23권5호
    • /
    • pp.803-813
    • /
    • 2013
  • 최근 스마트 기기 및 소셜 네트워크 서비스의 발달로 인해 데이터가 폭증하며 세계는 이른바 빅데이터 시대를 맞고 있다. 이에 이러한 데이터를 처리할 수 있는 새로운 기술인 빅데이터 처리기술은 클라우드 컴퓨팅 기술과 함께 주목받고 있으며, 가장 대표적인 기술이 바로 하둡이다. 하둡 분산 파일 시스템은 상용 리눅스 서버에서 실행되도록 설계된 오픈소스 프레임워크로서 수백 테라바이트 크기의 파일을 저장할 수 있다. 초기 하둡은 빅데이터 처리에 초점을 맞추어 보안이 거의 도입되지 않은 상태였으나 사용자가 빠르게 늘어남에 따라 하둡 분산 파일 시스템에 개인정보를 포함한 민감한 데이터가 많이 저장되면서, 2009년 커버로스와 토큰 시스템을 도입한 새로운 버전을 발표하였다. 그러나 이 시스템은 재전송 공격, 가장 공격 등이 가능하다는 취약점을 가진다. 따라서 본 논문에서는 하둡 분산 파일 시스템 보안 취약점을 분석하고, 이러한 취약점을 보완하면서 하둡의 성능을 유지할 수 있는 새로운 프로토콜을 제안한다.