• 제목/요약/키워드: Cluster file system

검색결과 91건 처리시간 0.023초

SAN 환경의 대용량 클러스터 파일 시스템을 위한 광역 버퍼 관리기의 설계 (Design of Global Buffer Manager in SAN-based Cluster File Systems)

  • 이규웅
    • 한국정보통신학회논문지
    • /
    • 제15권11호
    • /
    • pp.2404-2410
    • /
    • 2011
  • 본 논문은 SAN 기반의 클러스터 파일 시스템 $SANique^{TM}$의 설계 고려사항을 설명하고 특히 대규모의 호스트들이 연결된 상황에서 광역 버퍼 관리기의 데이터 공유 문제점을 기술하고 클러스터 환경에서 확장성과 가용성을 제공하기 위한 광역 버퍼 관리 기법을 제시한다. 제안하는 광역 버퍼 관리 기법은 $SANique^{TM}$ 시스템의 로크 관리기에서 관리되는 로크 정보를 활용하여 부가적인 통신 및 시간소요 없이 효율적인 데이터 공유를 제공하는 방법을 제시하였다. 또한 대규모 클러스터 환경에 적용 가능한 광역버퍼 관리기법의 의사코드 및 데이터 공유 예제를 통하여 본 방법의 효율성을 보였다.

클러스터 공유파일 시스템의 전역버퍼 관리기 설계 (Design of Global Buffer Managerin Cluster Shared File Syste)

  • 이규웅;차영환
    • 한국컴퓨터산업학회논문지
    • /
    • 제5권1호
    • /
    • pp.101-108
    • /
    • 2004
  • 네트워크 시스템의 빠른 발전으로 인해 인터넷을 통한 대용량 멀티미디어 데이터가 폭발적으로 증가하고 있으며 대용량 데이터의 효율적인 저장 및 제공을 위해 기존 컴퓨팅 중심으저장 방식이 아닌 데이터 중심의 새로운 저장 시스템 패러다임이 요구되고 있다. 또한 저장장치 전용 네트워크인 SAN(Storage Area Network)과 NAS(network attached storage)의 보급으로 인해 클러스터 공유 파일 시스템의 요구가 증가하고 있다. 본 논문은 SAN 기반의 네트워크-부착형 저장 장치들을 군집화하여 파일 서버 없이 직접 데이터 전송이 가능한 클러스터 공유 파일 시스템인 SANiqueTM의 설계방법 및 각 주요 구성요소들의 기능을 기술한다. 특히 효율적인 데이터 접근을 극대화하기 위한 전역 버퍼 관리기의 설계를 제안하며 그 프로토콜에 대하여 기술한다.

  • PDF

클러스터 파일 시스템의 메타데이터 서버를 위한 내용 기반 부하 분산 알고리즘 (A Content-based Load Balancing Algorithm for Metadata Servers in Cluster File System)

  • 장준호;한세영;박성용
    • 정보처리학회논문지A
    • /
    • 제13A권4호
    • /
    • pp.323-334
    • /
    • 2006
  • 클러스터 파일 시스템의 성능을 결정짓는 주요 요소 중 하나는 메타 데이터 서비스의 성능이다. 본 논문에서는 메타 데이터 연산의 종류에 따라 적절한 메타 데이터 서버에게 클라이언트의 요청을 동적으로 분배할 수 있는 내용 기반의 부하 분산 알고리즘을 제안한다. 이 알고리즘에서는 메타 데이터 서버 사이에 데이터의 이동을 유발 시키는 대신 메타 데이터를 복제하고 수정 메시지를 로깅하게 함으로써, 기존의 알고리즘에 비해 클라이언트의 요청을 서버들에게 균등하게 분배하여 응답 지연 시간을 현저히 줄일 수 있었다.

A File/Directory Reconstruction Method of APFS Filesystem for Digital Forensics

  • Cho, Gyu-Sang;Lim, Sooyeon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권3호
    • /
    • pp.8-16
    • /
    • 2022
  • In this paper, we propose a method of reconstructing the file system to obtain digital forensics information from the APFS file system when meta information that can know the structure of the file system is deleted due to partial damage to the disk. This method is to reconstruct the tree structure of the file system by only retrieving the B-tree node where file/directory information is stored. This method is not a method of constructing nodes based on structural information such as Container Superblock (NXSB) and Volume Checkpoint Superblock (APSB), and B-tree root and leaf node information. The entire disk cluster is traversed to find scattered B-tree leaf nodes and to gather all the information in the file system to build information. It is a method of reconstructing a tree structure of a file/directory based on refined essential data by removing duplicate data. We demonstrate that the proposed method is valid through the results of applying the proposed method by generating numbers of user files and directories.

리눅스 클러스터링 웹 서버의 고가용성에 대한 연구 (A study on high availability of the linux clustering web server)

  • 박지현;이상문;홍태화;김학배
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2000년도 제15차 학술회의논문집
    • /
    • pp.88-88
    • /
    • 2000
  • As more and more critical commercial applications move on the Internet, providing highly available servers becomes increasingly important. One of the advantages of a clustered system is that it has hardware and software redundancy. High availability can be provided by detecting node or daemon failure and reconfiguring the system appropriately so that the workload can be taken over bi the remaining nodes in the cluster. This paper presents how to provide the guaranteeing high availability of clustering web server. The load balancer becomes a single failure point of the whole system. In order to prevent the failure of the load balancer, we setup a backup server using heartbeat, fake, mon, and checkpointing fault-tolerance method. For high availability of file servers in the cluster, we setup coda file system. Coda is a advanced network fault-tolerance distributed file system.

  • PDF

하둡 분산 파일시스템의 동적 클러스터 관리 기법 (Dynamic Cluster Management of Hadoop Distributed Filesystem)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.435-437
    • /
    • 2016
  • 하둡 분산 파일시스템(HDFS)는 빅데이터의 병렬 분산 처리를 위해 다수의 노드에 데이터를 중복 저장하는 파일시스템이다. HDFS의 분산 노드 클러스터는 수천 개 이상의 규모 확장성을 갖추고 있으나 빅데이터 처리를 위한 전용 하드웨어를 가정하고 있으며, 기존의 기업 및 병원에서 사용하고 있는 다양한 유휴 전산 자원을 고려하지는 못하는 문제가 있다. 본 논문에서는 기관 내 존재하는 다양한 유휴 전산 자원을 필요에 따라 동적으로 HDFS에 추가함으로써 빅데이터 저장 및 분석 성능을 향상시킬 수 있는 동적 클러스터 관리 기법을 제시한다.

  • PDF

A Web Cluster Scheme using Distributed File Server in Internet Environments

  • Han, Jun-Tak
    • International Journal of Contents
    • /
    • 제4권1호
    • /
    • pp.16-19
    • /
    • 2008
  • In this paper, we propose to new dispatcher method, which doesn't depend on an operating system of the server, and the direct routing method, by which a server answers a client's request at first hand. And, propose new web clustering scheme based on the contents on the web where web servers composed of cluster, with each different contents, answer client's request. The other purposes are to reduce overhead of the dispatcher through load balance, and to minimize the time to take in responding to a client's request. The performance of new web cluster scheme was improved by about 39% than that of the existing RR method. It was identified that the performance of the proposed web cluster method was extraordinary improved comparing with that of the existing RR method as a whole.

High Performance Computing 환경을 위한 고성능, 무정지 파일시스템 구현 (The development of the high effective and stoppageless file system for high performance computing)

  • 박영배;최승환;이상호;김경수;공용준
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2004년도 추계 종합학술대회 논문집
    • /
    • pp.395-401
    • /
    • 2004
  • In the current high network-centralized computing and enterprising environment, it is getting essential to transmit data reliably at very high rates. Until now previous client/server model based NFS(Network File System) or AFS(Andrew's Files System) have met the various demands but from now couldn't satisfy those of the today's scalable high-performance computing environment. Not only performance but data sharing service redundancy have risen as a serious problem. In case of NFS, the locking issue and cache cause file system to reboot and make problem when it is used simply as ip-take over for H/A service. In case of AFS, it provides file sharing redundancy but it is not possible until the storage supporting redundancy and equipments are prepared. Lustre is an open source based cluster file system developed to meet both demands. Lustre consists of three types of subsystems : MDS(Meta-Data Server) which offers the meta-data services, OST(Objec Storage Targets) which provide file I/O, and Lustre Clients which interact with OST and MDS. These subsystems with message exchanging and pursuing scalable high-performance file system service. In this paper, we compare the transmission speed of gigabytes file between Lustre and NFS on the basis of concurrent users and also present the high availability of the file system by removing more than one OST in operation.

  • PDF

SAN환경 공유 곡일 시스템의 온라인 리사이징 (Online Resizing of Shared File System In SAN Environment)

  • 임승호;이주평;조준우;박규호
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
    • /
    • pp.1633-1636
    • /
    • 2003
  • In this paper, we developed the scheme to grow to use newly added disk space without having to kill the application, unmount file system. This scheme, called online resizing, can resize the file system layout with the advent of Logical Volume Manager. The online resizing scheme is designed and implemented in linux cluster system where multiple hosts share the disk data in storage area network environment. It is incorporated with SANfs shared file system and can perform resizing technique with SANfs-VM volume manager. The experimental result shows that it can maximize the availability and capacity of the SANfs system which are important for modem servers where must not lose their customer.

  • PDF

SAN 기반 리눅스 클러스터 파일 시스템을 위한 메타데이터 관리 (Metadata Management of a SAN-Based Linux Cluster File System)

  • 김신우;박성은;이용규;김경배;신범주
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.367-374
    • /
    • 2001
  • 최근 SAN 기반 리눅스 클러스터 파일 시스템들이 개발되고 있다. 이들은 중앙 파일 서버를 두지 않으며, 디스크를 공유하는 클라이언트들이 화이버 채널을 통하여 마치 파일 서버처럼 디스크에 자유롭게 접근할 수 있다. 따라서 이 시스템들은 유용성, 부하의 균형, 확장성 등에서 장점을 가질 수 있다. 이 논문에서는 새로운 SAN 기반 리눅스 클러스터 파일 시스템을 위해 설계된 메타데이터 관리 방법들에 대하여 기술한다. 먼저, 디스크 접근 시간에서 기본의 방법보다 우수한 새로운 inode의 구조를 설명하고, 확장 해싱을 사용하는 새로운 디렉토리 구조에 대하여 기술한다. 또한, 대규모의 파일 시스템에 적합한 새로운 빈 공간 관리 방법을 제안하고, 메타데이터의 저널링 방법에 대하여 소개한다. 그리고, 성능 평가를 통하여 제안된 방법들의 우수성을 보인다.

  • PDF