• 제목/요약/키워드: File Cluster

검색결과 114건 처리시간 0.03초

병렬 가상 파일 시스템의 성능 분석을 통한 Cluster 파일 시스템 구축에 대한 연구 (Research about Cluster file system construction through performance analysis of Parallel file system)

  • 박준완;윤천균
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(하)
    • /
    • pp.1002-1005
    • /
    • 2003
  • 최근 리눅스의 보급이 활발하게 이루어지면서 저비용으로 슈퍼컴퓨터의 성능에 버금가는 클러스터 시스템이 활발히 구현되고 있다. 이에 맞추어 클러스터 전체 노드 디스크의 저장 공간을 효율적으로 사용할 수 있는 네트워크 파일 시스템이 필요로 하게 되었다. 클러스터 파일 시스템 구축시 가장 보편적으로 사용되는 파일 시스템인 Network File System(NFS)은 보안의 위험성과 데이터 access시 성능이 떨어지는 단점 때문에 NFS을 대체할 수 있는 파일시스템을 필요로 하게 되었다. 본 논문에서는 리눅스에서 사용하는 Ext3 파일 시스템의 성능을 기준으로 최근 활발한 연구가 진행중인 파일 시스템중 하나인 가상 병렬 파일 시스템과 NFS와의 성능 비교 및 시험을 통하여 최적화된 Cluster 파일 시스템에 대해서 연구하고자 한다.

  • PDF

클러스터 파일 시스템의 메타데이터 서버를 위한 내용 기반 부하 분산 알고리즘 (A Content-based Load Balancing Algorithm for Metadata Servers in Cluster File System)

  • 장준호;한세영;박성용
    • 정보처리학회논문지A
    • /
    • 제13A권4호
    • /
    • pp.323-334
    • /
    • 2006
  • 클러스터 파일 시스템의 성능을 결정짓는 주요 요소 중 하나는 메타 데이터 서비스의 성능이다. 본 논문에서는 메타 데이터 연산의 종류에 따라 적절한 메타 데이터 서버에게 클라이언트의 요청을 동적으로 분배할 수 있는 내용 기반의 부하 분산 알고리즘을 제안한다. 이 알고리즘에서는 메타 데이터 서버 사이에 데이터의 이동을 유발 시키는 대신 메타 데이터를 복제하고 수정 메시지를 로깅하게 함으로써, 기존의 알고리즘에 비해 클라이언트의 요청을 서버들에게 균등하게 분배하여 응답 지연 시간을 현저히 줄일 수 있었다.

A Web Cluster Scheme using Distributed File Server in Internet Environments

  • Han, Jun-Tak
    • International Journal of Contents
    • /
    • 제4권1호
    • /
    • pp.16-19
    • /
    • 2008
  • In this paper, we propose to new dispatcher method, which doesn't depend on an operating system of the server, and the direct routing method, by which a server answers a client's request at first hand. And, propose new web clustering scheme based on the contents on the web where web servers composed of cluster, with each different contents, answer client's request. The other purposes are to reduce overhead of the dispatcher through load balance, and to minimize the time to take in responding to a client's request. The performance of new web cluster scheme was improved by about 39% than that of the existing RR method. It was identified that the performance of the proposed web cluster method was extraordinary improved comparing with that of the existing RR method as a whole.

MANET에서 장치의 이동성을 고려한 클러스터 기반 P2P 알고리즘 (Cluster-based P2P scheme considering node mobility in MANET)

  • 우혁;이동준
    • 한국항행학회논문지
    • /
    • 제15권6호
    • /
    • pp.1015-1024
    • /
    • 2011
  • 최근 애드혹 네트워크에서의 모바일 P2P에 대한 관심이 높아지고 있다. 비록 유선 네트워크에서 P2P 알고리즘에 대한 많은 연구가 있었지만, 기존 P2P 프로토콜들은 장치의 이동성을 고려하지 않아 모바일 애드혹 네트워크(MANET, Mobile Ad-hoc Network)에 적합하지 않다. 본 연구에서는 애드혹 네트워크에서 장치의 이동성을 고려하여 클러스터 기반의 새로운 P2P 프로토콜을 제안한다. 기존의 클러스터 기반의 P2P 알고리즘에서 각 클러스터는 슈퍼피어와 슈퍼피어에 자신이 갖고 있는 파일 목록을 등록한 피어들로 구성된다. 이동성이 높은 피어들은 클러스터 간에 자주 핸드오프가 발생하고, 이로 인하여 슈퍼피어에 파일 목록을 등록하기 위한 트래픽이 많이 발생한다. 제안하는 알고리즘에서 이동성이 낮은 피어들은 기존의 클러스터 기반 P2P의 피어들과 동일하게 동작하고, 이동성이 높은 피어들은 다르게 동작한다. 즉 이동성이 높은 피어들은 새로운 클러스터에 참여시, 자신의 존재를 슈퍼피어에게 알리지만 파일 목록을 등록하지는 않으며 파일을 찾고자 할 때 우선 슈퍼피어에 등록된 파일 목록을 검색하고 만약 찾지 못하였을 경우 검색 메시지를 클러스터 내에 전파(broadcast)한다. 본 논문에서 제안 알고리즘을 수학적으로 모델링하고 P2P 트래픽과 라우팅 트래픽에 대한 분석과 최적화를 수행하였고 수학적 모델링 결과에서 제안 알고리즘의 성능이 기존의 클러스터 기반 P2P 알고리즘과 Gnutella 알고리즘에 비해 비슷하거나 더 좋음을 보였다.

클러스터 공유파일 시스템의 전역버퍼 관리기 설계 (Design of Global Buffer Managerin Cluster Shared File Syste)

  • 이규웅;차영환
    • 한국컴퓨터산업학회논문지
    • /
    • 제5권1호
    • /
    • pp.101-108
    • /
    • 2004
  • 네트워크 시스템의 빠른 발전으로 인해 인터넷을 통한 대용량 멀티미디어 데이터가 폭발적으로 증가하고 있으며 대용량 데이터의 효율적인 저장 및 제공을 위해 기존 컴퓨팅 중심으저장 방식이 아닌 데이터 중심의 새로운 저장 시스템 패러다임이 요구되고 있다. 또한 저장장치 전용 네트워크인 SAN(Storage Area Network)과 NAS(network attached storage)의 보급으로 인해 클러스터 공유 파일 시스템의 요구가 증가하고 있다. 본 논문은 SAN 기반의 네트워크-부착형 저장 장치들을 군집화하여 파일 서버 없이 직접 데이터 전송이 가능한 클러스터 공유 파일 시스템인 SANiqueTM의 설계방법 및 각 주요 구성요소들의 기능을 기술한다. 특히 효율적인 데이터 접근을 극대화하기 위한 전역 버퍼 관리기의 설계를 제안하며 그 프로토콜에 대하여 기술한다.

  • PDF

An Efficient Overlay for Unstructured P2P File Sharing over MANET using Underlying Cluster-based Routing

  • Shah, Nadir;Qian, Depei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제4권5호
    • /
    • pp.799-818
    • /
    • 2010
  • In traditional unstructured P2P file sharing network, each peer establishes connections with a certain number of randomly chosen other peers. This would lead to redundant traffic and P2P network partition in mobile ad hoc network (MANET). We propose an approach to construct an efficient unstructured P2P overlay over MANET using underlying cluster-based routing (CBRP). One of the peers in the P2P network is used as a root-peer to connect all peers. Each peer maintains connection with physically closer peers such that it can reach the root-peer. The peer constructs a minimum-spanning tree consisting of itself, its directly connected neighbor peers and 2-hop away neighbor peers to remove far away redundant links and to build an overlay closer to the physical network. Due to on-demand nature of inter-cluster routing of CBRP, the positioning algorithm for MANET is used to retrieve the file by a peer from the source peer via shorter path in the physical network. We can show by simulation that our approach performs better in comparison with the existing approach.

하둡 분산 파일시스템의 동적 클러스터 관리 기법 (Dynamic Cluster Management of Hadoop Distributed Filesystem)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.435-437
    • /
    • 2016
  • 하둡 분산 파일시스템(HDFS)는 빅데이터의 병렬 분산 처리를 위해 다수의 노드에 데이터를 중복 저장하는 파일시스템이다. HDFS의 분산 노드 클러스터는 수천 개 이상의 규모 확장성을 갖추고 있으나 빅데이터 처리를 위한 전용 하드웨어를 가정하고 있으며, 기존의 기업 및 병원에서 사용하고 있는 다양한 유휴 전산 자원을 고려하지는 못하는 문제가 있다. 본 논문에서는 기관 내 존재하는 다양한 유휴 전산 자원을 필요에 따라 동적으로 HDFS에 추가함으로써 빅데이터 저장 및 분석 성능을 향상시킬 수 있는 동적 클러스터 관리 기법을 제시한다.

  • PDF

SAN 기반 리눅스 클러스터 파일 시스템을 위한 메타데이터 관리 (Metadata Management of a SAN-Based Linux Cluster File System)

  • 김신우;박성은;이용규;김경배;신범주
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.367-374
    • /
    • 2001
  • 최근 SAN 기반 리눅스 클러스터 파일 시스템들이 개발되고 있다. 이들은 중앙 파일 서버를 두지 않으며, 디스크를 공유하는 클라이언트들이 화이버 채널을 통하여 마치 파일 서버처럼 디스크에 자유롭게 접근할 수 있다. 따라서 이 시스템들은 유용성, 부하의 균형, 확장성 등에서 장점을 가질 수 있다. 이 논문에서는 새로운 SAN 기반 리눅스 클러스터 파일 시스템을 위해 설계된 메타데이터 관리 방법들에 대하여 기술한다. 먼저, 디스크 접근 시간에서 기본의 방법보다 우수한 새로운 inode의 구조를 설명하고, 확장 해싱을 사용하는 새로운 디렉토리 구조에 대하여 기술한다. 또한, 대규모의 파일 시스템에 적합한 새로운 빈 공간 관리 방법을 제안하고, 메타데이터의 저널링 방법에 대하여 소개한다. 그리고, 성능 평가를 통하여 제안된 방법들의 우수성을 보인다.

  • PDF

A File/Directory Reconstruction Method of APFS Filesystem for Digital Forensics

  • Cho, Gyu-Sang;Lim, Sooyeon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권3호
    • /
    • pp.8-16
    • /
    • 2022
  • In this paper, we propose a method of reconstructing the file system to obtain digital forensics information from the APFS file system when meta information that can know the structure of the file system is deleted due to partial damage to the disk. This method is to reconstruct the tree structure of the file system by only retrieving the B-tree node where file/directory information is stored. This method is not a method of constructing nodes based on structural information such as Container Superblock (NXSB) and Volume Checkpoint Superblock (APSB), and B-tree root and leaf node information. The entire disk cluster is traversed to find scattered B-tree leaf nodes and to gather all the information in the file system to build information. It is a method of reconstructing a tree structure of a file/directory based on refined essential data by removing duplicate data. We demonstrate that the proposed method is valid through the results of applying the proposed method by generating numbers of user files and directories.

VIA 기반 PC 클러스터 시스템을 위한 무복사 파일 전송 메커니즘의 개발 및 성능분석 (Development and Performance Study of a Zero-Copy File Transfer Mechanism for Ink-based PC Cluster Systems)

  • 박세진;정상화;최봉식;김상문
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권11_12호
    • /
    • pp.557-565
    • /
    • 2005
  • 본 논문에서는 VIA(Virtual Interface Architecture) 기반 클러스터 시스템 상에서 효과적인 파일 전송을 위한 무복사 파일 전송 메커니즘의 개발 및 구현에 관하여 나타내었다. VIA는 클러스터 시스템을 위한 대표적인 사용자 수준 통신 방법이지만 파일 전송에 대한 라이브러리는 제공하지 않으며 파일 전송을 위해서는 커널 공간에서 사용자 공간으로 한번의 데이타 복사가 필요하다. 본 논문의 파일 전송 메커니즘은 파일시스템의 수정 없이 파일 전송 라이브러리만 제공함으로써, 네트워크 인터페이스 카드가 보내고자 하는 노드의 파일을 상대방 노드의 사용자 버퍼로 복사 없이 전송 가능케 하였다. 이를 위해 본 연구에서는 PCI 64bit/66MHz를 지원하고 물리적 네트워크로 기가비트 이더넷을 사용하는 VIA 기반의 네트워크 카드를 개발하였고, 이를 바탕으로 무복사 파일 전송 메커니즘을 구현하였다. 이러한 구현의 결과로 sender 측의 데이타 복사 횟수 및 문맥전환 시간을 줄였고, 기존의 VIA의 send/receive에 비해 CPU 사용률을 $30\%\~40\%$ 정도로 줄일 수 있었다. 본 논문에서는 TCP/IP에서 제공하는 무복사 파일 전송 및 VIA에서 사용되는 파일 전송 방법과의 비교 분석 실험을 통하여 본 논문에서 제시한 무복사 파일 전송 메커니즘의 성능을 보였다.