• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.351-352
• /
• 2014

분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. HDFS는 대용량 데이터 저장장치로 처리되고 있지만 실시간 파일 접근에 관한 고려는 부족하다. 파일을 읽을 때 네임노드와 데이터 노드는 상호 작용을 하지만 엄청난 대용량의 데이터 그리고 동시작업량이 많을 때 접근수행속가 급격하게 감소하게 된다. 따라서 실시간 클라우드 서비스 환경에서 HDFS 파일 접근 수행속도를 향상시키기 위한 연구가 이슈이다. 본 논문에서는 HDFS의 위에 분산 캐시를 둔 새로운 캐시시스템을 제안한다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.10 no.10
• /
• pp.1115-1122
• /
• 2015

Hadoop framework was designed to be suitable for processing very large files. On the other hand, when processing the Small Files, it waste the resource of a distributed system, and occur performance degradation. It is shown noticeable the more the Small Files. This problem is caused by the Small Files, it can be solved through the merging of associated Small Files. But a way of merging of Small Files has some limited point. in this paper, examines existing limit of merging method, design merging method Small Files for effective process.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10a
• /
• pp.28-30
• /
• 2004

요즘 네트웍과 PC의 성능이 향상됨에 따라 값싼 PC를 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 시스템에 대하여 많이 연구되어 왔다. 이러한 연구의 한 분야로서 클러스터 시스템에서 각 노드의 CPU나 메모리에 비하여 상대적으로 느린 디스크에 접근하는 파일 시스템을 효율적으로 구성하려는 연구가 이루어지고 있다. 기존 클러스터 파일 시스템은 기존에 연구되었던 분산 시스템의 파일 시스템을 그대로 사용하는 경우가 많았다. 기존 분산 시스템들은 클러스터 시스템과 유사한 부분들이 존재 하지만 다른 부분도 존재한다. 클러스터 시스템을 사용하는 사용자에게 높은 성능의 데이터 입출력과 효율적인 지원을 위해서는 클러스터 시스템의 특성을 잘 활용하는 클러스터 파일 시스템에 대한 연구가 필요하다. 본 논문에서는 클러스터 시스템의 특성을 잘 활용하는 캔 클러스터 파일 시스템의 설계 및 구현에 대하여 기술한다. 캔 클러스터 파일 시스템은 자료 저장 시스템을 클러스터 시스템의 특성을 잘 활용하는 단일 디스크 입출력을 사용하고 그 위에 상호 협력 캐쉬를 구현함으로서 높은 대역폭의 데이터 입출력을 제공한다. 이러한 캔 클러스터 파일 시스템의 성능을 기존 파일 시스템 중 PVFS와 테스트 프로그램 수행을 통하여 성능을 비교, 분석한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10a
• /
• pp.802-804
• /
• 2001

하드웨어의 발달과 인터넷의 보편화로 점차 정보의 보안의 필요성이 대두되었다. 암호화 파일 시스템은 사용자의 기밀성을 요구하는 파일의 안전한 저장을 위해 제안되었다. 이 암호화 파일 시스템은 사용자에게 투명성을 제공하여 사용의 편리성을 제공한다. 또한 기존의 암호화 시스템이 사용자 영역에서 이루어져 문맥교환의 횟수가 많아 시스템의 성능이 떨어지는데 반해 암호화 파일 시스템은 커널레벨에서 암호화 서비스가 이루어지므로 시스템의 성능이 저하되는 것을 방지해준다. 하지만 암호화 서비스 자체가 큰 과부하가 되어 일반 파일 시스템에 비해 성능이 많이 떨어진다는 단점이 있다. 따라서 본 논문에서는 클러스터 기반의 파일 시스템을 통해 암호화 파일 시스템의 부하를 분산시켜 성능을 개선함과 동시에 암호화된 파일을 분산 저장하므로 보안성을 높여준다. 제안된 암호화 파일 시스템은 시스템이 확장되었을 경우 그와 비례해서 시스템의 성능이 개선됨을 알 수 있다.

• Journal of the Korea Society for Simulation
• /
• v.17 no.4
• /
• pp.229-239
• /
• 2008

A Distributed File System (DFS) provides a mechanism in which a file can be stored across several physical computer nodes ensuring replication transparency and failure transparency. Applications that process large volumes of data (such as, search engines, grid computing applications, data mining applications, etc.) require a backend infrastructure for storing data. And the distributed file system is the central component for such storing data infrastructure. There have been many projects focused on network computing that have designed and implemented distributed file systems with a variety of architectures and functionalities. In this paper, we describe a complete distributed file system which can be used in large-scale search-oriented systems.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.856-858
• /
• 2001

분산 파일 시스템에서 파일을 복제하는 목적의 하나는 파일의 가용성을 높이는 것이다 서버들로 이루어진 시스템에서 가용도 문제는 주로 오류 상황이 대상이다 반면에 데스크탑으로 구성된 경우 각각이 상대적으로 가용도가 낮고 그 편차도 커서 파일의 가용도를 최적화 하도록 복제본을 저장하는 것이 기본적인 문제가 된다. 파일 단위 복제 기법에서는 파일 수가 참여 시스템 수에 따라 기하급수적으로 증가하고 파일 배치 때마다 가용도 최적화를 수행해야 하는 문제가 있다. 본 논문에서는 저장 공간 단위 복제 기법을 제안한다. 데스크탑 시스템의 저 장롱간을 고정 크기의 페이지들로 나누고 이들을 조합해서 일정한 가용도를 가지는 페이지 그룹을 형성한다. 파일들은 이 페이지 그룹에 저장된다. 페이지의 개수가 파일 수가 아닌 시스템 수에 의존하고, 파일 배치 시점과 무관하게 페이지 그룹을 만들 수 있는 장점이 있다. 최종 가용도를 높이고 연산 시간을 줄이기 위해 ILS(Iterated Local Search )방법을 이용만 탐색을 수행한다.

• Proceedings of the KIEE Conference
• /
• 2000.07d
• /
• pp.2965-2967
• /
• 2000

다양한 인터넷 응용 프로그램들이 웹 기반으로 통합되고 여러 방면에서 business-critical한 경우가 많아짐에 따라 웹서버의 고가용성과 안정성이 갈수록 강조되고 있고. 이를 보장하기 위한 리눅스 기반의 클러스터링 환경에서는 다양한 조건하에서도 데이터의 손실 없이 파일 입출력을 효과적으로 지원할 수 있는 분산 파일 시스템이 필수적이다. 본 논문에서는 리눅스 클러스터 환경에 적합한 분산 파일 시스템의 하나로서 카네기 멜론 대학에서 제안되어 개발 중에 있는 네트워크 분산 파일 시스템인 Coda 에 대하여. 가용성 및 효율성, 확장성 등에 대한 장단점을 간단히 소개하고, Coda을 적용한 고가용성 웹 서버의 구현 결과와 향후 개선 방향에 대해서 설명하도록 하겠다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04a
• /
• pp.652-654
• /
• 2002

최근 리눅스 클러스터 시스템의 활용 범위가 커지면서 멀티미디어 서비스를 제공하려는 시도가 나타났다. 리눅스 클러스터 시스템 상에서 효과적으로 멀티미디어 서비스를 제공하려면 적합한 파일 시스템의 도움이 필수적이다. 즉, 클러스터 파일 시스템을 통하여 응용 프로그램에 대한 단일 입출력공간을 제공하고 효율적인 파일/디렉토리 연산을 제공하는 기술이 중요하다. 본 논문에서는 리눅스 클러스터 시스템을 위한 클러스터 파일 시스템(Cluster File System, 이하 CFS로 표기)을 설계 및 구현한다. CFS는 리눅스 파일 시스템 위에 사용자 수준에서 구현된 시스템으로 사용자에게는 단일 시스템 이미지를 제공한다. 내부적으로는 대용량의 파일이 분산되어 저장되며 이를 위해 파일/디렉토리 정보도 각각의 노드에서 분산 관리된다. 사용자에게는 응용 프로그램의 개발이 용이하도록 API가 제공되며, 또한 CFS를 관리하기 위한 도구들이 제공된다.

• Journal of KIISE:Computer Systems and Theory
• /
• v.36 no.4
• /
• pp.259-273
• /
• 2009

Most of large-scale distributed file systems decouple a metadata operation from read and write operations for a file. In the distributed file systems, a certain server named a metadata server (MDS) maintains metadata information in file system such as access information for a file, the position of a file in the repository, the namespace of the file system, and so on. But, the existing systems used restrictive metadata management schemes, because most of the distributed file systems designed to focus on the distributed management and the input/output performance of data rather than the metadata. Therefore, in the existing systems, the metadata throughput and expandability of the metadata server are limited. In this paper, we propose a new non-shared metadata management scheme in order to provide the high metadata throughput and scalability for a cluster of MDSs. First, we derive a dictionary partitioning scheme as a new metadata distribution technique. Then, we present a load balancing technique based on the distribution technique. It is shown through various experiments that our scheme outperforms existing metadata management schemes in terms of scalability and load balancing.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10a
• /
• pp.76-78
• /
• 2004

단일 디스크 입출력 환경은 클러스터 시스템의 분산된 디스크들을 하나의 통합된 디스크의 이미지로 제공하여 사용자에게 편의성을 제공한다. 하지만, 디바이스 수준에서의 서비스를 제공하고 이로 인해 여러 노드에서의 파일의 병렬적인 접근을 지원하기 위해서는 클러스터 파일 시스템의 지원이 요구된다. 본 논문은 리눅스 시스템에서 가장 많이 사용하는 EXT2 파일 시스템을 단일 입출력 환경에서 효과적으로 사용할 수 있는 클러스터 파일 시스템으로의 확장하는 방안에 대해서 설명한다. 기존의 EXT2 파일 시스템을 커널 모듈의 형태로 재구성하고, 버퍼 캐쉬와 메타 데이터의 일관성 유지를 위하여 분산 락 모듈물 구현하고 이를 이용하여 데이터의 일관성과 동기화 문제를 동시에 해결하도록 하여, EXT2 파일 시스템을 클러스터 파일 시스템으로 확장하였다