• 제목/요약/키워드: File system

검색결과 2,282건 처리시간 0.029초

멀티 클라우드 렌더링을 위한 분산 파일 시스템 개발 (Development of a Distributed File System for Multi-Cloud Rendering)

  • 반효경;조경운
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권1호
    • /
    • pp.77-82
    • /
    • 2023
  • 최근 렌더링을 위한 플랫폼으로 멀티 클라우드 환경이 주목받고 있다. 이는 렌더링의 연산량이 시간에 따라 변동 폭이 큰 반면 각 렌더링 작업은 독립적으로 수행될 수 있기 때문이다. 그러나, 멀티 클라우드 렌더링은 대용량의 렌더링 입력 데이터에 대한 일관성을 유지하면서 실시간으로 데이터를 전송해야 하는 어려운 점이 존재한다. 본 논문에서는 멀티 클라우드 렌더링을 위한 새로운 분산 파일 시스템을 개발하였다. 개발된 파일 시스템은 로컬 머신에 파일 서버를 두어 렌더링 입력 파일에 대한 버전을 관리하고, 클라우드에 캐쉬 관리자를 두어 파일의 버전을 고려한 분산 협력 캐슁을 수행한다. 렌더링 워크로드를 이용한 실측 실험을 통해 개발된 파일 시스템이 NFS 대비 745%의 I/O 처리율을 나타내는 것을 확인했으며, 업로드 방식과 비교할 때 평균 56%의 실행시간 개선이 있는 것으로 확인되었다.

NOW(Network of Workstations) 환경에서 소프트웨어 RAID 파일 시스템의 설계 및 성능 평가 (Design and performance evaluation of the software RAID file system in the NOW environment)

  • 김종훈;노삼혁;원유헌
    • 한국통신학회논문지
    • /
    • 제22권6호
    • /
    • pp.1266-1272
    • /
    • 1997
  • Due to the price and performanceof uniprocessor workstations and off-the shelf networking, network of workstations(NOW) ae now a cost-effective parallel processing platform tht is competitive with supercomputers. Meanwhile, current network fiile system protocols rely heavily on a central server to coordinate file activity among client workstations. This central server can become a bottleneck that limits scalibility for environments with large numbers of clients. In this paper, we propsoe a highly reliable and effective software RAID file system on the network of workstation environment. We present results form a trace-driven simulation study that shows that the designed software RAID file system is more effective in the aspect of elapsed time when compared with client/server file systems.

  • PDF

P2P 파일 공유 시스템에서 평판 정보를 이용한 접근 제어 (An Access Control using Reputation Information in P2P File Sharing System)

  • 신정화;신원;이경현
    • 정보처리학회논문지A
    • /
    • 제12A권6호
    • /
    • pp.493-498
    • /
    • 2005
  • P2P 서비스는 인터넷 상에서 서버를 거치지 않고 정보를 찾는 사람과 정보를 가진 사람의 컴퓨터간의 직접적인 연결을 통해 다양한 정보를 공유할 수 있는 방식으로, 파일의 자유로운 교환을 위한 방법으로 많은 인기를 얻고 있다. 그러나 P2P 파일 공유 시스템에서 서비스를 이용하는 모든 사용자들은 동등한 접근 권한으로 자유롭게 여러 사용자들의 공유 파일을 이용할 수 있기 때문에, 자신의 파일에 대한 공유 없이 다른 사용자들의 공유 파일을 다운로드만 하는 "free riding" 문제가 빈번하게 발생하고 있으며, 바이러스나 웜을 포함한 파일을 공유하거나 실제내용과 다른 제목을 가지는 파일을 공유하는 사용자라 하더라도 제한 없이 파일 공유 서비스를 이용할 수 있다. 이에 본 논문에서는 파일 공유서비스를 이용하는 사용자들의 신뢰도를 나타낼 수 있는 평판(Reputation) 정보를 이용하여 빈번한 다운로드를 행하는 "free rider"의 접근을 제한하고, 정상적인 실행이 되지 않는 파일을 공유한 사용자들에 대해서도 다른 사용자들의 공유 파일에 대한 사용을 제한하고자 한다.

DJFS: Providing Highly Reliable and High-Performance File System with Small-Sized NVRAM

  • Kim, Junghoon;Lee, Minho;Song, Yongju;Eom, Young Ik
    • ETRI Journal
    • /
    • 제39권6호
    • /
    • pp.820-831
    • /
    • 2017
  • File systems and applications try to implement their own update protocols to guarantee data consistency, which is one of the most crucial aspects of computing systems. However, we found that the storage devices are substantially under-utilized when preserving data consistency because they generate massive storage write traffic with many disk cache flush operations and force-unit-access (FUA) commands. In this paper, we present DJFS (Delta-Journaling File System) that provides both a high level of performance and data consistency for different applications. We made three technical contributions to achieve our goal. First, to remove all storage accesses with disk cache flush operations and FUA commands, DJFS uses small-sized NVRAM for a file system journal. Second, to reduce the access latency and space requirements of NVRAM, DJFS attempts to journal compress the differences in the modified blocks. Finally, to relieve explicit checkpointing overhead, DJFS aggressively reflects the checkpoint transactions to file system area in the unit of the specified region. Our evaluation on TPC-C SQLite benchmark shows that, using our novel optimization schemes, DJFS outperforms Ext4 by up to 64.2 times with only 128 MB of NVRAM.

메모리 파일 시스템 기반 고성능 메모리 맵 파일 입출력을 위한 매핑 캐시 (Mapping Cache for High-Performance Memory Mapped File I/O in Memory File Systems)

  • 김지원;최정식;한환수
    • 정보과학회 논문지
    • /
    • 제43권5호
    • /
    • pp.524-530
    • /
    • 2016
  • 기존보다 데이터를 빠르게 접근하기 위한 노력과 비-휘발성 메모리의 발전은 메모리 파일 시스템 연구에 큰 기여를 해왔다. 메모리 파일 시스템은 파일 입출력의 고성능을 위해서 기존에 사용하는 읽기-쓰기 입출력보다 오버헤드가 적은 메모리 맵 파일 입출력을 사용하도록 제안하고 있다. 하지만 메모리 맵 파일 입출력을 사용하게 되면서 페이지 테이블을 구축할 때 발생하는 오버헤드가 전체 입출력 성능의 큰 부분을 차지하게 되었다. 또한 같은 파일이 반복적으로 접근될 때마다 페이지 테이블을 매번 삭제하기 때문에, 오버헤드가 불필요하게 중복되어서 발생한다는 점을 발견했다. 본 논문이 제안하는 매핑 캐시는 이러한 중복되는 오버헤드를 제거하기 위해서, 매핑이 해제될 때 파일의 페이지 테이블을 제거하지 않고 저장하고 있다가 다시 접근될 때 이를 재활용할 수 있도록 고안한 기법이다. 매핑 캐시는 기존 파일 입출력 성능보다 2.8배, 그리고 웹서버 전체 성능보다 12% 향상을 보였다.

플래시 메모리를 저장매체로 사용하는 임베디드 시스템에서의 정규파일 접근 (Regular File Access of Embedded System Using Flash Memory as a Storage)

  • 이은주;박현주
    • Journal of Information Technology Applications and Management
    • /
    • 제11권1호
    • /
    • pp.189-200
    • /
    • 2004
  • Recently Flash Memory which is small and low-powered is widely used as a storage of embedded system, because an embedded system requests portability and a fast response. To resolve a difference of access time between a storage and RAM, Linux is using disk caching which copies a part of file on disk into RAM. It is not also an exception on embedded system. A READ access-time of flash memory is similar to RAMs. So, when a process on an embedded system reads data, it is similar to the time to access cached data in RAM and to access directly data on a flash memory. On the embedded system using limited memory, using a disk cache is that wastes much time and memory spaces to manage it and can not reflects the characteristic of a flash memory. This paper proposes the regular file access of limited using a page cache in the file system based on a flash memory and reflects the characteristic of a flash memory. The proposed algorithm minimizes power consumption because access numbers of the RAM are reduced and doesn't waste a memory space because it accesses directly to a flash memory Therefore, the performance improvement of the system applying the proposed algorithm is expected.

  • PDF

ECA 모델 기반의 개인 데이터 자동 백업 시스템 구현 (Implementation of Automatic Backup System for Personal Data based on ECA Model)

  • 전인하;이봉구;김영지;문현정;우용태
    • 디지털산업정보학회논문지
    • /
    • 제4권2호
    • /
    • pp.101-108
    • /
    • 2008
  • In this paper, we develop system to backup automatically personal data by real time based on ECA model. This system backups data that is changed in user PC using CDP technology based on ECA model. Proposed ECA model defines file's change such as file creation, update, remove etc. in user PC to event for synchronization between server and user PC. If event is detected about file, proposed system examines condition that is defined and backup the file to server. Backup data that is stored to server can recovery on point of time that user wants. The proposed system can be applied to data management system for business, personal data management system, high-capacity contents management system etc.

분산 P2P 시스템을 활용한 안전한 파일 분산 방안 (Secure file distribution method using distribution P2P system)

  • 김진홍;김선영;이윤진;조인준
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 추계종합학술대회
    • /
    • pp.545-548
    • /
    • 2005
  • 최근 들어 클라이언트/서버 컴퓨팅 환경에서 서버의 과도한 부하 문제를 해결하고자 P2P 컴퓨팅 환경이 대두되고 있다. 현재 실용화 되어 운영중인 P2P 컴퓨팅 환경은 주로 파일 출판자/송신자/수신자의 실명기반 혹은 익명기반의 P2P 시스템으로 전개되고 있다. 하지만, 어떤 환경에서건 현재의 파일 보호는 파일 단위 기반의 보안기술이 적용됨에 따라 첫째, 적의 공격목표가 특정 단일 호스트라는 취약점을 지니게 되고, 둘째, 취득된 파일에 대해 Brute Force 공격이 용이하고, 셋째, DOS공격 목표를 명료하게 하는 등의 문제점을 지니고 있다. 본 논문에서는 이러한 문제점 해결책으로 파일을 블록단위로 분리하고 각 블록을 피어들에게 안전하게 분산시켜 이를 활용하는 분산 P2P 파일분리 시스템을 새롭게 제안하였다. 제안 시스템은 파일이 블록 단위로 인코딩되어 각 피어로 분산됨에 따라 상기의 3가지 문제점을 해결할 뿐만 아니라 파일 활용의 효율성을 증진시키는 부대 효과를 얻을 수 있다.

  • PDF

FAT 파일 시스템의 호환성을 유지하며 성능과 안정성을 향상시키는 메타데이터 저널링 기법의 설계 (Temporary Metadata Journaling Scheme to Improve Performance and Stability of a FAT Compatible File System)

  • 현철승;최종무;이동희;노삼혁
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권3호
    • /
    • pp.191-198
    • /
    • 2009
  • FAT 호환 파일 시스템은 다양한 플랫폼에서 데이터가 호환 가능하기 때문에 메모리 카드나 임베디드 시스템에서 널리 사용된다. 최근 임베디드 시스템에서는 갑작스런 전원 정지 시 복수 기법뿐만아니라 다양한 응용의 요구를 만족시키기 위해 더 나은 파일 시스템의 성능을 요구하고 있다. 이런 요구를 수용하기 위해서는 파일 시스템의 구조에 대해 변경이 필요해 진다. 파일 시스템의 구조에 대한 변경은 데이터의 호환성에 심각한 문제를 발생시키게 된다. 메타데이터 저널링(Metadata Journaling)은 데이터 호환성 문제를 최소화하면서 뛰어난 성능을 만족시킬 수 있는 기법이다. 이 기법을 FAT 호환 파일 시스템에 구현하여 벤치마크를 수행하였다. 벤치마크 결과는 작은 크기의 불규칙적인 메타데이터 쓰기를 저널 영역에 순차적으로 씀으로써 성능의 향상을 확인할 수 있었다. 뿐만 아니라 제안된 기법은 자연적으로 복구 기법을 제공함으로써 빠른 시간 내에 부팅이 가능하다. 그렇지만 일시적으로 FAT 호환 파일 시스템과 호환이 불가능한 지점이 존재한다. 이런 문제는 파일 시스템이 언마운트(un-mount)시점에 저널 영역에 쓰인 내용들을 원래의 위치로 복사함으로써 FAT 파일 시스템과 호환성을 유지시킬 수 있다.

스마트팩토리 확산을 위한 비파일시스템(None File System) 기반의 차세대 데이터보호에 관한 연구 (A Study on Next-Generation Data Protection Based on Non File System for Spreading Smart Factory)

  • 김승용;황인철;김동식
    • 한국재난정보학회 논문집
    • /
    • 제17권1호
    • /
    • pp.176-183
    • /
    • 2021
  • 연구목적: 우리나라 최근 4차 산업 혁명의 핵심 기술인 인공지능(AI), 사물인터넷(loT), 가상현실(VR) 등을 제조 환경에 반영한 스마트공장 도입이 활발히 추진되고 있다. 그러나 기존 운영체제 기반의 파일 시스템에서 발생하는 각종 문제점을 해결하고자 비파일시스템 기반의 데이터보호 기술을 연구·검증하고자 한다. 연구방법: 본 연구에서는 운영체제에 의해 식별되거나 제어되지 않는 보안저장부와 디지털 키 값의 입력에 따라 보안 저장부를 활성화할 수 있는 방법연구와 BIOS 동작 시 연결을 위한 입출력 정보만 제공하는 제어부를 설정하고 보안 저장부의 활성화에 따라 제2 메타 데이터를 사용한 맵핑 동작을 수행할 수 있도록 비파일형태의 구조를 연구함. 연구결과: 첫째, 비파일시스템 기반의 보안 저장부의 생성과 데이터 입출력 시 데이터 손상 여부를 샘플 데이터의 해시함수 값과 일반 저장부 및 보안 저장부의 해시함수 값을 비교하여 일치하는 것을 확인하였음. 둘째, 보안 저장부의 데이터 보호 성능 실험에서는 원본 파일의 해시함수 값과 랜섬웨어 활동 이후의 일반 저장부와 보안 저장부의 해시함수 값을 비교하여 악성코드인 랜섬웨어로부터 데이터 보호 성능을 확인함. 결론: 본 연구는 국가적으로 추진하고 있는 스마트팩토리 구축 사업을 통해 기업에 도입되고 있는 정보시스템 내의 중요 데이터를 보호하기 위한 새로운 개념의 데이터 보호 기술을 구현하고 실험하였다. 정보보안의 목적인 중요 데이터의 보호를 위해 기존의 저장 개념과 달리 파일 시스템에 비의존적인 비파일 형태의 보안 저장부 생성기술을 구현하였고 그 안전성을 검증하였음.