• 제목/요약/키워드: File Storage

검색결과 453건 처리시간 0.028초

SAN 환경에서 공유파일시스템을 위한 Fault-tolerant server 구현 (Design and Implementation of Fault-tolerant server for Shared File System in SAN environment)

  • 최영한;이주평;이철;박규호
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
    • /
    • pp.231-234
    • /
    • 2003
  • This paper designs and implements fault-tolerant server of meta server for shared filesystem (SANfs) in SAN environment. SANfs is the filesystem that many clients can share data in Network-attached storage in SAN environment and meta server is the server that processes file operation in SANfs. The focus of this paper is the implementation of fault-tolerant server of meta server in SANfs. In the event of a meta server, meta server failovers to a fault-tolerant server where its processing continues seamlessly. If meta server doesn't restore, fault-tolerant server searches reliable client and makes another fault-tolerant server and work as meta server. Heartbeat monitors meta server and shadow server and controls them.

  • PDF

에너지 효율적인 파일 분산배치 정책 (Energy-efficient File Distribution Policy)

  • 박찬영;이재면;강경태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제56차 하계학술대회논문집 25권2호
    • /
    • pp.5-6
    • /
    • 2017
  • 본 논문은 데이터를 보다 적은 소비전력으로 보관하기 위한 에너지 효율적인 파일 분산배치 정책을 제안한다. 이 정책은 개별 하드디스크 용량을 빠르게 가득 채우도록 분산 스토리지의 쓰기 동작을 처리하고, 가득 찬 하드디스크의 모터를 정지시켜 에너지 효율을 향상시킨다. Ceph 분산 스토리지를 수정하여 제안하는 파일 분산배치 정책을 적용하였으며 시뮬레이션을 통하여 제안하는 파일 분산배치 정책이 에너지 효율적임을 확인하였다.

  • PDF

이종 데이터 모델에서의 STEP 표준 데이터 인터페이스(SDAI) 구현 (Implemetation of STEP Standard Data Interface (SDAI) on Multiple Data Models)

  • 권용국;유상봉
    • 한국전자거래학회지
    • /
    • 제3권1호
    • /
    • pp.1-22
    • /
    • 1998
  • SDAI (Standard Data Access Interface) is an interface specification of accessing various storage systems such as file systems and database management systems for STEP data. Using SDAI, both application program developers and CAD/CAM system developers can be relieved from dealing with STEP physical file or system dependent DBMS operations. In this paper, we present implementations of SDAI on different data models, i.e., relational, extended relational, and object-oriented. In order to implement SDAI, we need to translate the EXPRESS information model into target data models. The schema translation process for three different data models are compared and other implementation issues are discussed.

  • PDF

휴대용 데이터베이스를 위한 지연된 소거 리스트를 이용하는 플래시 메모리 쉐도우 페이징 기법 (Flash Memory Shadow Paging Scheme Using Deferred Cleaning List for Portable Databases)

  • 변시우
    • Journal of Information Technology Applications and Management
    • /
    • 제13권2호
    • /
    • pp.115-126
    • /
    • 2006
  • Recently, flash memories are one of best media to support portable computer's storages in mobile computing environment. We propose a new transaction recovery scheme for a flash memory database environment which is based on a flash media file system. We improved traditional shadow paging schemes by reusing old data pages which are supposed to be invalidated in the course of writing a new data page in the flash file system environment. In order to reuse these data pages, we exploit deferred cleaning list structure in our flash memory shadow paging (FMSP) scheme. FMSP scheme removes the additional storage overhead for keeping shadow pages and minimizes the I/O performance degradation caused by data page distribution phenomena of traditional shadow paging schemes. We also propose a simulation model to show the performance of FMSP. Based on the results of the performance evaluation, we conclude that FMSP outperforms the traditional scheme.

  • PDF

분산 데이타 베이스 설계시의 자료 배정문제에 관한 연구 (A Study on Data Allocation Problems of Distributed Databases)

  • 신기태;박진우
    • Asia pacific journal of information systems
    • /
    • 제1권1호
    • /
    • pp.49-62
    • /
    • 1991
  • This paper examines the problems of database partitioning and file allocation in a fixed topology distributed computer network. The design objective is to make files as collections of attributes and to allocate these files to network nodes so that a minimum total transmission cost is achieved subject to storage capacity constraints. A mathematical model for solving the problem is formulated and, the resulting optimization problem is shown to fall in a class of NP-complete problems. A new heuristic algorithm is developed which uses the idea of allocating attributes according to the transaction requirements at each computer node and then making files using the allocated attributes. Numerical results indicate that the heuristic algorithm yields practicable low cost solutions in comparison with the existing methods which deal with the file allocation problems and database partitioning problems independently.

  • PDF

Efficient Multimedia Data File Management and Retrieval Strategy on Big Data Processing System

  • Lee, Jae-Kyung;Shin, Su-Mi;Kim, Kyung-Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권8호
    • /
    • pp.77-83
    • /
    • 2015
  • The storage and retrieval of multimedia data is becoming increasingly important in many application areas including record management, video(CCTV) management and Internet of Things (IoT). In these applications, the files containing multimedia that need to be stored and managed is tremendous and constantly scaling. In this paper, we propose a technique to retrieve a very large number of files, in multimedia format, using the Hadoop Framework. Our strategy is based on the management of metadata that describes the characteristic of files that are stored in Hadoop Distributed File System (HDFS). The metadata schema is represented in Hbase and looked up using SQL On Hadoop (Hive, Tajo). Both the Hbase, Hive and Tajo are part of the Hadoop Ecosystem. Preliminary experiment on multimedia data files stored in HDFS shows the viability of the proposed strategy.

Version-Aware Cooperative Caching for Multi-Node Rendering

  • Cho, Kyungwoon;Bahn, Hyokyung
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권2호
    • /
    • pp.30-35
    • /
    • 2022
  • Rendering is widely used for visual effects in animations and movies. Although rendering is computing-intensive, we observe that it accompanies heavy I/O because of large input data. This becomes technical hurdles for multi-node rendering performed on public cloud nodes. To reduce the overhead of data transmission in multi-node rendering, this paper analyzes the characteristics of rendering workloads, and presents the cooperative caching scheme for multi-node rendering. Our caching scheme has the function of synchronization between original data in local storage and cached data in rendering nodes, and the cached data are shared between multiple rendering nodes. We perform measurement experiments in real system environments and show that the proposed cooperative caching scheme improves the conventional caching scheme used in the network file system by 27% on average.

Secure Data Sharing in The Cloud Through Enhanced RSA

  • Islam abdalla mohamed;Loay F. Hussein;Anis Ben Aissa;Tarak kallel
    • International Journal of Computer Science & Network Security
    • /
    • 제23권2호
    • /
    • pp.89-95
    • /
    • 2023
  • Cloud computing today provides huge computational resources, storage capacity, and many kinds of data services. Data sharing in the cloud is the practice of exchanging files between various users via cloud technology. The main difficulty with file sharing in the public cloud is maintaining privacy and integrity through data encryption. To address this issue, this paper proposes an Enhanced RSA encryption schema (ERSA) for data sharing in the public cloud that protects privacy and strengthens data integrity. The data owners store their files in the cloud after encrypting the data using the ERSA which combines the RSA algorithm, XOR operation, and SHA-512. This approach can preserve the confidentiality and integrity of a file in any cloud system while data owners are authorized with their unique identities for data access. Furthermore, analysis and experimental results are presented to verify the efficiency and security of the proposed schema.

NoD서비스용 멀티미디어 데이터의 효율적인 저장 및 검색을 위한 하부저장 관리자의 설계 및 구현 (Design and Implementation of a Low-level Storage Manager for Efficient Storage and Retrieval of Multimedia Data in NOD Services)

  • 진기성;정재욱;장재우
    • 한국정보처리학회논문지
    • /
    • 제7권4호
    • /
    • pp.1033-1043
    • /
    • 2000
  • 최근 NoD(News-on-Demand)에 대한 사용자의 요구가 증가함에 따라, 이러한 요구를 충족시키기 위한 많은 연구가 진행중에 있다. 그러니 뉴스 비디오 데디터는 짧은 생명주기, 앵커를 중시미으로 한 주기적 변화로인해 기존의 비디오 저장방식을 그대로 용하기가 어렵다. 이릉 위해, 본 논문에서는 NoD서비스용 멀티미디어 데이터의 효율적인 저장 및 검색을 위한 하부저장 관리자를 설계 및 구현하다. 하부 저장 관리자는 멀티미디어 객체 지체의 비디오 스트림 데이터와 색인 정보를 효율적으로 저장하고 관리하며, 텍스트 기반 검색을 위해 역화일 기법과 고차훤 특징 벡터의 색인을 위해 X-트리 구조를 제공한다. 아울러 하부 저장 관리자는 계층적인 뉴스 비디오 객체로부터 추출된 부가적인 정보들은 효율적으로 저장할 수 있는 저장 API(Application Program Interpace)와 커서를 통한 사용자의 편리한 검색을 지원하는 검색API를 제공한다. 마지막으로 하부 저장 관리자는 SHORE(Scalable Heterogeneous Object REpository) 저장 시스템을 이용하여 UNLX 운영체제 하엣 표준 C++언어를 사용하여 구현하였다. 구현하였다.

  • PDF

SOAR : 저장장치를 기반으로 하는 시스템의 신뢰성 분석도구 개발 (SOAR : Storage Reliability Analyzer)

  • 김영진;원유집;김락기
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제35권6호
    • /
    • pp.248-262
    • /
    • 2008
  • 대용량 멀티미디어 파일의 증가와 개인의 디지털 정보의 중요성이 날로 증가하면서 저장장치는 고용량화, 고집적화 되는 방향으로 발전하고 있다. 따라서 저장장치에 발생되는 물리적인 오류는 단순히 작은 영역의 손상이 아닌 매우 넓은 영역에 대한 정보 손실로 이어진다. 이를 방지하기 위해서는 시스템을 사용하기 전에 물리적인 오류에 대한 시스템의 강인성과 대처 수준을 검증하고 사용해야 한다. SOAR(Storage Reliability Analyzer)는 검증의 핵심이 될 수 있는 물리적인 오류 발생 기능과 복구 기능을 가지고 있으며 이것은 시스템에 대한 신뢰성과 강인성을 검증 할 수 있는 유용한 도구이다. 이 기능을 보다 편리하게 사용하기 위해서 SOAR는 3가지의 특수한 오류 적용 기법과 파일시스템에 특화된 2가지 기법을 가지고 있다. 본 논문에서는 SOAR를 이용해서 어플리케이션부터 파일시스템까지 물리적인 오류에 대한 검증을 실제 수행하고 결과 분석을 진행하였다. 그러므로 SOAR는 물리적인 오류에 대한 시스템의 많은 문제점을 발견하였고 동시에 그 기능을 증명하였다.