• 제목/요약/키워드: in-memory file systems

검색결과 121건 처리시간 0.039초

상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법 (An Efficient Cache Management Scheme for Load Balancing in Distributed Environments with Different Memory Sizes)

  • 최기태;윤상원;박재열;임종태;이석희;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.543-548
    • /
    • 2015
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 기하급수적으로 데이터가 급증하고 있다. 기존 디스크 기반 분산 파일 시스템은 I/O 처리 비용 및 병목 현상으로 인해 데이터 처리나 데이터 접근 성능에 한계가 발생한다. 이러한 문제점을 해결하기 위해 메모리에 데이터를 관리하는 캐시 기법이 활용되고 있다. 본 논문에서는 분산 메모리 환경에서 부하 분산을 처리하기 위한 캐시 관리 기법을 제안한다. 제안하는 기법은 노드의 메모리의 크기가 서로 상이한 환경에서 메모리 크기에 따라 데이터를 분배하고 노드의 부하가 발생할 경우 핫 데이터를 재분배한다. 또한, 캐시 항목의 재사용 가능성, 사용 빈도수, 접근 시간을 고려한 캐시 교체 기법을 제안한다. 성능 평가를 통해 제안하는 분산 캐시 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

연산 특성을 고려한 향상된 적응적 가비지 컬렉션 정책 (An Advanced Adaptive Garbage Collection Policy by Considering the Operation Characteristics)

  • 박송화;이정훈;이원오;김현우
    • 대한임베디드공학회논문지
    • /
    • 제13권5호
    • /
    • pp.269-277
    • /
    • 2018
  • NAND flash memory has widely been used because of non-volatility, low power consumption and fast access time. However, it suffers from inability to provide update-in-place and the erase cycle is limited. The unit of read/write operation is a page and the unit of erase operation is a block. Moreover erase operation is slower than other operations. We proposed the Adaptive Garbage Collection (called "AGC") policy which focuses on not only reducing garbage collection process time for real-time guarantee but also wear-leveling for a flash memory lifetime. The AGC performs better than Cost-benefit policy and Greedy policy. But the AGC does not consider the operation characteristics. So we proposed the Advanced Adaptive Garbage Collection (called "A-AGC") policy which considers the page write operation count and block erase operation count. The A-AGC reduces the write operations by considering the data update frequency and update data size. Also, it reduces the erase operations by considering the file fragmentation. We implemented the A-AGC policy and measured the performance compared with the AGC policy. Simulation results show that the A-AGC policy performs better than AGC, specially for append operation.

Development of a Real-time Error-detection System;The Case study of an Electronic Jacquard

  • Huh, Jae-Yeong;Seo, Chang-Jun
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2003년도 ICCAS
    • /
    • pp.2588-2593
    • /
    • 2003
  • Any system has the possibility of an error occurrence. Even if trivial errors were occurred, the original system would be fatally affected by the occurring errors. Accordingly, the error detection must be demanded. In this paper, we developed a real-time error detection system would be able to apply to an electronic Jacquard system. A Jacquard is a machine, which controls warps while weaving textiles, for manufacturing patterned cloth. There are two types of mechanical and electronic Jacquard. An electronic Jacquard is better than a mechanical Jacquard in view of the productivity and realizability for weaving various cloths. Recent weaving industry is growing up increasingly due to the electronic Jacquard. But, the problem of wrong weaving from error data exists in the electronic Jacquard. In this research, a real-time error detection system for an electronic Jacquard is developed for detecting errors in an electronic Jacquard in real-time. The real-time system is constructed using PC-based embedded system architecture. The system detects the occurring errors in real-time by storing 1344 data transferred in serial from an electronic Jacquard into memory, and then by comparing synchronously 1344 data stored into memory with 1344 data in a design file before the next data would be transferred to the Jacquard for weaving. The information of detected errors are monitored to the screen and stored into a file in real-time as the outputs of the system. In this research, we solve the problem of wrong weaving through checking the weaving data and detecting the occurred errors of an electronic Jacquard in real-time.

  • PDF

동적 로그 페이지 할당을 이용한 플래시-고려 DBMS의 스토리지 관리 기법 (Flash-Conscious Storage Management Method for DBMS using Dynamic Log Page Allocation)

  • 송석일;길기정;최길성
    • 한국항행학회논문지
    • /
    • 제14권5호
    • /
    • pp.767-774
    • /
    • 2010
  • NAND 플래시 메모리는 높은 입출력 성능, 내장애성, 저전력 소모 등 여러 가지 장점을 가지고 있어서 하드디스크를 대체할 수 있는 새로운 저장 장치로 관심을 받고 있다. 전통적인 DBMS들은 FTL (Flash Translation Layer)를 이용하면 전혀 수정 없이 플래시 메모리 위에서 동작한다. 그러나, 대부분의 FTL은 DBMS가 아닌 파일 시스템에 최적화 되어있다. 또한, 전통적인 DBMS는 플래시 메모리의 특징 (erase-before-write) 을 고려하지 않고 있다. 이 논문에서는 플래시 메모리를 이차 저장장치로 사용하는 DBMS를 위한 플래시 고려하는 스토리지 시스템을 제안한다. 제안하는 플래시 고려 스토리지 시스템은 비용이 높은 변경 연산을 피하기 위해 로그 레코드를 이용한다. 마지막으로, 실험을 통해서 제안하는 스토리지 시스템이 기존에 제안된 플래시를 고려하는 DBMS에 비해 우수함을 보인다.

An Evaluation of Multimedia Data Downstream with PDA in an Infrastructure Network

  • Hong, Youn-Sik;Hur, Hye-Sun
    • Journal of Information Processing Systems
    • /
    • 제2권2호
    • /
    • pp.76-81
    • /
    • 2006
  • A PDA is used mainly for downloading data from a stationary server such as a desktop PC in an infrastructure network based on wireless LAN. Thus, the overall performance depends heavily on the performance of such downloading with PDA. Unfortunately, for a PDA the time taken to receive data from a PC is longer than the time taken to send it by 53%. Thus, we measured and analyzed all possible factors that could cause the receiving time of a PDA to be delayed with a test bed system. There are crucial factors: the TCP window size, file access time of a PDA, and the inter-packet delay that affects the receiving time of a PDA. The window size of a PDA during the downstream is reduced dramatically to 686 bytes from 32,581 bytes. In addition, because flash memory is embedded into a PDA, writing data into the flash memory takes twice as long as reading the data from it. To alleviate these, we propose three distinct remedies: First, in order to keep the window size at a sender constant, both the size of a socket send buffer for a desktop PC and the size of a socket receive buffer for a PDA should be increased. Second, to shorten its internal file access time, the size of an application buffer implemented in an application should be doubled. Finally, the inter-packet delay of a PDA and a desktop PC at the application layer should be adjusted asymmetrically to lower the traffic bottleneck between these heterogeneous terminals.

빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 (Study of In-Memory based Hybrid Big Data Processing Scheme for Improve the Big Data Processing Rate)

  • 이협건;김영운;김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권2호
    • /
    • pp.127-134
    • /
    • 2019
  • IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.

유비쿼터스 컴퓨팅을 위한 임베디드 파일시스템 (Embedded File System for Ubiquitous Computing)

  • 이병권;주영관;김석일;전중남
    • 한국지능시스템학회논문지
    • /
    • 제14권4호
    • /
    • pp.424-430
    • /
    • 2004
  • 본 논문에서는 유비쿼터스 컴퓨팅의 시스템 구현 방법으로 임베디드 시스템을 활용 시 다양한 플랫폼에 알맞은 파일시스템을 구축하는 방법에 대하여 기술한다. DOC(Disk-On-Chip) 파일시스템과 MTD(Memo Technology Devices)를 기반으로 플래시 메모리를 사용하는 파일시스템에 대한 정형화된 계층 구조를 구성하였다. DOC 파일시스템의 경우, 루트 파일시스템과 유저 파일시스템은 모두 M-Systems가 제공하는 TrueFFS로 구성한다. MTD 파일시스템의 경우, 루트 파일시스템은 속도가 빠른 램 디스크로 구성하고, 유저 파일시스템은 큰 용량을 지원할 수 있는 JFFS2로 구성한다. 또한, 두 가지 경우 모두 GUl(Graphic User Interface) 파일시스템의 구성을 위하여 Qt/E를 포팅하는 과정도 함께 제시한다.

NAND 플래시 메모리 파일 시스템에 빠른 연산을 위한 설계 (Design of Fast Operation Method In NAND Flash Memory File System)

  • 진종원;이태훈;정기동
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권1호
    • /
    • pp.91-95
    • /
    • 2008
  • 플래시 메모리는 비휘발성, 저전력, 빠른 입출력, 충격에 강함 등과 같은 많은 장점을 가지고 있으며 모바일 기기에서의 저장 매체로 사용이 증가되고 있다. 하지만 제자리 덮어쓰기가 불가능하고 지움 연산의 단위가 크다는 제약 및 블록의 지움 횟수 제한이 있다. 이러한 제약을 극복하기 위해 YAFFS와 같은 로그 구조 기반의 플래시 파일 시스템들이 개발되었다. 그러나 쓰기 연산을 위한 공간 요청이 발생할 때나 지움 대상 블록을 선정할 때 순차적으로 블록 정보를 검색하여 할당 및 지움 연산을 수행한다. 이러한 순차적인 블록 접근 방식은 플래시 메모리의 사용량이 증가함에 따라 접근 시간이 증가될 수 있다. 그리고 블록 지움 연산을 수행하는 시기를 결정하여 불필요한 지움 연산 대상 블록을 찾는 시간을 최소화하고 충분한 플래시 메모리의 빈 공간을 유지하여야 한다. 본 논문에서는 이러한 문제점을 해결하기 위해 로그 구조 기반의 NAND 플래시 메모리 파일시스템의 빠른 연산을 위한 기법들을 제안한다. 제안된 기법은 YAFFS 상에서 구현되었으며, 제안한 기법들을 실험을 통해 비교 분석하였다. 제안된 기법은 기존의 성능과 비교해 빠른 연산 성능향상을 보였다.

플래시 메모리를 위한 파일 시스템의 구현 (Implementation of a File System for Flash Memory)

  • 박상호;안우현;박대연;김정기;박승민
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권5호
    • /
    • pp.402-415
    • /
    • 2001
  • 플래시 메모리는 기존의 회전식 자기 매체에 비해서 속도가 빠르고, 충격에 강한 장점이 있다. 이런 특성으로 인해 기존의 가전, 통신 기기, 휴대 기기에서 저장매체로써 플래시 메모리의 사용이 증대하고 있고, 더불어 저장 매체로 플래시 메모리를 사용한 파일 시스템의 필요성도 증가하고 있다. 저장 매체로써 플래시 메모리는 위와 같은 장점 외에 두 가지 문제점을 가지고 있다. 첫째, 데이타를 덧쓸 수가 없다는 점이다. 데이타를 덧쓰기 위해서는 데이타를 저장하기 전에 플래시 메모리를 지워야 하는데, 지우는 작업은 1초 정도의 시간이 소요된다. 따라서, 플래시 메모리에 저장된 데이타를 수정할 때, 시간이 오래 걸리게 되는데, 본 논문에서는 기존의 LFS(Log-structured File System) 방식으로 데이타를 저장하여 이와 같은 문제점을 해결하였다. 플래시 메모리의 두 번째 문제점은 수명이 제한되어 있다는 점이다. 본 논문에서는 cleaning policy를 통하여 수명을 최대한 연장시킬 수 있도록 하였다. 본 논문에서 구현한 플래시 파일 시스템은 소용량 저장 매체에 적합한 FAT를 사용하여 성능을 향상시켰고, FAT를 구현할 EO 발생할 수 있는 문제점을 해결하였다. 또한, 차례 쓰기, 무작위 쓰기의 실험을 통해서 성능을 분석하였다.

  • PDF

Enhanced resource scheduling in Grid considering overload of different attributes

  • Hao, Yongsheng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권3호
    • /
    • pp.1071-1090
    • /
    • 2016
  • Most of scheduling methods in the Grid only consider one special attribute of the resource or one aspect of QoS (Quality of Service) of the job. In this paper, we focus on the problem that how to consider two aspects simultaneously. Based on the requirements of the jobs and the attributes of the resources, jobs are categorized into three kinds: CPU-overload, memory-overload, and bandwidth-overload jobs. One job may belong to different kinds according to different attributes. We schedule the jobs in different categories in different orders, and then propose a scheduling method-MTS (multiple attributes scheduling method) to schedule Grid resources. Based on the comparisons between our method, Min-min, ASJS (Adaptive Scoring Job Scheduling), and MRS (Multi-dimensional Scheduling) show: (1) MTS reduces the execution time more than 15% to other methods, (2) MTS improves the number of the finished jobs before the deadlines of the jobs, and (3) MTS enhances the file size of transmitted files (input files and output files) and improves the number of the instructions of the finished jobs.