• Title/Summary/Keyword: I/O data

검색결과 1,266건 처리시간 0.036초

메모리 파일 시스템 기반 고성능 메모리 맵 파일 입출력을 위한 매핑 캐시 (Mapping Cache for High-Performance Memory Mapped File I/O in Memory File Systems)

  • 김지원;최정식;한환수
    • 정보과학회 논문지
    • /
    • 제43권5호
    • /
    • pp.524-530
    • /
    • 2016
  • 기존보다 데이터를 빠르게 접근하기 위한 노력과 비-휘발성 메모리의 발전은 메모리 파일 시스템 연구에 큰 기여를 해왔다. 메모리 파일 시스템은 파일 입출력의 고성능을 위해서 기존에 사용하는 읽기-쓰기 입출력보다 오버헤드가 적은 메모리 맵 파일 입출력을 사용하도록 제안하고 있다. 하지만 메모리 맵 파일 입출력을 사용하게 되면서 페이지 테이블을 구축할 때 발생하는 오버헤드가 전체 입출력 성능의 큰 부분을 차지하게 되었다. 또한 같은 파일이 반복적으로 접근될 때마다 페이지 테이블을 매번 삭제하기 때문에, 오버헤드가 불필요하게 중복되어서 발생한다는 점을 발견했다. 본 논문이 제안하는 매핑 캐시는 이러한 중복되는 오버헤드를 제거하기 위해서, 매핑이 해제될 때 파일의 페이지 테이블을 제거하지 않고 저장하고 있다가 다시 접근될 때 이를 재활용할 수 있도록 고안한 기법이다. 매핑 캐시는 기존 파일 입출력 성능보다 2.8배, 그리고 웹서버 전체 성능보다 12% 향상을 보였다.

메모리 파일시스템에서 메모리 매핑을 이용한 파일 입출력의 오버헤드 분석 (Analyzing the Overhead of the Memory Mapped File I/O for In-Memory File Systems)

  • 최정식;한환수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권10호
    • /
    • pp.497-503
    • /
    • 2016
  • 비휘발성 메모리 같은 차세대 저장장치의 등장으로 저장장치 지연시간은 거의 사라질 것이다. 예전에는 저장장치 지연시간이 가장 큰 문제였기 때문에 소프트웨어의 효율성은 중요한 문제가 아니었다. 하지만 이제는 소프트웨어 오버헤드가 해결해야 할 문제점으로 나타나고 있다. 소프트웨어 오버헤드를 최소화하기 위해 많은 연구자들은 메모리 매핑을 이용한 파일 입출력 기법을 제안하고 있다. 메모리 맵 파일 입출력 기법을 사용하면 기존 운영체제의 복잡한 파일 입출력 스택을 피할 수 있을 뿐 아니라 빈번한 사용자/커널 모드 변환도 최소화할 수 있다. 또한 다수의 메모리 복사 오버헤드도 최소화 할 수 있다. 하지만 메모리 맵 파일 입출력 기법에도 해결해야 할 문제점이 존재한다. 메모리 맵 파일 입출력 메커니즘도 느린 블록 디바이스를 효율적으로 관리하기 위해 설계된 기존 운영체제의 일부이기 때문이다. 본 논문에서는 메모리 맵 파일 입출력의 오버헤드 문제점을 설명하고 실험을 통해 그 문제점을 확인한다.

뉴메모리를 이용한 고성능 및 호환성을 위한 I/O 변환 계층 기술 (I/O Translation Layer Technology for High-performance and Compatibility Using New Memory)

  • 송현섭;문영제;노삼혁
    • 정보과학회 논문지
    • /
    • 제42권4호
    • /
    • pp.427-433
    • /
    • 2015
  • 컴퓨팅 시스템이 급속도로 발전함에 따라 빠른 데이터 처리가 요구되고, 이를 위한 고성능 저장 장치 기술이 요구되고 있다. 차세대 메모리인 뉴메모리는 고성능 저장장치에 활용될 수 있는 장점을 가진다. 뉴메모리는 비휘발성을 가지고 있으며, DRAM (Dynamic Random Access Memory)에 가까운 접근 속도를 가지고 있어서, 업계 및 학계로 하여금 새로운 저장장치의 역할을 할 수 있을 것이라는 기대를 받고 있다. 본 연구는 뉴메모리를 저장장치로 활용하기 위한 기술로 NTL (New memory Translation Layer)을 제시한다. NTL은 기존의 디스크 파일시스템을 뉴메모리에서 사용할 수 있게 하여 높은 호환성을 제공하며, 블록 단위가 아닌 바이트 단위로 입출력 데이터를 처리하여 높은 데이터 처리량을 제공한다. 본 논문에서는 NTL의 설계에 대해 서술하며, NTL을 통해 얻는 성능 이점을 보여주기 위한 실험 결과를 제시한다.

DEVELOPMENT AND IMPLEMENTATION OF DISTRIBUTED HARDWARE-IN-THE-LOOP SIMULATOR FOR AUTOMOTIVE ENGINE CONTROL SYSTEMS

  • YOON M.;LEE W.;SUNWOO M.
    • International Journal of Automotive Technology
    • /
    • 제6권2호
    • /
    • pp.107-117
    • /
    • 2005
  • A distributed hardware-in-the-loop simulation (HILS) platform is developed for designing an automotive engine control system. The HILS equipment consists of a widely used PC and commercial-off-the-shelf (COTS) I/O boards instead of a powerful computing system and custom-made I/O boards. The distributed structure of the HILS system supplements the lack of computing power. These features make the HILS equipment more cost-effective and flexible. The HILS uses an automatic code generation extension, REAL-TIME WORKSHOP$^{ (RTW$^{) of MATLAB$^{ tool-chain and RT-LAB$^{, which enables distributed simulation as well as the detection and generation of digital event between simulation time steps. The mean value engine model, which is used in control design phase, is imported into this HILS. The engine model is supplemented with some I/O subsystems and I/O boards to interface actual input and output signals in real-time. The I/O subsystems are designed to imitate real sensor signals with high fidelity as well as to convert the raw data of the I/O boards to the appropriate forms for proper interfaces. A lot of attention is paid to the generation of a precise crank/ earn signal which has the problem of quantization in a conventional fixed time step simulation. The detection of injection! command signal which occurs between simulation time steps are also successfully compensated. In order to prove the feasibility of the proposed environment, a simple PI controller for an air-to-fuel ratio (AFR) control is used. The proposed HILS environment and I/O systems are shown to be an efficient tool to develop various control functions and to validate the software and hardware of the engine control system.

가상화 환경을 위한 QEMU/KVM 기반의 인메모리 블록 캐시 모듈 구현 (QEMU/KVM Based In-Memory Block Cache Module for Virtualization Environment)

  • 김태훈;송광혁;노재춘;박성순
    • 정보과학회 논문지
    • /
    • 제44권10호
    • /
    • pp.1005-1018
    • /
    • 2017
  • 가상화는 클라우드 컴퓨팅의 핵심 기술로 물리적 서버에 다수의 가상머신을 운영하여 서버 자원에 대한 활용도를 극대화하고, 관리의 편리성과 보안성을 향상시키는 것을 목표로 한다. 그러나 가상화는 물리적인 자원을 공유하기 때문에 가상머신의 성능이 저하되는 문제점을 가지고 있다. 본 연구에서는 가상머신의 대수에 따라서 발생하는 입출력 부하를 검증하고, 성능 저하의 원인을 해결하기 위해 KVM 하이퍼바이저의 블록 처리 과정을 분석하였다. 또한, 가상화 환경의 입출력 문제점을 보완하기 위한 QBic(QEMU/K-VM Based In-Memory Cache)을 구현하였다. QBic은 하이퍼바이저의 블록 입출력 과정을 모니터링하여 사용빈도가 높은 데이터를 캐시에 저장한다. 이후 캐시를 통해 해당하는 데이터를 빠르게 접근할 수 있으며, 스토리지의 접근 횟수를 줄여 하드웨어의 부하를 낮출 수 있다. 마지막으로 성능 측정을 통해 그 결과를 기술한다.

Optimizing Garbage Collection Overhead of Host-level Flash Translation Layer for Journaling Filesystems

  • Son, Sehee;Ahn, Sungyong
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제13권2호
    • /
    • pp.27-35
    • /
    • 2021
  • NAND flash memory-based SSD needs an internal software, Flash Translation Layer(FTL) to provide traditional block device interface to the host because of its physical constraints, such as erase-before-write and large erase block. However, because useful host-side information cannot be delivered to FTL through the narrow block device interface, SSDs suffer from a variety of problems such as increasing garbage collection overhead, large tail-latency, and unpredictable I/O latency. Otherwise, the new type of SSD, open-channel SSD exposes the internal structure of SSD to the host so that underlying NAND flash memory can be managed directly by the host-level FTL. Especially, I/O data classification by using host-side information can achieve the reduction of garbage collection overhead. In this paper, we propose a new scheme to reduce garbage collection overhead of open-channel SSD by separating the journal from other file data for the journaling filesystem. Because journal has different lifespan with other file data, the Write Amplification Factor (WAF) caused by garbage collection can be reduced. The proposed scheme is implemented by modifying the host-level FTL of Linux and evaluated with both Fio and Filebench. According to the experiment results, the proposed scheme improves I/O performance by 46%~50% while reducing the WAF of open-channel SSDs by more than 33% compared to the previous one.

GPS/INS 통합 항법 시스템용 모니터링 시스템 설계 (Monitoring System Design for the GPS/INS Integrated Navigation System)

  • 한상재;오상헌;황동환;이상정
    • 제어로봇시스템학회논문지
    • /
    • 제9권3호
    • /
    • pp.242-250
    • /
    • 2003
  • We propose the monitoring system scheme for the CPS/INS integrated navigation system. The design requirements of the monitoring system are suggested and the software scheme based on GUI is proposed. The proposed monitoring system consists of an I/O interface part, a navigation data display part, and a post-processing part. The I/O interface part is responsible for data communication between the monitoring system and a navigation computer unit. The navigation data display part provides various display methods to show the navigation data to user in real-time. The post-processing part collects the navigation data to analyze the performance of navigation system. The proposed monitoring system software was developed using the Visual C++ programming language and a van test was carried out to demonstrate the real-time operation of the monitoring system. The test result shows that the proposed monitoring system can be effectively applied to the CPS/INS integrated navigation system.

다관절 로봇용 고속 제어보드 개발 및 제어 (Fast Processing System for Motion Control of Multi-body Robots)

  • 심재익;권오흥;김태성;박종현
    • 대한기계학회:학술대회논문집
    • /
    • 대한기계학회 2007년도 춘계학술대회A
    • /
    • pp.951-956
    • /
    • 2007
  • This paper suggests a high-speed control method which is suitable for multi-joint robots using a real-time stand-alone controller for general-purpose. The fast processing controller consists of a PCI Interface Board and 2-axe PWM drivers. The PCI Interface Board consists of 32-channel PWM output ports, 32-channel Encoder Counters, 32-channel A/D Converters and 48-channel Digital I/O ports, and all the I/O data transmissions are completed within 1ms. And The 2-axe PWM driver can be redesigned easily in order to embed in each link. Experimental implementations show that the high-speed control method can be used for the real-time control which is essential to controlling of multi-body robots such as humanoid robots. Especially, it is efficient for realizing the model-based motion control in demand of much calculation time by the high I/O communication speed.

  • PDF

데이터 스트림에 대한 키워드 검색을 위한, 효율적인 갱신이 가능한 디스크 기반 역색인 구조 (An Update-Efficient, Disk-Based Inverted Index Structure for Keyword Search on Data Streams)

  • 박은주;이기용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권4호
    • /
    • pp.171-180
    • /
    • 2016
  • 트위터와 같은 소셜 네트워킹 서비스(social networking service)의 확산으로 스트림 형태의 데이터가 크게 증가하고 있다. 스트림 형태로 들어와 누적되는 데이터를 효율적으로 검색하기 위해서는 색인이 반드시 필요하다. 본 논문에서는 스트림 형태로 들어와 계속 누적되는 데이터에 대한 키워드 검색을 효율적으로 할 수 있게 해주는, 효율적인 갱신이 가능한 디스크 기반 역색인(inverted index) 구조를 제안한다. 데이터 스트림을 검색하기 위해서는 데이터의 유입에 따라 역색인을 계속해서 갱신해 주어야 한다. 전통적인 역색인을 사용하는 경우, 역색인을 갱신하기 위해서는 매번 디스크에 저장된 모든 색인 데이터를 읽고 다시 써야 하므로 디스크 I/O 측면에서 매우 비효율적이다. 이러한 문제를 해결하기 위해 본 논문에서는 역색인을 크기가 지수적으로 증가하는 여러 역색인들로 나누어 저장한다. 새로운 데이터가 들어오면 우선 가장 작은 크기의 역색인에 삽입하고, 작은 크기의 역색인들을 더 큰 크기를 가진 역색인들과 나중에 병합함으로써 평균적으로 역색인을 갱신하는 비용을 크게 낮춘다. 또한 디스크에 저장된 역색인들을 병합할 때 발생하는 디스크 I/O 비용을 최소화함으로써 역색인의 갱신 비용을 더욱 낮춘다. 다양한 실험을 통해 기존 방법과 제안 방법의 효율성을 비교하고, 제안 방법이 갱신 비용에 있어 기존 방법에 비해 훨씬 효율적임을 보인다.

Path based K-means Clustering for RFID Data Sets

  • Yun, Hong-Won
    • Journal of information and communication convergence engineering
    • /
    • 제6권4호
    • /
    • pp.434-438
    • /
    • 2008
  • Massive data are continuously produced with a data rate of over several terabytes every day. These applications need effective clustering algorithms to achieve an overall high performance computation. In this paper, we propose ancestor as cluster center based approach to clustering, the K-means algorithm using ancestor. We modify the K-means algorithm. We present a clustering architecture and a clustering algorithm that minimize of I/Os and show a performance with excellent. In our experimental performance evaluation, we present that our algorithm can improve the I/O speed and the query processing time.