• 제목/요약/키워드: in-memory data management

검색결과 428건 처리시간 0.025초

Predictive Memory Allocation over Skewed Streams

  • Yun, Hong-Won
    • Journal of information and communication convergence engineering
    • /
    • 제7권2호
    • /
    • pp.199-202
    • /
    • 2009
  • Adaptive memory management is a serious issue in data stream management. Data stream differ from the traditional stored relational model in several aspect such as the stream arrives online, high volume in size, skewed data distributions. Data skew is a common property of massive data streams. We propose the predicted allocation strategy, which uses predictive processing to cope with time varying data skew. This processing includes memory usage estimation and indexing with timestamp. Our experimental study shows that the predictive strategy reduces both required memory space and latency time for skewed data over varying time.

다중 메모리로 구성된 저장장치에서 데이터 탐색 비용을 줄이기 위한 메모리 매핑 기법 (A Memory Mapping Technique to Reduce Data Retrieval Cost in the Storage Consisting of Multi Memories)

  • 이현섭
    • 사물인터넷융복합논문지
    • /
    • 제9권1호
    • /
    • pp.19-24
    • /
    • 2023
  • 최근 메모리 기술의 급격한 발전으로 개발되고 있는 다양한 종류의 메모리는 데이터 관리 시스템에서 처리 속도 향상을 위해 활용되고 있다. 특히 NAND 플래시 메모리는 전원이 차단되어도 데이터를 유지할 수 있는 비휘발성 특징이 있으므로 메모리 기반 저장장치의 데이터 저장용 주요 미디어로 활용되고 있다. 그러나 최근 연구되고 있는 메모리 기반 저장장치는 NAND 플래시 메모리뿐만 아니라 MRAM과 PRAM 등 다양한 종류의 메모리로 구성되어 있고 추가로 새로운 특성이 있는 다양한 종류의 메모리가 개발되고 있다. 따라서 특성이 서로 다른 이종의 메모리들로 구성된 저장 시스템에서 미디어의 데이터 처리 성능과 효율 향상을 위한 메모리 관리 기술의 연구가 필요하다. 본 논문에서는 데이터 관리를 위해 다양한 메모리로 구성된 저장장치에서 데이터를 효율적으로 관리하기 위한 메모리 사상 기법을 제안한다. 제안하는 아이디어는 서로 다른 이종 메모리를 하나의 사상 테이블을 활용하여 관리하는 방법이다. 이 방법은 데이터의 주소 체계를 통일할 수 있고 데이터 티어링(tiering)을 위해 서로 다른 메모리에 분할 저장된 데이터의 탐색 비용을 감소시킬 수 있다.

메모리 워크로드 분석을 위한 고속 커널 데이터 수집 기법 (High Speed Kernel Data Collection method for Analysis of Memory Workload)

  • 윤준영;정승완;박종우;김정준;서대화
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제2권11호
    • /
    • pp.461-470
    • /
    • 2013
  • 본 논문은 정밀한 메모리 워크로드 분석을 위해 리눅스 기반의 커널 수준에서 프로세스의 메모리 관리 구조체에 직접 접근하는 방법을 이용하여 고속으로 커널 데이터를 수집하는 기법을 제안한다. 기존의 분석기들은 데이터 수집 속도가 느리고 제공되는 데이터의 제한으로 인하여 확장성이 부족하다. 제안 기법은 메모리 관리 구조체 내의 프로세스 메모리정보, 페이지 테이블, 페이지 구조체를 직접 수집하는 방법을 이용하여 기존의 기법 보다 빠르게 커널 데이터를 수집하며, 사용자가 원하는 데이터를 선택하여 수집할 수 있다. 제안 기법을 통해 실제 실행 중인 프로세스의 메모리 관리 데이터를 수집하고 메모리 워크로드에 대한 분석을 수행하였다.

연속질의의 처리를 위한 이용률 기반의 적응적 메모리 관리 기법 (Adaptive Memory Management Method based on Utilization Ratio to Process Continuous Query)

  • 백성하;이동욱;어상훈;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.79-88
    • /
    • 2009
  • 실시간으로 입력되는 스트림을 저장하기 위한 메모리의 크기는 동적으로 변한다. 이 데이터 스트림을 처리하는 연속질의는 저장공간의 크기를 동적으로 관리해야 한다. 이를 위해, 저장되는 현재 데이터양에 따라 즉시 페이지 단위로 메모리를 할당 및 해제하는 기본적인 메모리 관리자가 연구되었다. 그러나 이 방법은 데이터 스트림을 저장하기 위해 메모리의 할당 및 해제를 매우 빈번하게 수행하게 된다. 또한 질의가 메모리가 부족할 때 즉시 페이지를 할당하기 때문에, 특정 지연되는 질의가 대량의 페이지를 점유하는 문제를 발생시킬 수 있다. 메모리관리자에서 발생하는 이와 같은 문제에 초점을 맞추어, 본 연구는 할당 및 해제 빈도수를 감소시키고, 질의 별로 최대한 균등하게 페이지를 분배하는 메모리 관리 기법을 제안한다. 본 기법은 질의의 페이지 이용률을 이용하여 할당 및 해제 빈도수를 크게 감소시키고, 질의의 지연 상태에 따른 메모리의 할당을 통하여 특정 질의의 메모리 독점을 방지할 수 있다.

  • PDF

Design of Memory-Resident GIS Database Systems

  • Lee, J. H.;Nam, K.W.;Lee, S.H.;Park, J.H.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.499-501
    • /
    • 2003
  • As semiconductor memory becomes cheaper, the memory capacity of computer system is increasing. Therefore computer system has sufficient memory for a plentiful spatial data. With emerging spatial application required high performance, this paper presents a GIS database system in main memory. Memory residence can provide both functionality and performance for a database management system. This paper describes design of DBMS for storing, querying, managing and analyzing for spatial and non-spatial data in main-memory. This memory resident GIS DBMS supports SQL for spatial query, spatial data model, spatial index and interface for GIS tool or applications.

  • PDF

Concurrency Control Method to Provide Transactional Processing for Cloud Data Management System

  • Choi, Dojin;Song, Seokil
    • International Journal of Contents
    • /
    • 제12권1호
    • /
    • pp.60-64
    • /
    • 2016
  • As new applications of cloud data management system (CDMS) such as online games, cooperation edit, social network, and so on, are increasing, transaction processing capabilities for CDMS are required. Several transaction processing methods for cloud data management system (CDMS) have been proposed. However, existing transaction processing methods have some problems. Some of them provide limited transaction processing capabilities. Some of them are hard to be integrated with existing CDMSs. In this paper, we proposed a new concurrency control method to support transaction processing capability for CDMS to solve these problems. The proposed method was designed and implemented based on Spark, an in-memory distributed processing framework. It uses RDD (Resilient Distributed Dataset) model to provide fault tolerant to data in the main memory. In our proposed method, database stored in CDMS is loaded to main memory managed by Spark. The loaded data set is then transformed to RDD. In addition, we proposed a multi-version concurrency control method through immutable characteristics of RDD. Finally, we performed experiments to show the feasibility of the proposed method.

상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법 (An Efficient Cache Management Scheme for Load Balancing in Distributed Environments with Different Memory Sizes)

  • 최기태;윤상원;박재열;임종태;이석희;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.543-548
    • /
    • 2015
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 기하급수적으로 데이터가 급증하고 있다. 기존 디스크 기반 분산 파일 시스템은 I/O 처리 비용 및 병목 현상으로 인해 데이터 처리나 데이터 접근 성능에 한계가 발생한다. 이러한 문제점을 해결하기 위해 메모리에 데이터를 관리하는 캐시 기법이 활용되고 있다. 본 논문에서는 분산 메모리 환경에서 부하 분산을 처리하기 위한 캐시 관리 기법을 제안한다. 제안하는 기법은 노드의 메모리의 크기가 서로 상이한 환경에서 메모리 크기에 따라 데이터를 분배하고 노드의 부하가 발생할 경우 핫 데이터를 재분배한다. 또한, 캐시 항목의 재사용 가능성, 사용 빈도수, 접근 시간을 고려한 캐시 교체 기법을 제안한다. 성능 평가를 통해 제안하는 분산 캐시 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

Energy-Efficient Last-Level Cache Management for PCM Memory Systems

  • Bahn, Hyokyung
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권1호
    • /
    • pp.188-193
    • /
    • 2022
  • The energy efficiency of memory systems is an important task in designing future computer systems as memory capacity continues to increase to accommodate the growing big data. In this article, we present an energy-efficient last-level cache management policy for future mobile systems. The proposed policy makes use of low-power PCM (phase-change memory) as the main memory medium, and reduces the amount of data written to PCM, thereby saving memory energy consumptions. To do so, the policy keeps track of the modified cache lines within each cache block, and replaces the last-level cache block that incurs the smallest PCM writing upon cache replacement requests. Also, the policy considers the access bit of cache blocks along with the cache line modifications in order not to degrade the cache hit ratio. Simulation experiments using SPEC benchmarks show that the proposed policy reduces the power consumption of PCM memory by 22.7% on average without degrading performances.

스크래치패드 메모리를 위한 데이터 관리 기법 리뷰 (A Review of Data Management Techniques for Scratchpad Memory)

  • 조두산
    • 문화기술의 융합
    • /
    • 제9권1호
    • /
    • pp.771-776
    • /
    • 2023
  • 스크래치패드 메모리는 소프트웨어 제어 온칩 메모리로서 기존의 캐시 메모리의 단점을 완화할 수 있게 설계되어 이용되고 있다. 기존의 캐시 메모리는 태그 관련 하드웨어 제어 로직이 있어 캐시 미스를 사용자가 직접 제어할 수 없으며, 사이즈가 크고 에너지 소모량이 상대적으로 많다. 스크래치패드 메모리는 이러한 하드웨어 오버헤드를 제거하였기 때문에 사이즈, 에너지 소모량에서 장점이 있으나 데이터 관리를 소프트웨어가 해야하는 부담이 존재한다. 본 연구에서는 스크래치패드 메모리의 데이터 관리 기법들을 분류하여 살펴보고 그 장점을 극대화할 수 있는 방안에 대하여 논의하였다.

다중 전술 데이터링크 데이터 관리에 대한 연구 (A Study on the Multi-Tactical Data Link Data Management)

  • 황정은;이강;정석호
    • 한국전자통신학회논문지
    • /
    • 제15권3호
    • /
    • pp.457-464
    • /
    • 2020
  • 한국군은 Link-11, Link-16 과 Link-K를 적용한 한국형 전술 데이터링크 체계 JTDLS(: Joint Tactical Data Link System)를 운용하고 있다. Link-11에서 Link-22로의 교체 시점이 도래함에 따라 JTDLS 완성형 사업에서는 기존의 전술 데이터링크 외에 Link-22 등의 전술 데이터링크 처리가 추가될 예정이다. 다양한 전술 데이터링크 메시지 처리를 위해 본 논문에서는 Link-K, Link-16, KVMF 등 다중 전술 데이터링크의 데이터를 처리 할 수 있는 데이터 관리 구조를 제안하고, DLP 측면에서 많은 데이터를 빠르게 처리하는 방안을 찾기 위한 Shared Memory, In-Memory DB, 자체개발 DB를 이용하여 모의시험을 진행하고, 그 결과를 확인해 보고자 한다.