• 제목/요약/키워드: in-memory data management

검색결과 437건 처리시간 0.028초

NAND 플래시 메모리 기반 B+ 트리에서 페이지 매핑 로그를 이용한 색인 관리 기법 (Index Management Method using Page Mapping Log in B+-Tree based on NAND Flash Memory)

  • 김선환;곽종욱
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권5호
    • /
    • pp.1-12
    • /
    • 2015
  • 낸드 플래시 메모리는 저전력, 빠른 접근 속도, 저렴한 가격 등의 특징을 가지고 있어 저장장치로 널리 사용되고 있다. 하지만 낸드 플래시 메모리는 제자리 덮어쓰기가 지원되지 않아 기존의 하드 디스크 기반 응용 프로그램을 구동하기 위해서는 FTL(Flash Translation Layer)이 필요하다. FTL은 주소 매핑, 가비지 컬렉션, 마모도 균등화 작업 등을 포함하고 있어 저사양 임베디드 장치에 구현하기에는 메모리와 연산에 대한 비용이 많이 든다. 그래서 이런 장치들을 위해 낸드 플래시 메모리에 최적화된 색인 자료구조들이 연구되고 있다. 연구된 방법들은 쓰기에 소요되는 시간을 줄여 성능을 향상시켰지만 레코드 탐색에 소요되는 시간이 증가된다는 단점을 가지고 있다. 레코드 탐색시간을 증가시키지 않고 쓰기 횟수를 줄이기 위해 본 논문에서는 페이지 매핑 로그 테이블을 이용한 색인 관리 기법을 제안한다. 낸드 플래시 메모리의 단점인 제자리 덮어쓰기 불가로 인해 발생하는 페이지 쓰기 횟수를 줄이기 위해 매핑 로그 테이블은 B+ 트리에서 변경된 노드 페이지 주소를 저장하고 레코드 검색 시 이를 이용한다. 실험 평가를 통해 제안된 기법은 다른 기법들과 비교 시 레코드 탐색에서 발생하는 페이지 읽기 횟수를 최대 약 61% 줄였으며, 레코드 삽입에서 페이지 쓰기 횟수를 최대 약 31% 줄일 수 있었다.

All-IP 이동 통신망에서 HSS 시스템의 효과적인 백업과 실시간 이중화 기법 (Effective Backup and Real-Time Replication Techniques for HSS System in All-IP Mobile Networks)

  • 박성진;박형수
    • 한국산학기술학회논문지
    • /
    • 제10권4호
    • /
    • pp.795-804
    • /
    • 2009
  • 디지털 이동통신 서비스의 가입자 정보를 실시간으로 관리하는 HSS(Home Subscriber Server) 시스템은 사용자의 콜처리를 위한 기본 정보뿐만 아니라 사용자 인증과 운영 등에 관한 추가적인 정보를 제어하기 위해 가입자 데이터베이스를 주기억장치에 상주시켜 운영하는 주기억 장치 데이터베이스(main memory database system)를 필요로 한다. 그러나, 신뢰성과 안정성이 중요시되는 HSS-DBS의 경우, 초기 로딩시간이 길고 메모리 손실시 그 영향이 훨씬 크기 때문에 보다 안전한 데이터의 저장 방식과 백업 기법이 필요하다. 본 논문에서는 HSS 시스템의 안전성과 성능을 고려한 효율적인 백업 이중화 기법을 제시하였다. 제안한 쉐도잉 백업 기법을 통해 위치 등록으로 인한 실시간 백업의 과부하를 최소화하고 일정 시간 간격을 두고 지연 회복시킴으로써 오류 발생 시 신속하게 복구할 수 있으며 원격 서버에 실시간으로 백업하는 백업 이중화 기법을 통해 안정적인 시스템 운영을 보장한다.

실시간 JPEG 입력 버퍼 아키텍처 (A JPEG Input Buffer Architecture for Real-Time Applications)

  • 임민중
    • 대한전자공학회논문지SD
    • /
    • 제39권2호
    • /
    • pp.7-13
    • /
    • 2002
  • USB 카메라를 이용하여 PC 화상 회의를 할 때 image sensor에서 읽어드린 동화상을 USB를 통해서 PC로 전송하게 되는데 이 때 USB의 전송 속도의 제한 때문에 동화상의 압축이 필요하다. 동화상의 압축을 위해서는 많은 양의 메모리가 필요하므로 외부 메모리를 사용하는 것이 일반적이다. 동화상 압축 알고리즘은 여러 가지가 있지만 JPEG을 사용할 경우 동화상 프레임을 모두 저장할 필요는 없으며, JPEG 압축 엔진으로 일정한 속도로 들어오는 데이터와, JPEG에서 사용되는 데이터의, 순서의 불일치를 해결해주는JPEG 입력 버퍼만이 필요하다. JPEG 입력 버퍼는 읽고 쓰는 순서가 차이가 많이 나므로 double buffering을 사용하는 것이 일반적이지만 이 논문에서는 double buffering을 사용하지 않고 칩 안에 내장 되는데 문제가 없는 적은 메모리 요구량으로 구현하는 방법을 제안한다. 제안된 메모리 아키텍처를 사용하면 별도의 외부 메모리가 필요하지 않으므로 부품 감소에 의한 전체적인 비용 절감이 가능하다.

신뢰성 있는 플래시메모리 저장시스템 구축을 위한 플래시메모리 저장 공간 관리 방법 (New Flash Memory Management Method for Reliable Flash Storage Systems)

  • 김한준;이상구
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권6호
    • /
    • pp.567-582
    • /
    • 2000
  • 본 논문은 로그파일시스템의 원리를 바탕으로 플래시메모리 저장시스템에 적합한 플래시메모리 공간 관리 방법을 제안한다. 플래시메모리는 비휘발성, 빠른 입출력 속도 등의 장점을 지니고 있지만, 제자리 덮어쓰기(in-place update)가 불가능하고 메모리 셀에 대한 쓰기(write) 횟수가 제한되는 단점이 있다. 이러한 특성은 플래시메모리를 저장 매체로 사용할 때 기존의 저장 매체 관리 방법과는 다른 방법을 요구하게 된다. 본 논문은 자유 공간유지를 위해 필요한 클리닝 메커니즘의 연산 비용을 낮추면서 동시에 저장공간이 전체적으로 균등하게 사용될 수 있도록 하는 사이클 평준화 기법을 제안한다. 제안된 방법은 특히 메모리 활용도와 로컬리티가 높을 때 좋은 성능을 보인다. 클리닝 메커니즘은 자주 접근되지 않는 COLD데이타를 그렇지 않은 데이타와 격리시킴으로써 그 효율이 향상되었으며, 사이클 평준화는 사용 횟수간의 최대 차이가 하드웨어적인 오차를 벗어나지 않는 수준까지 이루었다. 실험을 통해 제안된 방법은 비교 기준으로 삼은 직관적 방법(greedy policy)에 비해 사이클 평준화가 잘 이루어진 상태에서 최대 35%정도의 클리닝 비용 절감 효과를 보였다.

  • PDF

낸드 플래시 메모리의 불량 발생빈도를 이용한 저장장치의 수명 예측 최적화 방법 (A method for optimizing lifetime prediction of a storage device using the frequency of occurrence of defects in NAND flash memory)

  • 이현섭
    • 사물인터넷융복합논문지
    • /
    • 제7권4호
    • /
    • pp.9-14
    • /
    • 2021
  • 고신뢰성을 요구하는 컴퓨팅 시스템에서 저장장치의 수명예측방법은 데이터 보호뿐만 아니라 활용성을 극대화 할 수 있기 때문에 시스템 관리하기 위한 중요한 요소 중 한 가지이다. 최근 여러 저장시스템에서 저장장치로 사용되고 있는 SSD(Solid State Drive)의 수명은 이를 구성하고 있는 낸드 플래시 메모리의 수명이 실질적인 수명과 연결된다. 따라서 SSD를 이용하여 구성한 저장시스템에서는 낸드 플래시 메모리의 수명을 정확하고 효율적으로 예측하는 방법이 필요하다. 본 논문에서는 낸드 플래시 메모리 불량 발생빈도를 이용하여 플래시 메모리 기반 저장장치의 수명 예측을 최적화할수 있는 방법을 제안한다. 이를 위해 DWPD(Drive Writes Per Day) 단위로 데이터를 처리할 때 발생하는 불량 발생빈도를 수집하기 위한 비용 매트릭스(Cost Metrix)를 설계한다. 그리고 경사하강법(Gradient Descent)을 이용하여 수명의 마감이 발생하는 경사도까지 남은 비용을 예측하는 방법을 제안한다. 마지막으로 시뮬레이션을 통해 임의의 불량이 발생했을 때 제안하는 방법을 통한 수명예측의 우수성을 증명했다.

실시간 주기억장치 데이타베이스 시스템을 위한 질의 처리기의 설계 및 구현 (Design and Implementation of a Query Processor for Real-Time Main Memory Database Systems)

  • 김경배;배해영
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제6권2호
    • /
    • pp.113-119
    • /
    • 2000
  • 본 논문에서는 주기억장치 데이타베이스의 특성을 반영하여 시간제약조건을 처리할 수 있는 실시간 주기억장치 데이타베이스시스템을 위한 질의 처리기를 설계하고 구현한다. 제안된 질의 처리기는 메타 데이타베이스를 이용하여 시간제약을 갖는 실시간 데이타를 유지 관리한다. 응용 프로그램의 작성을 위해서 CLI를 지원하고 있으며, 이를 확장한 확장 CLI와 저장 CLI를 지원하여 확장 CLI를 이용하여 실시간 트랜잭션의 정보를 CLI를 사용으로 표현할 수 있도록 하였고, 빈번하게 수행되는 트랜잭션을 지원하기 위해 저장 CLI를 지원한다. 제안된 질의 처리기는 주기억장치 실시간 데이타베이스 관리시스템의 질의처리기로 구현하였으며, 성능평가를 통해서 시스템의 질의처리 능력과 실시간 데이타의 효율적인 관리를 통해서 종료시한을 만족하는 실시간 트랜잭션의 비율이 증가됨을 보였다.

  • PDF

공동체 기억보존센터로서의 도서관 운영 및 큐레이션 제공 방안 연구 (A Study of the Plan for Library Operation and Curation Provision as a Community Memory Preservation Center)

  • 곽우정;노영희
    • 한국비블리아학회지
    • /
    • 제31권2호
    • /
    • pp.53-70
    • /
    • 2020
  • 본 연구에서는 공동체의 삶의 기억 수집·보존·관리 체계 구축 지원이라는 정책 과제를 기반으로 지역별 역사·향토자료 콘텐츠 수집과 공유, 큐레이션 서비스를 제공하는 공동체 기억보존의 중심지로서의 도서관 구축의 필요성을 제시하고자 하였다. 이를 위해, 문화원 및 지역기록관 등 지역 기반 자료를 서비스하고 있는 기관의 자료 수집 및 관리, 운영에 관한 현황을 파악하고, 도서관의 큐레이션 서비스 사례와 현황을 조사·분석하였다. 연구 결과를 통해 제안한 논의는 다음과 같다. 첫째, 문화원에서는 축제나 문화예술 행사, 문화예술 교육사업, 지역주민의 예술 활동 사업 등과 같은 사회교육 측면에서의 외부적 요구가 증대되고 있어 향토자료 조사 연구 및 발간을 비롯한 관리 업무까지 병행되어 관리가 쉽지 않은 실정이다. 따라서, 지역주민에게 정보서비스는 물론 문화프로그램 제공, 정보공유 공간 제공, 취약주민에 대한 서비스 제공 등 상당히 다양한 역할을 수행하고 있는 공공도서관에서 지역의 다양한 자료를 수집·보존하는 역할을 수행하는 것 이 필요하다. 기존 도서관의 경우 체계적인 자료 수집 방안을 구축하고 있기 때문에, 현재 문화원 및 각종 문화기관과의 협력을 통해 자료 관리를 원활히 운영할 수 있을 것으로 파악된다. 둘째, 도서관이 자료를 구축하고, 자료 이관이 어려운 자료가 많으며, 모든 자료를 도서관으로 집중하여 구축하는 것은 사실상 어렵기 때문에, 도서관과 지역 행정기관의 자료, 기타 유관기관, 개인의 자료를 모두 온라인 데이터베이스로 구축하여 자료에 쉽게 접근할 수 있고, 언제든지 도서관에서 열람할 수 있도록 모으는 방안이 필요할 것으로 파악된다.

분산 인-메모리 환경에서 부하 분산을 위한 데이터 복제와 이주 기법 (Data Replication and Migration Scheme for Load Balancing in Distributed Memory Environments)

  • 최기태;윤상원;박재열;임종태;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.44-49
    • /
    • 2016
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 급증하고 있다. 이러한 대용량의 데이터를 효율적으로 처리하기 위해 분산 메모리 처리 시스템을 사용한다. 하지만 분산 환경에서 특정 노드에 부하가 집중이 되면 노드의 성능이 저하되는 문제가 발생한다. 본 논문은 분산 메모리 환경에서 노드의 부하를 적절하게 분배하는 부하 분산 기법을 제안한다. 제안하는 기법은 노드의 부하를 관리하기 위해 핫 데이터를 여러 노드에 복제하고 노드가 추가되거나 삭제될 때 노드의 부하를 고려하여 데이터를 이주시킨다. 클라이언트는 핫 데이터의 메타데이터 정보를 유지하여 직접 노드에 접근함으로써 중앙 서버의 접근을 감소시킨다. 성능 평가를 통해 제안하는 부하 분산 관리 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

F-Tree : 휴대용 정보기기를 위한 플래시 메모리 기반 색인 기법 (F-Tree : Flash Memory based Indexing Scheme for Portable Information Devices)

  • 변시우
    • Journal of Information Technology Applications and Management
    • /
    • 제13권4호
    • /
    • pp.257-271
    • /
    • 2006
  • Recently, flash memories are one of best media to support portable computer's storages in mobile computing environment. The features of non-volatility, low power consumption, and fast access time for read operations are sufficient grounds to support flash memory as major database storage components of portable computers. However, we need to improve traditional Indexing scheme such as B-Tree due to the relatively slow characteristics of flash operation as compared to RAM memory. In order to achieve this goal, we devise a new indexing scheme called F-Tree. F-Tree improves tree operation performance by compressing pointers and keys in tree nodes and rewriting the nodes without a slow erase operation in node insert/delete processes. Based on the results of the performance evaluation, we conclude that F-Tree indexing scheme outperforms the traditional indexing scheme.

  • PDF

AUTOSAR 플랫폼 기반 CDD를 활용한 비휘발성 메모리 수명 연장 기법 (A Non-volatile Memory Lifetime Extension Scheme Based on the AUTOSAR Platform using Complex Device Driver)

  • 신주석;손정호;이은령;오세진;안광선
    • 대한임베디드공학회논문지
    • /
    • 제8권5호
    • /
    • pp.235-242
    • /
    • 2013
  • Recently, the number of automotive electrical and electronic system has been increased because the requirements for the convenience and safety of the drivers and passengers are raised. In most cases, the data for controlling the various sensors and automotive electrical and electronic system used in runtime should be stored on the internal or external non-volatile memory of the ECU(Electronic Control Units). However, the non-volatile memory has a constraint with write limitation due to the hardware characteristics. The limitation causes fatal accidents or unexpected results if the non-volatile memory is not managed. In this paper, we propose a management scheme for using non-volatile memory to prolong the writing times based on AUTOSAR(AUTOmotive Open System Architecture) platform. Our proposal is implemented on the CDD(Complex Device Driver) and uses an algorithm which swaps a frequently modified block for a least modified block. Through the development of the prototype, the proposed scheme extends the lifetime of non-volatile memory about 1.08 to 2.48 times than simply using the AUTOSAR standard.