• 제목/요약/키워드: Memory Data Manager

검색결과 32건 처리시간 0.025초

실시간 모바일 GIS 응용 구축을 위한 주기억장치 데이터베이스 시스템 설계 및 구현 (Design and Implementation of a Main-Memory Database System for Real-time Mobile GIS Application)

  • 강은호;윤석우;김경창
    • 정보처리학회논문지D
    • /
    • 제11D권1호
    • /
    • pp.11-22
    • /
    • 2004
  • 최근 들어 계속되는 램 가격 하락으로 인해 대용량의 램을 사용하는 주기억장치 데이터베이스 시스템의 구축이 실현 가능하게 되었다. 주기억장치 데이터베이스는 여러 다양한 실시간 응용 분야를 위해 사용되며, 매년 CPU 속도가 60% 정도 증가되고, 메모리 속도가 10% 증가되는 현실에서, 케쉬 미스(Cache miss)를 얼마나 줄이느냐 하는 문제가 주기억장치 데이터베이스의 검색 성능 측면에서 가장 중요한 문제로 대두되고 있다. 본 논문에서는 이러한 환경을 고려한 실시간 모바일 GIS응용을 위한 주기억장치 데이터베이스 시스템을 설계 및 구현한다. 본 시스템은 크게 PDA를 사용하는 모바일 사용자를 위한 인터페이스 관리기와 가상 메모리 기법을 사용해 전체 데이터를 주기억장치에 상주시키며 관리하는 주기억 데이터 관리기, 공간 및 비 공간 질의를 처리하는 질의처리기, 새롭게 제시하는 공간 데이터를 위한 MR-트리 인덱스와 비 공간 데이터를 위한 T-트리 인덱스 구조를 관리하는 인덱스 관리기, 데이터를 디스크에 저장하기 위한 GIS 서버 인터페이스로 구성된다. 새롭게 제시하는 공간 인덱싱을 위한 MR-트리는 노트 분할이 발생될 경우, 입력 경로 상에 하나 이상의 빈 엔트리를 지니는 노드가 존재할 경우에만, 노드 분할을 상위로 전송한다. 그러므로 중간 노드들은 항상 100%에 가깝게 채워져 있게 된다. 본 논문의 실험 결과, 2차원의 MR-트리는 기존의 R-트리에 비해 2.4배 이상의 빠른 검색 속도를 나타냈다. 한편, 주 기억 데이터 관리기는 가상 메모리 제공을 위해 전체 벡터 데이터 및 MR-트리, T-트리, 데이터 객체 텍스트 정보를 페이지 단위로 분할하여 관리하고, 간접 주소 기법을 사용하여 디스크로부터의 재 로딩시 발생할 수 있는 문제점을 제거하였다.

모바일 서비스를 위한 메인 메모리 기반 공간 데이터 관리자 (Main-Memory Based Spatial Data Manager for Mobile Service)

  • 오병우
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권1호
    • /
    • pp.77-92
    • /
    • 2006
  • 최근 모바일 환경의 급격한 발전으로 모바일 기기에서 지도를 표현하기 위한 필요성이 급증하고 있다. 본 논문은 모바일 환경에서 공간 데이터를 효율적으로 제공하기 위해 가장 중요한 역할을 담당하는 공간 데이터 관리자를 제안한 논문이다. 본 논문에서 제안하는 공간 데이터 관리자는 상호운용성을 지원하면서도 효율적인 성능을 제공하기 위하여 다양한 방법을 사용한다. 상호운용성을 지원하기 위해서는 국제 표준을 준수하여 상이한 환경에서도 재사용성을 보장한다. 성능 향상을 위해서는 물리적인 메인 메모리에 공간 데이터를 적재하고 서비스하여 디스크 접근 시간을 없애고, 결과 데이터 형식으로 미리 변환한 공간 데이터를 메인 메모리에 적재하여 형식 변환에 걸리는 시간이 필요 없도록 한다. 그리고, 모바일 환경에서 유무선 온라인으로 공간 데이터를 실시간으로 전송하는 경우에 전체 데이터를 전송하지 않고 부분적으로 전송된 데이터만으로도 표현이 가능하도록 하여 응답 시간 및 처리 시간을 최소화할 수 있도록 한다.

  • PDF

Two-Tier Storage DBMS for High-Performance Query Processing

  • Eo, Sang-Hun;Li, Yan;Kim, Ho-Seok;Bae, Hae-Young
    • Journal of Information Processing Systems
    • /
    • 제4권1호
    • /
    • pp.9-16
    • /
    • 2008
  • This paper describes the design and implementation of a two-tier DBMS for handling massive data and providing faster response time. In the present day, the main requirements of DBMS are figured out using two aspects. The first is handling large amounts of data. And the second is providing fast response time. But in fact, Traditional DBMS cannot fulfill both the requirements. The disk-oriented DBMS can handle massive data but the response time is relatively slower than the memory-resident DBMS. On the other hand, the memory-resident DBMS can provide fast response time but they have original restrictions of database size. In this paper, to meet the requirements of handling large volumes of data and providing fast response time, a two-tier DBMS is proposed. The cold-data which does not require fast response times are managed by disk storage manager, and the hot-data which require fast response time among the large volumes of data are handled by memory storage manager as snapshots. As a result, the proposed system performs significantly better than disk-oriented DBMS with an added advantage to manage massive data at the same time.

주기억장치 데이터베이스를 위한 동시성 제어 관리자의 설계 및 구현 (Design and Implementation of a Concuuuency Control Manager for Main Memory Databases)

  • 김상욱;장연정;김윤호;김진호;이승선;최완
    • 한국통신학회논문지
    • /
    • 제25권4B호
    • /
    • pp.646-680
    • /
    • 2000
  • 본 논문에서는 주기억장치 DBMS(main memory DBMS: MMDBMS)를 위한 동시성 제어 관리자의 설계 및 구현에 관하여 논의한다. MMDBMS는 디스크 기반 DBMS와는 달리 주기억장치 액세스만으로 데이터 검색 및 갱신을 수행하므로 전체 수행 비용 중 동시성 제어 관리자의 수행 비용이 차지하는 비중은 매우 크다. 따라서 효율적인 동시성 제어 관리자의 개발은 MMDBMS의 성능에 큰 영향을 미치게 된다. 본 연구에서 개발된 동시성 제어 관리자는 이단계 라킹 규약을 기반으로 하며, 다음과 같은 특징을 갖는다. 첫째, 락의 단위를 주기억장치의 물리적인 할당 단위인 파티션으로 설정함으로써 응용 분야의 특성 분석을 통하여 동시성과 락 관리 비용을 유연하게 조정할 수 있다. 둘째, 락에 관한 정보를 파티션 내부에서 직접 관리함으로써 락 관리 비용을 크게 줄일 수 있다. 셋째, 시스템 데이터의 물리적 일관성 유지를 위한 수단으로서 래치를 제공한다. 개발된 래치는 공유 모드와 배제 모드를 모두 지원하며, CPU 이용률의 극대화를 위하여 Bakery 알고리즘과 Unix의 세마포어 기능을 결합하는 방법을 사용한다. 넷째, 락에 의한 교착 상태의 해결을 위하여 락 대기 정보를 기반으로 시스템의 교착 상태 여부를 주기적으로 검출하는 기능을 제공한다. 본 논문에서는 트랜잭션 테이블의 상호배제, 인덱스 혹은 시스템 카탈로그의 상호 배제, 실시간 응용의 지원 등 실제 구현에서 발생하는 중요한 이슈들에 관해서도 이울러 논의한다.

  • PDF

연속질의의 처리를 위한 이용률 기반의 적응적 메모리 관리 기법 (Adaptive Memory Management Method based on Utilization Ratio to Process Continuous Query)

  • 백성하;이동욱;어상훈;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.79-88
    • /
    • 2009
  • 실시간으로 입력되는 스트림을 저장하기 위한 메모리의 크기는 동적으로 변한다. 이 데이터 스트림을 처리하는 연속질의는 저장공간의 크기를 동적으로 관리해야 한다. 이를 위해, 저장되는 현재 데이터양에 따라 즉시 페이지 단위로 메모리를 할당 및 해제하는 기본적인 메모리 관리자가 연구되었다. 그러나 이 방법은 데이터 스트림을 저장하기 위해 메모리의 할당 및 해제를 매우 빈번하게 수행하게 된다. 또한 질의가 메모리가 부족할 때 즉시 페이지를 할당하기 때문에, 특정 지연되는 질의가 대량의 페이지를 점유하는 문제를 발생시킬 수 있다. 메모리관리자에서 발생하는 이와 같은 문제에 초점을 맞추어, 본 연구는 할당 및 해제 빈도수를 감소시키고, 질의 별로 최대한 균등하게 페이지를 분배하는 메모리 관리 기법을 제안한다. 본 기법은 질의의 페이지 이용률을 이용하여 할당 및 해제 빈도수를 크게 감소시키고, 질의의 지연 상태에 따른 메모리의 할당을 통하여 특정 질의의 메모리 독점을 방지할 수 있다.

  • PDF

A Distributed Control Architecture for Advanced Testing In Realtime

  • Thoen Bradford K.;Laplace Patrick N.
    • 한국지진공학회:학술대회논문집
    • /
    • 한국지진공학회 2006년도 학술발표회 논문집
    • /
    • pp.563-570
    • /
    • 2006
  • Distributed control architecture is based on sharing control and data between multiple nodes on a network Communication and task sharing can be distributed between multiple control computers. Although many communication protocols exist, such as TCP/IP and UDP, they do not have the determinism that realtime control demands. Fiber-optic reflective shared memory creates the opportunity for realtime distributed control. This architecture allows control and computational tasks to be divided between multiple systems and operate in a deterministic realtime environment. One such shared memory architecture is based on Curtiss-Wright ScramNET family of fiber-optic reflective memory. MTS has built seismic and structural control software and hardware capable of utilizing ScramNET shared memory, opening up infinite possibilities in research and new capabilities in Hybrid and Model-In-The-Loop control.

  • PDF

블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기 (Real time Storage Manager to store very large datausing block transaction)

  • 백성하;이동욱;어상훈;정원일;김경배;오영환;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권2호
    • /
    • pp.1-12
    • /
    • 2008
  • 초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은 대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다. 기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반 DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다. 본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기 위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은 개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수 있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은 데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기 위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본 제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저 장비용을 감소시킬 수 있다.

  • PDF

A Garbage Collection Method for Flash Memory Based on Block-level Buffer Management Policy

  • Li, Liangbo;Shin, Song-Sun;Li, Yan;Baek, Sung-Ha;Bae, Hae-Young
    • 한국멀티미디어학회논문지
    • /
    • 제12권12호
    • /
    • pp.1710-1717
    • /
    • 2009
  • Flash memory has become the most important storage media in mobile devices along with its attractive features such as low power consumption, small size, light weight, and shock resistance. However, a flash memory can not be written before erased because of its erase-before-write characteristic, which lead to some garbage collection when there is not enough space to use. In this paper, we propose a novel garbage collection scheme, called block-level buffer garbage collection. When it is need to do merge operation during garbage collection, the proposed scheme does not merge the data block and corresponding log block but also search the block-level buffer to find the corresponding block which will be written to flash memory in the next future, and then decide whether merge it in advance or not. Our experimental results show that the proposed technique improves the flash performance up to 4.6% by reducing the unnecessary block erase numbers and page copy numbers.

  • PDF

플래쉬 메모리 관리 알고리즘 개발 (Development of Flash Memory Management Algorithm)

  • 박인규
    • 전자공학회논문지CI
    • /
    • 제38권1호
    • /
    • pp.26-45
    • /
    • 2001
  • 플래쉬 메모리는 데이터의 저장과 변경이 가능하고 전원이 차단되어도 저장된 데이터를 보존할 수 있는 RAM과 ROM의 장점을 모두 가지고 있는 메모리로서, 고성능의 전기 특성을 가지고 있어 이동 환경에서의 저장매체로 매우 접합하다. 향후 많은 정보단말기에 사용하게 될 플래쉬 메모리 및 스마트미디어 카드에 파일을 저장, 삭제, 재생하는 효과적인 알고리즘이 필요하다. 플래쉬 메모리를 일정한 크기의 세그먼트로 할당하고, 파일을 여러 개의 세그먼트로 분산시켜 관리한다. 본 논문에서는 특정 파일이 저장되어 있는 위치를 저장하는 테이블 및 보조 테이블을 이용하여 효과적인 파일 관리 알고리즘을 제시한다. 기존의 알고리즘은 비교적 작은 용량의 플래쉬 메모리를 관리하고 비교적 파일을 빈번한 횟수의 고속 저장, 삭제 등의 작동이 요구되는 응용에는 적합지 않는다. 본 논문에서 제안된 알고리즘은 몇 개의 플래쉬 메모리 칩 및 스마트미디어 카드로 구성된 비교적 큰 용량의 메모리 관리에 적합하다.

  • PDF

CPU-GPU환경에서 효율적인 메인메모리 접근을 위한 융합 프로세서 구조 개발 (A Development of Fusion Processor Architecture for Efficient Main Memory Access in CPU-GPU Environment)

  • 박현문;권진산;황태호;김동순
    • 한국전자통신학회논문지
    • /
    • 제11권2호
    • /
    • pp.151-158
    • /
    • 2016
  • 이기종시스템 구조(HSA)는 두 유닛의 각각에 메모리 폴(pools)이 가상메모리를 통해 공유할 수 있게 됨에 따라 CPU와 GPU 아키텍처의 오랜 문제를 해결하였다. 그러나 물리적 실제 시스템에서는 가상메모리 처리를 위해 GPU와 GPU 사이의 빈번한 메모리 이동으로 병목현상(Bottleneck)과 일관성 요청(Coherence request)의 오버헤드를 갖게 된다. 본 연구는 CPU와 GPU간의 효율적인 메인 메모리 접근방안으로 퓨전프로세서 알고리즘을 제안하였다. CPU가 요청한 처리할 메모리 영역을 GPU의 코어에 맞게 분배 제어해주는 기능으로 작업관리자(Job Manager)와 Re-mapper, Pre-fetcher를 제안하였다. 이를 통해 CPU와 GPU간의 빈번한 메시지도 감소되고 CPU의 메모리주소에 없는 Page-Table 요청이 낮아져 두 매체간의 효율성이 증대되었다. 제안한 알고리즘의 검증 방안으로 QEMU(:short for Quick EMUlator)기반의 에뮬레이터를 개발하고 CUDA(:Compute Unified Device. Architecture), OpenMP, OpenCL 등의 알고리즘과 비교평가를 하였다. 성능평가 결과, 본 연구에서 제안한 융합 프로세서 구조를 기존과 비교했을 때 최대 198%이상 빠르게 처리되면서 메모리 복사, 캐시미스 등의 오버헤드를 최소화하였다.