• Title/Summary/Keyword: 대용량 메모리

Search Result 370, Processing Time 0.031 seconds

Implementation of GALIS SLDS prototype for managing large volumes of location data (대용량 위치 데이타 관리를 위한 GALIS의 SLDS 프로토타입 구현)

  • 이운주;이준우;나연묵
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.46-48
    • /
    • 2004
  • 최근의 위치 측위 기술과 무선 통신 기술의 발전에 따라 위치 기반 서비스에 대한 관심이 크게 증가하고 있다. 기존 연구의 단일 노드 기반 시스템으로는 휴대폰 사용자와 같은 대용량의 객체를 처리하는데 어려움이 있다. 본 논문에서는 대용량 이동 객체의 시공간 정보를 관리하기 위해 클러스터 기반 분산 컴퓨팅 구조로 제안된 GALIS(Gracefully Aging Location Information System)의 아키텍쳐 중 객체의 현재 위치 정보를 관리하는 SLDS(Short-term Location Data Subsystem)의 프로토 타입을 개발하였다. 본 논문에서 구현한 시스템은 메인 메모리 데이터 베이스를 사용하여 디스크 접근 시간이 없고 현재 정보와 과거 정보를 분리하여 빠른 검색이 가능하기 때문에 대용량 이동 객체를 관리하며 빠른 응답을 필요로 하는 상황에 효과적으로 대응할 수 있는 이점이 있다.

  • PDF

Design of a Large-Scale Qualitative Spatial Reasoner Based on Hadoop Clusters (하둡 클러스터 기반의 대용량 정성 공간 추론기의 설계)

  • Kim, Jonghwan;Kim, Jonghoon;Kim, Incheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1316-1319
    • /
    • 2015
  • 본 논문에서는 대규모 분산 병렬 컴퓨팅 환경인 하둡 클러스터 시스템을 이용하여, 공간 객체들 간의 위상 관계를 효율적으로 추론하는 대용량 정성 공간 추론기를 제안한다. 본 논문에서 제안하는 공간 추론기는 추론 작업의 순차성과 반복성을 고려하여, 작업들 간의 디스크 입출력을 최소화할 수 있는 인-메모리 기반의 아파치 스파크 프레임워크를 이용하여 개발하였다. 따라서 본 추론기에서는 추론의 대상이 되는 대용량 공간 지식들을 아파치 스파크의 분산 데이터 집합 형태인 PairRDD와 RDD로 변환하고, 이들에 대한 데이터 오퍼레이션들로 추론 작업들을 구현하였다. 또한, 본 추론기에서는 추론 시간의 많은 부분을 차지하는 이행 관계 추론에 필요한 조합표를 효과적으로 축소함으로써, 공간 추론 작업의 성능을 크게 향상시켰다. 대용량의 공간 지식 베이스를 이용한 성능 분석 실험을 통해, 본 논문에서 제안한 정성 공간 추론기의 높은 성능을 확인할 수 있었다.

Performance Enhancement of A Massive Scientific Data Visualization System on Virtual Reality Environment by Using Data Locality (Data Locality를 활용한 VR환경에서의 대용량 데이터 가시화 시스템의 성능 개선)

  • Lee, Se-Hoon;Kim, Min-Ah;Lee, Joong-Yeon;Hur, Young-Ju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.284-287
    • /
    • 2012
  • GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.

Unit Level Address Mapping Technique for Large Capacity Flash Memory Storage Devices (대용량 플래시 메모리 저장 장치를 위한 유닛 레벨 주소 변환 기법)

  • Kim, Hyuk-Joong;Shin, Dong-Kun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.434-437
    • /
    • 2011
  • 낸드 플래시 메모리는 하드 디스크와는 다른 여러가지 특성 때문에 논리 주소를 불러 주소를 변환해 주는 주소 변환 계층(FTL)이 필요하다. 최근에 고성능의 저장 장치를 제공하기 위해서 페이지 수준의 주소 변환 기법이 많이 사용되고 있는 데, 이 기법은 매핑 정보가 너무 커서 메모리에서 매핑 정보를 관리하기에는 힘들다는 문제와 데이터의 접근 지역성을 잘 활용하지 못하는 문제가 있다. 본 논문에서는 스토리지의 주소 공간을 유닛이라는 단위로 분리하여 페이지 수준의 주소변환을 사용함으로써 매핑 정보를 크기를 줄이고 또한 접근 지역성을 활용하여 가비지 컬렉션 오버해드를 줄이는 유닛 레벨 주소 변환 기법을 제시한다. 실험결과 제시한 기법은 페이지 매핑 기법보다 랜덤 접근 패턴에서 가비지 컬렉션 오버해드를 40% 감소시켰으며 매핑 데이터 량도 38% 감소시켰다.

The Fast Editing and/or Storing Technique for Large-sized Multimedia Files with Page Sharing on NAND Flash Memory (NAND 플래시 메모리 상에서 페이지 공유를 통한 대용량 멀티미디어 파일 고속 편집저장 기법)

  • Ko, Seok-Young;Jung, Seung-Wan;Nam, Young-Jin;Seo, Dae-Wha
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06b
    • /
    • pp.576-579
    • /
    • 2008
  • 본 논문은 NAND 플래시 메모리를 기반으로 한 멀티미디어 휴대 장치에서 동영상 파일을 고속으로 편집하고 동시에 필요한 저장 공간 소모를 최소화 하는 기법을 제안한다. 동영상 파일 편집 후 저장에 있어서 현재의 NAND 플래시 파일 시스템들은 편집 내용을 빈 공간에 새로 저장하기 때문에, 대용량의 파일일수록 많은 시간과 저장 공간이 소모 된다. 본 논문에서 제안하는 기법은 동영상 편집 후 파일 간에 중복되는 데이터를 새로 저장하지 않고 공유하도록 하면서 소모되는 시간과 공간을 최소화 한다. 이를 위해 파일 간 공유 되는 데이터를 관리하는 페이지 공유 맵을 설계하고 이를 이용한 동영상 고속 편집저장 기법을 제시한다.

  • PDF

Design of Effective Architecture for Massive Push Transmission (대용량 푸시 전송을 위한 효율적인 아키텍처 설계)

  • Kim, Wook;Kang, Mi-Ae;Lee, Sang-Hoon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.105-106
    • /
    • 2014
  • 본 논문에서는 대용량 푸시 전송을 위한 효율적인 아키텍처를 제안한다. MINA 프레임워크 상에서 XMPP 프로토콜을 이용한 푸시 전송은 세션이 연결된 환경에서 실시간 메시지를 전달하는 기술로 최근 푸시 전송 서버에서 많이 활용되고 있다. 하지만 웹 어플리케이션에서 전송함에 있어 WAS위에 푸시 모듈이 위치함으로 서버의 메모리 사용량이 오버로드 되는 부담을 안고 있다. 따라서 본 논문에서 제안하는 아키텍처는 서버를 이중화 하여 WAS와 MINA를 분리시켜 하나의 서버가 감당해야 하는 메모리 사용량을 감소 시키도록 하며 멀티큐와 프록시를 사용하여 대량의 푸시 전송시의 메시지 큐의 병목형상을 해결하고자 한다.

  • PDF

A Study on the Performance Measurement and Analysis on the Virtual Memory based FTL Policy through the Changing Map Data Resource (멥 데이터 자원 변화를 통한 가상 메모리 기반 FTL 정책의 성능 측정 및 분석 연구)

  • Hyun-Seob Lee
    • Journal of Internet of Things and Convergence
    • /
    • v.9 no.1
    • /
    • pp.71-76
    • /
    • 2023
  • Recently, in order to store and manage big data, research and development of a high-performance storage system capable of stably accessing large data have been actively conducted. In particular, storage systems in data centers and enterprise environments use large amounts of SSD (solid state disk) to manage large amounts of data. In general, SSD uses FTL(flash transfer layer) to hide the characteristics of NAND flash memory, which is a medium, and to efficiently manage data. However, FTL's algorithm has a limitation in using DRAM more to manage the location information of NAND where data is stored as the capacity of SSD increases. Therefore, this paper introduces FTL policies that apply virtual memory to reduce DRAM resources used in FTL. The virtual memory-based FTL policy proposed in this paper manages the map data by using LRU (least recently used) policy to load the mapping information of the recently used data into the DRAM space and store the previously used information in NAND. Finally, through experiments, performance and resource usage consumed during data write processing of virtual memory-based FTL and general FTL are measured and analyzed.

Large-Scale Security Log For Log Analysis System Design (대용량 보안로그를 위한 로그분석 시스템 설계)

  • Choe, Yong-Gyu;Lee, Bong-Hwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.37-40
    • /
    • 2013
  • 다양한 보안 장비 내에서 발생하는 보안 로그의 양이 점차적으로 증가하고 있음에 따라, 보안 로그를 수집하여 실시간으로 공격을 분석을 통하여 대응해야한다. 그리하여 본 논문에서는 기존의 관계형 데이터베이스를 사용하지 않으며, 디스크 방식과 인-메모리방식을 혼용함으로써 초기구축비용을 절감할 수 있는 Map/Reduce 기반의 실시간 대용량 보안로그 분석 시스템을 제안하고자 한다.

The Performance Evaluation of a Space-Division typed Index on the Flash Memory based Storage (플래쉬 메모리기반 저장장치에서의 공간분할기법 색인의 성능 평가)

  • Kim, Dong Hyun
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.18 no.1
    • /
    • pp.103-108
    • /
    • 2014
  • The flash memory which is exploited on hand-held devices such as smart phones is a non-volatile storage and has the benefit that it can store mass data at a small sized chip. To process queries on the mass data stored in the flash memory, the index scheme should be exploited. However, since the write operation of the flash memory is slower than the read operation and the overwrite is not supported, it is required to reevaluate the performance of the index and find out the drawbacks. In this paper, we evaluate the performance of a space division typed index scheme on the flash memory. To do this, we implement the fixed grid file and measure the average speeds of the query and update processing on a various condition and compare the value of the flash memory with that of the magnetic disk.

Spatial Data Structure for Efficient Representation of Very Large Sparse Volume Data for 3D Reconstruction (3차원 복원을 위한 대용량 희소 볼륨 데이터의 효율적인 저장을 위한 공간자료구조)

  • An, Jae Pung;Shin, Seungmi;Seo, Woong;Ihm, Insung
    • Journal of the Korea Computer Graphics Society
    • /
    • v.23 no.3
    • /
    • pp.19-29
    • /
    • 2017
  • When a fixed-sized memory allocation method is used for sparse volume data, a considerable memory space is in general wasted, which becomes more serious for a large volume of high resolution. In this paper, in order to reduce such unnecessary memory consumption, we propose a volume representation method to store mostly voxels that represent valid information rather than all voxels in a fixed volume space. Then our method is compared with the conventional static memory allocation method, an octree-based representation, and a voxel hashing method in terms of memory usage and computation speed. In particular, we compare the proposed method and the voxel hashing method with respect to implementation of the GPU-based Marching Cubes algorithm.