• Title/Summary/Keyword: 대용량 메모리

Search Result 371, Processing Time 0.025 seconds

A performance comparison for Apache Spark platform on environment of limited memory (제한된 메모리 환경에서의 아파치 스파크 성능 비교)

  • Song, Jun-Seok;Kim, Sang-Young;Lee, Jung-June;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.01a
    • /
    • pp.67-68
    • /
    • 2016
  • 최근 빅 데이터를 이용한 시스템들이 여러 분야에서 활발히 이용되기 시작하면서 대표적인 빅데이터 저장 및 처리 플랫폼인 하둡(Hadoop)의 기술적 단점을 보완할 수 있는 다양한 분산 시스템 플랫폼이 등장하고 있다. 그 중 아파치 스파크(Apache Spark)는 하둡 플랫폼의 속도저하 단점을 보완하기 위해 인 메모리 처리를 지원하여 대용량 데이터를 효율적으로 처리하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만, 아파치 스파크의 작업은 메모리에 의존적이므로 제한된 메모리 환경에서 전체 작업 성능은 급격히 낮아진다. 본 논문에서는 메모리 용량에 따른 아파치 스파크 성능 비교를 통해 아파치 스파크 동작을 위해 필요한 적정 메모리 용량을 확인한다.

  • PDF

Binary Sequence Generator with a Large Number of Output Sequences (다수열 출력 이진 수열 발생기)

  • 이훈재;문상재
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.7 no.3
    • /
    • pp.11-22
    • /
    • 1997
  • The number of output sequence was proposed as a characteristic of binary sequence generators for cryptographic application, but in general most of binary sequence generators have single number of output sequence. In this paper, we propose two types of binary sequence generators with a large number of output sequences. The first one is a Switched-Tap LFSR (STLFSR) and it applies to the generalized nonlinear function and the Geffe's generator as example. The other is a generalized memory sequence generator(GMEM-BSG) which is an improved version of the Golic's memory sequence generator (MEM-BSG) with a large number of output sequences, and its period, linear complexity, and the number of output sequence are derived.

The Effect of the Node Size on the Performance of B+trees on Flash Memory (플래시 메모리 상에서 B+트리 노드 크기 증가에 따른 성능 평가)

  • Choi, Hae-Gi;Park, Dong-Joo;Kang, Won-Seok;Lee, Dong-Ha
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.333-336
    • /
    • 2006
  • 플래시 메모리는 휴대폰과 PDA 와 같은 이동 기기에서 저장 장치로 널리 사용되고 있다. 또한 기가바이트(GB) 단위의 대용량화로 인해 노트북과 개인용 컴퓨터에서 보조기억장치로 사용되고 있다. 요즘에는 대용량의 데이터를 효율적으로 다루기 위한 B+트리와 같은 자료구조를 플래시 메모리상에서 저비용의로 구현하려는 연구들이 이루어지고 있다. 지금까지의 연구에서는 플래시 메모리에서 B+트리를 구축할 때 노드 크기를 플래시 메모리의 섹터(sector) 크기로 사용해왔다. 본 논문에서는 노드 크기가 플래시 메모리의 섹터 크기보다 더 커졌을 경우, 플래시 메모리에서 구현되는 B+트리의 구축성능과 검색성능 그리고 저장 공간 사용량을 비교 분석한다. 키 삽입 시 정렬 알고리즘과 비정렬 알고리즘을 각각 사용해 구축비용을 측정하였으며 효율적인 노드 검색을 위해 인덱스 노드 헤드 구조를 사용한다. 그리고 이러한 실험결과는 B+트리 노드 크기를 섹터 크기보다 블록 크기로 할당할 때 B+트리 성능의 우수성을 보인다.

  • PDF

Telemetry Data Downlink Management of Low Earth Orbit Satellite (저궤도위성 원격측정 데이터 다운링크 관리)

  • Chae, Dongseok;Yang, Seung-Eun;Cheon, Yee-Jin
    • Journal of Satellite, Information and Communications
    • /
    • v.8 no.4
    • /
    • pp.111-116
    • /
    • 2013
  • Because LEO (Low Earth Orbit) satellite has very limited contact time between satellite and ground station, all telemetry data generated on satellite are stored in a mass memory and transmitted to the ground during the contact time. There are two downlink modes, real-time mode and playback mode. Only real-time data frames are transmitted to the ground in real-time mode, real-time and playback data frames stored into mass memory are transmitted to the ground in playback mode. In accordance with the data transmission rate, there are two downlink rates, low downlink rate and high downlink rate. This paper briefly introduces downlink interfaces and flight software of a LEO satellite developed in KARI. And it presents the telemetry storage method, real-time and playback downlink management method, and downlink channel and rate control method.

Analysis of Performance Requirement for Large-Scale InfiniBand-based DVSM System (대용량의 InfiniBand 기반 DVSM 시스템 구현을 위한 성능 요구 분석)

  • Cho, Myeong-Jin;Kim, Seon-Wook
    • The KIPS Transactions:PartA
    • /
    • v.14A no.4
    • /
    • pp.215-226
    • /
    • 2007
  • For past years, many distributed virtual shared-memory(DVSM) systems have been studied in order to develop a low-cost shared memory system with a fast interconnection network. But the DVSM needs a lot of data and control communication between distributed processing nodes in order to provide memory consistency in software, and this communication overhead significantly dominates the overall performance. In general, the communication overhead also increases as the number of processing nodes increase, so communication overhead is a very important performance factor for developing a large-scale DVSM system. In this paper, we study the performance scalability quantitatively and qualitatively for developing a large-scale DVSM system based on the next generation interconnection network, called the InfiniBand. Based on the study, we analyze a performance requirement of the next-coming interconnection network to be used for developing a performance-scalable DVSM system in the future.

Program development for playback time estimation (플레이백 시간 예측 프로그램 개발)

  • Chae, Dong-Seok;Yang, Seung-Eun;Lee, Jae-Seung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.492-494
    • /
    • 2012
  • 저궤도 위성은 위성과 지상과의 통신시간이 제한되어 있으므로 제한된 시간에 위성의 대용량메모리(Mass Memory)에 저장된 데이터를 전송받아야 하는데, 이를 위해 저장되는 데이터 량을 정확히 예측할 수 있어야 하고, 저장된 데이터 량에 따라 지상으로 전송하는데 소요되는 시간을 예측할 수 있어야 한다. 본 논문은 위성에 저장되고 있는 Telemetry 종류에 따라 대용량메모리에 저장되는 데이터 량을 예측하고, 저장된 데이터 량에 따라 지상으로 전송하는데 소요되는 시간을 계산하기 위해 개발된 플레이백 시간 예측 프로그램에 대해 서술한 것이다.

A Study on Multimedia File System for Flash Memory (플래시 메모리를 위한 멀티미디어 파일 시스템의 구조 설계)

  • Yang, Hak-Mo;Han, Ryong-Cheol;Ryu, Yeon-Seung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.1687-1690
    • /
    • 2005
  • 플래시 메모리는 비휘발성 메모리로서 데이터 접근 속도가 빠르고 전력 소비가 적으며 가볍고 충격에 강한 특징을 가지고 있다. 최근 플래시 메모리의 가격이 저렴해지고 용량은 커져가고 있기 때문에 대용량의 멀티미디어 파일의 저장 장치로서 플래시 메모리의 사용이 증가할 것으로 보인다. 본 논문에서는 플래시 메모리를 위한 멀티미디어 파일 시스템의 구조 설계를 기술한다. 주요 특징으로는 i-node 를 데이터 블록과 분리된 i-node 영역에 로그 방식으로 기록하고, 삭제 연산이 잦은 i-node 영역을 이동할 수 있게 하여 마모도 평준화를 고려하였다. 파일의 데이터 블록은 멀티미디어 응용 프로그램의 특징을 고려하여 인덱스화된 이중 연결 리스트 구조로 관리한다.

  • PDF

A Study on Optimal Memory Configuration and the Number of Channels for In-Memory Computing (인메모리 컴퓨팅을 위한 최적의 메모리 구성 및 채널 개수에 대한 연구)

  • Kim, Bong-jeong;Kim, Young-Kyu;Moon, Byungin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.268-270
    • /
    • 2012
  • DRAM 가격의 하락으로 인메모리 컴퓨팅에 대한 연구 및 개발이 다시 활발해지고 있으나 효율적인 메모리 시스템 구성을 위한 연구는 아직 부족한 실정이다. 이에 본 논문은 64 비트 멀티프로세서와 대용량의 메모리로 구성되는 인메모리 컴퓨팅 시스템을 모델링하고, 메모리 크기 및 채널 개수에 따른 시스템의 성능을 시뮬레이션 하였다. 그리고 처리된 트랜잭션의 수를 성능평가의 기준으로 하여 메모리의 크기와 채널 개수에 따른 비용을 고려한 최적의 인메모리 컴퓨팅 메모리 시스템 구조를 제안하였다.

Efficient Executions of MPI Parallel Programs in Memory-Centric Computer Architecture (메모리 중심 컴퓨터 구조에서 MPI 병렬 프로그램의 효율적인 수행)

  • Lee, Je-Man;Lee, Seung-Chul;Shin, Dong-Ha
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.257-258
    • /
    • 2019
  • 본 논문에서는 "프로세서 중심 컴퓨터 구조"에서 개발된 MPI 병렬 프로그램을 수정하지 않고 "메모리 중심 컴퓨터 구조"에서 더 효율적으로 수행시키는 기술을 제안한다. 본 연구에서 제안하는 기술은 메모리 중심 컴퓨터 구조가 가지는 "빠른 대용량 공유 메모리" 특징을 이용하여 MPI 표준 라이브러리가 수행하는 네트워크 통신을 통한 느린 데이터 전달을 공유 메모리를 통한 빠른 데이터 전달로 대체하여 효율성을 얻는다. 본 연구에서 제안한 기술은 도커 가상화 기술을 사용한 분산 시스템 환경에서 MC-MPI-LIB 라이브러리 및 MC-MPI-SIM 시뮬레이터로 구현되었으며 다수의 MPI 병렬 프로그램으로 시험 수행하여 효율성이 있음을 보였다.

  • PDF

Performance Evaluation of Fixed-Grid File Index on NAND Flash Memory (NAND 플래쉬메모리에서 고정그리드화일 색인의 성능 평가)

  • Kim, Dong-Hyun
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.10 no.2
    • /
    • pp.275-282
    • /
    • 2015
  • Since a NAND-flash memory is able to keep data during electricity-off and has small cost to store data per bytes, it is widely used on hand-held devices. It is necessary to use an index in order to process mass data effectively on the flash memory. However, since the flash memory requires high cost for a write operation and does not support an overwrite operation, it is possible to reduce the performance of the index when the disk based index is exploited. In this paper, we implement the fixed grid file index and evaluate the performance of the index on various conditions. To do this, we measure the average processing time by the ratio of query operations and update operations. We also the compare the processing times of the flash memory with those of the magnetic disk.