• 제목/요약/키워드: In-Memory Computing

검색결과 764건 처리시간 0.04초

MATE: Memory- and Retraining-Free Error Correction for Convolutional Neural Network Weights

  • Jang, Myeungjae;Hong, Jeongkyu
    • Journal of information and communication convergence engineering
    • /
    • 제19권1호
    • /
    • pp.22-28
    • /
    • 2021
  • Convolutional neural networks (CNNs) are one of the most frequently used artificial intelligence techniques. Among CNN-based applications, small and timing-sensitive applications have emerged, which must be reliable to prevent severe accidents. However, as the small and timing-sensitive systems do not have sufficient system resources, they do not possess proper error protection schemes. In this paper, we propose MATE, which is a low-cost CNN weight error correction technique. Based on the observation that all mantissa bits are not closely related to the accuracy, MATE replaces some mantissa bits in the weight with error correction codes. Therefore, MATE can provide high data protection without requiring additional memory space or modifying the memory architecture. The experimental results demonstrate that MATE retains nearly the same accuracy as the ideal error-free case on erroneous DRAM and has approximately 60% accuracy, even with extremely high bit error rates.

메모리 파일시스템에서 메모리 매핑을 이용한 파일 입출력의 오버헤드 분석 (Analyzing the Overhead of the Memory Mapped File I/O for In-Memory File Systems)

  • 최정식;한환수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권10호
    • /
    • pp.497-503
    • /
    • 2016
  • 비휘발성 메모리 같은 차세대 저장장치의 등장으로 저장장치 지연시간은 거의 사라질 것이다. 예전에는 저장장치 지연시간이 가장 큰 문제였기 때문에 소프트웨어의 효율성은 중요한 문제가 아니었다. 하지만 이제는 소프트웨어 오버헤드가 해결해야 할 문제점으로 나타나고 있다. 소프트웨어 오버헤드를 최소화하기 위해 많은 연구자들은 메모리 매핑을 이용한 파일 입출력 기법을 제안하고 있다. 메모리 맵 파일 입출력 기법을 사용하면 기존 운영체제의 복잡한 파일 입출력 스택을 피할 수 있을 뿐 아니라 빈번한 사용자/커널 모드 변환도 최소화할 수 있다. 또한 다수의 메모리 복사 오버헤드도 최소화 할 수 있다. 하지만 메모리 맵 파일 입출력 기법에도 해결해야 할 문제점이 존재한다. 메모리 맵 파일 입출력 메커니즘도 느린 블록 디바이스를 효율적으로 관리하기 위해 설계된 기존 운영체제의 일부이기 때문이다. 본 논문에서는 메모리 맵 파일 입출력의 오버헤드 문제점을 설명하고 실험을 통해 그 문제점을 확인한다.

스트링의 최대 서픽스를 계산하는 효율적인 외부 메모리 알고리즘 (Efficient External Memory Algorithm for Finding the Maximum Suffix of a String)

  • 김성권;김수철;조정식
    • 정보처리학회논문지A
    • /
    • 제15A권4호
    • /
    • pp.239-242
    • /
    • 2008
  • 외부 메모리 계산 모델에서 스트링의 최대서픽스를 찾는 문제를 고려한다. 외부메모리 모델에서는 디스크와 내부메모리 사이의 디스크 입출력 횟수를 줄이는 알고리즘을 설계하는 것이 중요 사항이다. 길이가 N인 스트링은 N개의 서픽스를 가지는데, 이중에서 사전 순서에 따라 가장 큰 것을 최대 서픽스라 부른다. 최대서픽스를 구하는 것은 여러 스트링 문제를 해결하는 데 중요한 역할을 한다. 본 논문에서는 길이가 N인 스트링의 최대 서픽스를 구하는 외부메모리 알고리즘을 제시한다. 이 알고리즘은 네 개의 내부 메모리 블록을 사용하고 최대 4(N/L)번의 디스크 입출력을 한다. 여기서 L은 블록의 크기이다.

인터넷 기반의 병렬 컴퓨팅을 위한 사용자 라이브러리 설계 및 성능 분석 (Design and Analysis of User's Libraries for Parallel Computing based on the Internet)

  • 신필섭;정준목;맹혜선;홍원기;김신덕
    • 한국정보처리학회논문지
    • /
    • 제6권11호
    • /
    • pp.2932-2945
    • /
    • 1999
  • As the Internet and Java technology have been growing up, parallel processing approach to utilize those idle resources connected to the Internet has become quite attractive. In this paper, JICE(Java Internet Computing Environment) was implemented as a parallel computing platform based on the Internet using multithreading and RMI mechanisms provided by Java. The basic model of JICE is constructed as three components, such as a client, a set of workers, and a broker. A worker communicates with other workers via a globally shared memory system. It provides users with master-slave programming model and a collection of library functions. The basic model of JICE is also extended as a multimanaging system. This multimanaging system is evaluated by analysis to show its effectiveness. According to numerical analysis and experiments with several benchmarks, it is shown that the performance of basic model depends on the shared memory reference ratio and user's library is a quite promising.

  • PDF

TPMP : ARM TrustZone을 활용한 DNN 추론 과정의 기밀성 보장 기술 (TPMP: A Privacy-Preserving Technique for DNN Prediction Using ARM TrustZone)

  • 송수현;박성환;권동현
    • 정보보호학회논문지
    • /
    • 제32권3호
    • /
    • pp.487-499
    • /
    • 2022
  • 딥러닝과 같은 기계학습 기술은 최근에 광범위하게 활용되고 있다. 이러한 딥러닝은 최근 낮은 컴퓨팅 성능을 가지는 임베디드 기기 및 엣지 디바이스에서 보안성 향상을 위해 ARM TrustZone과 같은 신뢰 수행 환경에서 수행되는데, 이와 같은 실행 환경에서는 제한된 컴퓨팅 자원으로 인해 정상적인 수행에 방해를 받는다. 이를 극복하기 위해 DNN 모델 partitioning을 통해 TEE의 제한된 memory를 효율적으로 사용하며 DNN 모델을 보호하는 TPMP를 제안한다. TPMP는 최적화된 memory 스케줄링을 통해 기존의 memory 스케줄링 방법으로 수행할 수 없었던 모델들을 TEE 내에서 수행하여 시스템 자원 소모를 거의 증가시키지 않으면서 DNN의 높은 기밀성을 달성한다.

SLC/MLC 혼합 플래시 메모리를 이용한 하이브리드 하드디스크 설계 (Designing Hybrid HDD using SLC/MLC combined Flash Memory)

  • 홍성철;신동군
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권7호
    • /
    • pp.789-793
    • /
    • 2010
  • 최근 플래시 메모리 기반 비휘발성 캐시가 저장장치의 성능과 전력 소모 측면에서 효과적인 해법으로 떠오르고 있다. 비휘발성 캐시로 저장장치의 성능을 향상시키고 전력 소모를 줄이기 위해, 가격이 싸고 용량이 큰 multi-level-cell (MLC) 플래시 메모리를 사용하는 것이 좋다. 그러나 MLC 플래시 메모리의 수명은 single-level-cell (SLC) 플래시 메모리보다 훨씬 짧기 때문에 전체 저장장치의 수명이 짧아질 수 있다. 이러한 약점을 최소화하기 위해 SLC 플래시 메모리와 MLC플래시 메모리를 결합한 형태의 비휘발성 캐시를 고려해볼 수 있다. 본 논문에서는 SLC와 MLC를 결합한 플래시 메모리를 버퍼로 사용하는 새로운 하이브리드 하드디스크 구조를 제안한다.

하이브리드 메인 메모리의 성능 향상을 위한 페이지 교체 기법 (Page Replacement Algorithm for Improving Performance of Hybrid Main Memory)

  • 이민호;강동현;김정훈;엄영익
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권1호
    • /
    • pp.88-93
    • /
    • 2015
  • DRAM은 빠른 쓰기/읽기 속도와 무한한 쓰기 횟수로 인해 컴퓨터 시스템에서 주로 메인 메모리로 사용되지만 저장된 데이터를 유지하기 위해 지속적인 전원공급이 필요하다. 반면, PCM은 비휘발성 메모리로 전원공급 없이 저장된 데이터를 유지할 수 있으며 DRAM과 같이 바이트 단위의 접근과 덮어쓰기가 가능하다는 점에서 DRAM을 대체할 수 있는 메모리로 주목받고 있다. 하지만 PCM은 느린 쓰기/읽기 속도와 제한된 쓰기 횟수로 인해 메인 메모리로 사용되기 어렵다. 이런 이유로 DRAM과 PCM의 장점을 모두 활용하기 위한 하이브리드 메인 메모리가 제안되었고 이에 대한 연구가 활발하다. 본 논문에서는 DRAM과 PCM으로 구성된 하이브리드 메인 메모리를 위한 새로운 페이지 교체 기법을 제안한다. PCM의 단점을 보완하기 위해 제안 기법은 PCM 쓰기 횟수를 줄이는 것을 목표로 하며 실험결과에서 알 수 있듯이 본 논문의 제안 기법은 다른 페이지 교체 기법에 비해 PCM 쓰기 횟수를 80.5% 줄인다.

센서네트워크를 위한 Dual Priority Scheduling 기반 시스템 소프트웨어 모델링 (System Software Modeling Based on Dual Priority Scheduling for Sensor Network)

  • 황태호;김동순;문연국;김성동;김정국
    • 대한임베디드공학회논문지
    • /
    • 제2권4호
    • /
    • pp.260-273
    • /
    • 2007
  • The wireless sensor network (WSN) nodes are required to operate for several months with the limited system resource such as memory and power. The hardware platform of WSN has 128Kbyte program memory and 8Kbytes data memory. Also, WSN node is required to operate for several months with the two AA size batteries. The MAC, Network protocol, and small application must be operated in this WSN platform. We look around the problem of memory and power for WSN requirements. Then, we propose a new computing model of system software for WSN node. It is the Atomic Object Model (AOM) with Dual Priority Scheduling. For the verification of model, we design and implement IEEE 802.15.4 MAC protocol with the proposed model.

  • PDF

데이터 쓰기 패턴 분석을 통한 비휘발성 메모리 기반 딥러닝 시스템의 수명 연장 기법 (Lifetime Extension Method for Non-Volatile Memory based Deep Learning System by analyzing Data Write Pattern)

  • 최주희
    • 반도체디스플레이기술학회지
    • /
    • 제21권3호
    • /
    • pp.1-6
    • /
    • 2022
  • Modern computer systems usually have special hardware for operations used in deep learning workload even edge computing environment. Non-volatile memories (NVMs) have been considered for alternative memory storage because they consume little static energy and occupy small area. However, there is a problem for NVMs to be directly adopted. An NVM cell has limited write endurance, so that the lifetime of NVM-based memory system is much shorter than that of conventional memory system. To overcome this problem for the deep learning system, this paper proposes a novel method to extend the lifetime based on the analysis of the deep learning workloads. If an incoming block has more than a predefined number of frequently used values, the cacheline is defined as write friendly block. During the victim selection, the cacheline has lower possibility to be chosen as victim. The experimental results show that the lifetime is increased by about 50% and energy consumption is decreased by 3% with a little performance hurt.

Roofline-based Data Migration Methodology for Hybrid Memories

  • Jongmin Lee;Kwangho Lee;Mucheol Kim;Geunchul Park;Chan Yeol Park
    • Journal of Internet Technology
    • /
    • 제21권3호
    • /
    • pp.849-859
    • /
    • 2020
  • High-performance computing (HPC) systems provide huge computational resources and large memories. The hybrid memory is a promising memory technology that contains different types of memory devices, which have different characteristics regarding access time, retention time, and capacity. However, the increasing performance and employing hybrid memories induce more complexity as well. In this paper, we propose a roofline-based data migration methodology called HyDM to effectively use hybrid memories targeting at Intel Knight Landing (KNL) processor. HyDM monitors status of applications running on a system and migrates pages of selected applications to the High Bandwidth Memory (HBM). To select appropriate applications on system runtime, we adopt the roofline performance model, a visually intuitive method. HyDM also employs a feedback mechanism to change the target application dynamically. Experimental results show that our HyDM improves over the baseline execution the execution time by up to 44%.