• 제목/요약/키워드: distributed memory environment

검색결과 80건 처리시간 0.029초

Design and Cost Analysis for a Fault-Tolerant Distributed Shared Memory System

  • Jazi, AL-Harbi Fahad;kim, Kangseok;Kim, Jai-Hoon
    • 인터넷정보학회논문지
    • /
    • 제17권4호
    • /
    • pp.1-9
    • /
    • 2016
  • Algorithms implementing distributed shared memory (DSM) were developed for ensuring consistency. The performance of DSM algorithms is dependent on system and usage parameters. However, ensuring these algorithms to tolerate faults is a problem that needs to be researched. In this study, we proposed fault-tolerant scheme for DSM system and analyzed reliability and fault-tolerant overhead. Using our analysis, we can choose a proper algorithm for DSM on error prone environment.

상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법 (An Efficient Cache Management Scheme for Load Balancing in Distributed Environments with Different Memory Sizes)

  • 최기태;윤상원;박재열;임종태;이석희;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.543-548
    • /
    • 2015
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 기하급수적으로 데이터가 급증하고 있다. 기존 디스크 기반 분산 파일 시스템은 I/O 처리 비용 및 병목 현상으로 인해 데이터 처리나 데이터 접근 성능에 한계가 발생한다. 이러한 문제점을 해결하기 위해 메모리에 데이터를 관리하는 캐시 기법이 활용되고 있다. 본 논문에서는 분산 메모리 환경에서 부하 분산을 처리하기 위한 캐시 관리 기법을 제안한다. 제안하는 기법은 노드의 메모리의 크기가 서로 상이한 환경에서 메모리 크기에 따라 데이터를 분배하고 노드의 부하가 발생할 경우 핫 데이터를 재분배한다. 또한, 캐시 항목의 재사용 가능성, 사용 빈도수, 접근 시간을 고려한 캐시 교체 기법을 제안한다. 성능 평가를 통해 제안하는 분산 캐시 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

쿠버네티스에서 ML 워크로드를 위한 분산 인-메모리 캐싱 방법 (Distributed In-Memory Caching Method for ML Workload in Kubernetes)

  • 윤동현;송석일
    • Journal of Platform Technology
    • /
    • 제11권4호
    • /
    • pp.71-79
    • /
    • 2023
  • 이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

  • PDF

A Distributed Control Architecture for Advanced Testing In Realtime

  • Thoen Bradford K.;Laplace Patrick N.
    • 한국지진공학회:학술대회논문집
    • /
    • 한국지진공학회 2006년도 학술발표회 논문집
    • /
    • pp.563-570
    • /
    • 2006
  • Distributed control architecture is based on sharing control and data between multiple nodes on a network Communication and task sharing can be distributed between multiple control computers. Although many communication protocols exist, such as TCP/IP and UDP, they do not have the determinism that realtime control demands. Fiber-optic reflective shared memory creates the opportunity for realtime distributed control. This architecture allows control and computational tasks to be divided between multiple systems and operate in a deterministic realtime environment. One such shared memory architecture is based on Curtiss-Wright ScramNET family of fiber-optic reflective memory. MTS has built seismic and structural control software and hardware capable of utilizing ScramNET shared memory, opening up infinite possibilities in research and new capabilities in Hybrid and Model-In-The-Loop control.

  • PDF

분산 인-메모리 환경에서 부하 분산을 위한 데이터 복제와 이주 기법 (Data Replication and Migration Scheme for Load Balancing in Distributed Memory Environments)

  • 최기태;윤상원;박재열;임종태;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.44-49
    • /
    • 2016
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 급증하고 있다. 이러한 대용량의 데이터를 효율적으로 처리하기 위해 분산 메모리 처리 시스템을 사용한다. 하지만 분산 환경에서 특정 노드에 부하가 집중이 되면 노드의 성능이 저하되는 문제가 발생한다. 본 논문은 분산 메모리 환경에서 노드의 부하를 적절하게 분배하는 부하 분산 기법을 제안한다. 제안하는 기법은 노드의 부하를 관리하기 위해 핫 데이터를 여러 노드에 복제하고 노드가 추가되거나 삭제될 때 노드의 부하를 고려하여 데이터를 이주시킨다. 클라이언트는 핫 데이터의 메타데이터 정보를 유지하여 직접 노드에 접근함으로써 중앙 서버의 접근을 감소시킨다. 성능 평가를 통해 제안하는 부하 분산 관리 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

Comparative Analysis of Centralized Vs. Distributed Locality-based Repository over IoT-Enabled Big Data in Smart Grid Environment

  • Siddiqui, Isma Farah;Abbas, Asad;Lee, Scott Uk-Jin
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
    • /
    • pp.75-78
    • /
    • 2017
  • This paper compares operational and network analysis of centralized and distributed repository for big data solutions in the IoT enabled Smart Grid environment. The comparative analysis clearly depicts that centralize repository consumes less memory consumption while distributed locality-based repository reduce network complexity issues than centralize repository in state-of-the-art Big Data Solution.

  • PDF

Distributed Incremental Approximate Frequent Itemset Mining Using MapReduce

  • Mohsin Shaikh;Irfan Ali Tunio;Syed Muhammad Shehram Shah;Fareesa Khan Sohu;Abdul Aziz;Ahmad Ali
    • International Journal of Computer Science & Network Security
    • /
    • 제23권5호
    • /
    • pp.207-211
    • /
    • 2023
  • Traditional methods for datamining typically assume that the data is small, centralized, memory resident and static. But this assumption is no longer acceptable, because datasets are growing very fast hence becoming huge from time to time. There is fast growing need to manage data with efficient mining algorithms. In such a scenario it is inevitable to carry out data mining in a distributed environment and Frequent Itemset Mining (FIM) is no exception. Thus, the need of an efficient incremental mining algorithm arises. We propose the Distributed Incremental Approximate Frequent Itemset Mining (DIAFIM) which is an incremental FIM algorithm and works on the distributed parallel MapReduce environment. The key contribution of this research is devising an incremental mining algorithm that works on the distributed parallel MapReduce environment.

빅데이터 분석을 위한 슈퍼컴퓨터 환경에서 R의 병렬처리 (Parallel Computing Environment for R with on Supercomputer Systems)

  • 이상열;원중호
    • 한국경영과학회지
    • /
    • 제39권4호
    • /
    • pp.19-31
    • /
    • 2014
  • We study parallel processing techniques for the R programming language of high performance computing technology. In this study, we used massively parallel computing system which has 25,408 cpu cores. We conducted a performance evaluation of a distributed memory system using MPI and of a the shared memory system using OpenMP. Our findings are summarized as follows. First, For some particular algorithms, parallel processing is about 150 times faster than serial processing in R. Second, the distributed memory system gets faster as the number of nodes increases while shared memory system is limited in the improvement of performance, due to the limit of the number of cpus in a single system.

A Study on a Distributed Data Fabric-based Platform in a Multi-Cloud Environment

  • Moon, Seok-Jae;Kang, Seong-Beom;Park, Byung-Joon
    • International Journal of Advanced Culture Technology
    • /
    • 제9권3호
    • /
    • pp.321-326
    • /
    • 2021
  • In a multi-cloud environment, it is necessary to minimize physical movement for efficient interoperability of distributed source data without building a data warehouse or data lake. And there is a need for a data platform that can easily access data anywhere in a multi-cloud environment. In this paper, we propose a new platform based on data fabric centered on a distributed platform suitable for cloud environments that overcomes the limitations of legacy systems. This platform applies the knowledge graph database technique to the physical linkage of source data for interoperability of distributed data. And by integrating all data into one scalable platform in a multi-cloud environment, it uses the holochain technique so that companies can easily access and move data with security and authority guaranteed regardless of where the data is stored. The knowledge graph database mitigates the problem of heterogeneous conflicts of data interoperability in a decentralized environment, and Holochain accelerates the memory and security processing process on traditional blockchains. In this way, data access and sharing of more distributed data interoperability becomes flexible, and metadata matching flexibility is effectively handled.

퍼지인식도를 이용한 웹기반 조직지식획득에 관한 연구 (Web-Based Organizational Memory Acquisition by Using a Fuzzy Cognitive Map)

  • 이건창
    • 지능정보연구
    • /
    • 제5권2호
    • /
    • pp.79-97
    • /
    • 1999
  • Knowledge management (KM) is emerging as a robust management mechanism with which an organization can remain highly intelligent and competitive in a turbulent market. Organization knowledge is at the heart of KM success. As a vehicle of acquiring organizational knowledge in a distributed decision-making environment, we applied a fuzzy cognitive map (FMM) technique and proved its effectiveness in a distributed knowledge management environment. Our approach was applied to the financial statement analysis problem, yielding a robust result.

  • PDF