• 제목/요약/키워드: 분산 메모리 환경

검색결과 118건 처리시간 0.032초

분산 감시 제어 시스템의 정보 동기화 (Data Synchronization of Distributed Monitoring and Control System)

  • 배경호;김태완;이재하;장천현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.520-522
    • /
    • 2004
  • 분산 감시 제어 시스템은 산업분야에서 중요한 부분이다. 그러나 일반적인 분산 감시 제어 시스템의 응용 소프트웨어간이나 감시 장비간의 또는 응용 소프트웨어와 감시 장비간의 통신이 필요하다. 이러한 문제점은 통신의 과부하로 이어질 수 있다. 본 논문에서는 이러한 문제점을 해결하고 대규모 분산 감시 제어 시스템에서 사용할 수 있는 개발 환경을 제안한다. 이 시스템은 분산 시스템에서 정보를 동기화 하여 분산 환경하의 모든 응용 소프트웨어나 감시 장비가 공유 할 수 있도록 하는 정보 동기화 기술로 이루어져 있다 이 기술은 공유메모리를 사용하여 프로그램 코드와 데이터 구조를 분리하여 데이터 구조 및 데이터 값을 공유할 수 있게 하는 SDSL(Shared Data Structure Library)기법을 사용한다. 그리고 적시성을 보장해 주는 미들웨어인 TMO(Time-triggered Message-triggered Object)를 이용하여 실시간 성을 보장해 주는 한편 통신을 가능하게 해줌으로써 분산 시스템에서도 적용할 수 있다. 본 논문에서 제안하는 개발 환경은 데이터 구조를 동적으로 변화시켜주면서 대규모 분산 감시 제어 시스템에서 응용 프로그램을 보다 편하게 구현하고자 하는 산업 분야에 적용할 수 있다.

  • PDF

비동기 알고리즘을 이용한 분산 메모리 시스템에서의 초대형 선형 시스템 해법의 성능 향상 (Improving Performance of Large Sparse Linear System Solvers On Distributed Memory Systems By Asynchronous Algorithms)

  • 박필성;신순철
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.439-446
    • /
    • 2001
  • 현재 대부분의 병렬 알고리즘은 동기 알고리즘으로 올바른 계산을 위해서는 프로세서들의 동기화와 부하균형이 필수적이다. 만일 부하균형이 불가능하거나 이질적 클러스터처럼 각 프로세서의 성능이 다른 경우, 연산은 가장 느린 프로세서의 성능에 의해 결정된다. 비동기 반복법은 이런 문제를 해결하는 하나의 방안으로 각광받고 있으나, 현재까지의 연구는 비교적 구현이 쉬운 공유 메모리 시스템을 사용한 것이었다. 본 논문에서는 분산 메모리 환경에서 초대형 선형 시스템 문제를 풀기 위해, 빠른 프로세서의 유휴 시간을 최대한 줄임으로써 전체적으로 성능을 향상시키는 비동기 병렬 알고리즘을 제안하고 이를 클러스터에 구현하였다.

  • PDF

분산 클러스터 메모리 기반 대용량 OWL Horst Lite 온톨로지 추론 기법 (A Scalable OWL Horst Lite Ontology Reasoning Approach based on Distributed Cluster Memories)

  • 김제민;박영택
    • 정보과학회 논문지
    • /
    • 제42권3호
    • /
    • pp.307-319
    • /
    • 2015
  • 현재 대용량 온톨로지를 추론하기 위해 하둡 기반의 분산 클러스터 환경을 구축한 후, 맵-리듀스 알고리즘을 기반으로 추론을 수행하는 방식이 활발히 연구되고 있다. 그러나 본 논문에서는 분산 클러스터의 메모리 환경에서 대용량 OWL Horst Lite 온톨로지 추론을 위한 기법을 제안한다. 대용량 온톨로지 추론에 사용되는 규칙 기반 추론 방식은 데이터가 더 이상 추론 되지 않을 때까지 트리플 형식으로 표현된 온톨로지에 추론 규칙을 반복적으로 수행한다. 따라서 컴퓨터 디스크에 적재된 대용량의 온톨로지를 대상으로 추론을 수행하면 추론 시스템의 성능이 상당히 저하된다. 이러한 단점을 극복하기 위해서 본 논문에서는 메모리 기반의 분산 클러스터 프레임워크인 Spark를 기반으로 온톨로지를 메모리에 적재한 후, 추론을 수행하는 기법을 제안한다. Spark에 적합한 OWL Horst Lite 온톨로지 추론 시스템을 구현하기 위해서 대용량 온톨로지를 적절한 크기의 블록으로 분할한 후, 각각의 블록을 분산 클러스터를 구성하는 각 노드의 메모리에 분산 적재하여 작업을 수행하는 방법론을 제안하였다. 제안하는 기법의 효율성을 검증하기 위해, 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM을 대상으로 실험하였다. 대표적인 맵-리듀스 기반 온톨로지 추론 엔진인 WebPIE와 비교 실험한 결과, LUBM8000(11억개 트리플, 155GB)에 대해서 WebPIE의 추론 처리량이 19k/초보다 3.2배 개선된 62k/초의 성능 향상이 있었다.

메모리 중심 컴퓨터 구조에서 MPI 병렬 프로그램의 효율적인 수행 (Efficient Executions of MPI Parallel Programs in Memory-Centric Computer Architecture)

  • 이제만;이승철;신동하
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
    • /
    • pp.257-258
    • /
    • 2019
  • 본 논문에서는 "프로세서 중심 컴퓨터 구조"에서 개발된 MPI 병렬 프로그램을 수정하지 않고 "메모리 중심 컴퓨터 구조"에서 더 효율적으로 수행시키는 기술을 제안한다. 본 연구에서 제안하는 기술은 메모리 중심 컴퓨터 구조가 가지는 "빠른 대용량 공유 메모리" 특징을 이용하여 MPI 표준 라이브러리가 수행하는 네트워크 통신을 통한 느린 데이터 전달을 공유 메모리를 통한 빠른 데이터 전달로 대체하여 효율성을 얻는다. 본 연구에서 제안한 기술은 도커 가상화 기술을 사용한 분산 시스템 환경에서 MC-MPI-LIB 라이브러리 및 MC-MPI-SIM 시뮬레이터로 구현되었으며 다수의 MPI 병렬 프로그램으로 시험 수행하여 효율성이 있음을 보였다.

  • PDF

GEN_BLOCK간 재분산을 위한 통신 스케줄 (Communication Schedule for GEN_BLOCK Redistribution)

  • 육현규;박명순
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권5호
    • /
    • pp.450-463
    • /
    • 2000
  • 배열 재분산은 분산 메모리 컴퓨팅 환경에서 응용 프로그램의 수행 속도를 빠르게 하기 위해 많이 사용되고 있다. 특히 GEN BLOCK간 재분산은 동적으로 부하가 변화하는 경우 최적화된 성능을 보이기 위해 필요하다. 배열 재분산에 관한 기존 연구들은 대부분 CYCLIC(N)등과 같은 정규 분산 패턴간 재분산에 대해서만 이루어져 왔다. 그러나 GEN BLOCK등과 같은 비정규 분산 패턴간 재분산에서 발생하는 메시지패싱들은 정규 분산 패턴간 재분산과는 다른 특정을 보이기 때문에 이에 대한 새로운 연구가 필요하다. 본 논문은 GEN BLOCK간 재분산에서 발생하는 메시지패싱들에 정규 분산 패턴간 재분산에서 발견되 는 규칙성은 없는 반면 공간 지역성 (spacial locality)이 존재함을 보이고, 이를 기반으로 최소 스텝 정리와 최소 크기 정리가 재분산의 성능을 향상시키는데 중요함을 증병하였으며, 기존의 리스트 스케줄링 방식에 재구성 단계(relocation phase)를 추가함으로써 최적 스케줄을 생성하는 알고리즘을 제시하였다. 마지막으로 제안한 알고리즘의 성능을 평가하기 위해 , CRAY T3E와 IBM SP2에서 성능 평가를 수행 하였으며, 그 결과 분산 메모리 병렬 머신에서 최소 스텝 정리와 최소 크기 정리를 만족하는 스케줄이 GEN BLOCK간 재분산의 성능 향상에 중요함을 보였다.

  • PDF

동기식 분산 딥러닝 환경에서 배치 사이즈 변화에 따른 모델 학습 성능 분석 (A Performance Analysis of Model Training Due to Different Batch Sizes in Synchronous Distributed Deep Learning Environments)

  • 김예랑;김형준;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.79-80
    • /
    • 2023
  • 동기식 분산 딥러닝 기법은 그래디언트 계산 작업을 다수의 워커가 나누어 병렬 처리함으로써 모델 학습 과정을 효율적으로 단축시킨다. 배치 사이즈는 이터레이션 단위로 처리하는 데이터 개수를 의미하며, 학습 속도 및 학습 모델의 품질에 영향을 미치는 중요한 요소이다. 멀티 GPU 환경에서 작동하는 분산 학습의 경우, 가용 GPU 메모리 용량이 커짐에 따라 선택 가능한 배치 사이즈의 상한이 증가한다. 하지만 배치 사이즈가 학습 속도 및 학습 모델 품질에 미치는 영향은 GPU 활용률, 총 에포크 수, 모델 파라미터 개수 등 다양한 변수에 영향을 받으므로 최적값을 찾기 쉽지 않다. 본 연구는 동기식 분산 딥러닝 환경에서 실험을 통해 최적의 배치 사이즈 선택에 영향을 미치는 주요 요인을 분석한다.

Windows-NT 워크스테이션 클러스터를위한 소프트웨어 기반 분산 공유 메모리 시스템의 구현 및 성능 평가 (Implementation and Performance Evaluation of a Software-based DSM Sytem for a Windows-NT Workstations Cluster)

  • 이종우
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권2호
    • /
    • pp.176-184
    • /
    • 1999
  • 지금까지의 소프트웨어 기반 분산 공유 메모리(이하 DSM이라 칭함)시스템은 유닉스 워크스테이션 클러스터를 목표로 하는 것이 대부분이었다. 그러나 현재 Windows-NT 는 서버급 시스템과 PC 모두를 위한 운영체제로서 유닉스와 더불어 널리 사용되고 있는 실정이다. 본 논문에서는 Windows-NT 워크스테이션 클러스터 환경을 위한 DSM 시스템을 구현하고, 구현된 DSM 시스템의 성능 평가 결과를 제시한다. 구현된 DSM 시스템은 Win32 API와 표준 실행-시간 라이브러리를 이용해 구현되었기 때문에 모든 Windows-NT 워크스테이션에서 실행 가능하며 , 프로그래머는 몇 라인의 코드 추가만으로 DSM 시스템 상에서 수행되는 병렬 응용 프로그램을 작성할 수 있다. 워크스테이션 간의 상호연결망으로 범용성을 위해 이더넷 LAN을 지원하였고, 아울러 성능 향상을 위해 기가비트 SAN(System Area Network)도 지원하였다. 기가비트 SAN을 위한 하드웨어로는 Dolphin 사의 PCI-SCI 타입 제품인 Clustar를 사용하였다. 우리는 성능 평가를 통해, 구현된 DSM 시스템이 정확히 동작함은 물론 확장성이 뛰어나다는 것을 확인하였다. 특히 , 기가비트 SAN을 사용할 경우 일부 병렬 벤치 마크 프로그램에서는 노드 수 증가에 따라 성능이 거의 선형적으로 향상된다는 것을 알 수 있었다. 본 논문이 기여하는 바는 Windows-NT 기반 소프트웨어 DSM 시스템의 원천 기술을 확보함으로써 향후 Windows-NT 워크스테이션 클러스터 환경에서의 분산 및 병렬 처리 연구에 도움을 줄 수 있다는 점이다.

분산 공유메모리 환경의 다단계 버스망에서 트래픽에 적응하는 동적 라우팅 알고리즘 (A Dynamic Routing Algorithm Adaptive to Traffic for Multistage Bus Networks in Distributed Shared Memory Environment)

  • 홍강운;전창호
    • 정보처리학회논문지A
    • /
    • 제9A권4호
    • /
    • pp.547-554
    • /
    • 2002
  • 본 논문은 분산 공유메모리 환경의 다단계 버스망을 위한 동적 라우팅 방범을 제안한다. 제안된 라우팅 방법의 특징은 다단계 버스망이 제공하는 잉여경로를 활용하고 스위치 트래픽에 따라 적응적으로 경로를 결정하여 스위치의 트래픽을 분산시키는 것이다. 구체적으로는 잉여경로 상의 다음 단계 스위치의 트래픽 정도가 높고 낮음을 판단하여 트래픽 정도가 낮은 스위치로 패킷을 전달한다. 그 결과 평균 응답시간과 스위치상의 평균 대기패킷수를 줄이는 효과를 얻는다. 프로세서수와 스위치 크기를 변화시키면서 시뮬레이션을 하여 제안된 알고리즘이 잉여경로를 고려하지 않는 기존의 알고리즘에 비하여 평균 응답시간은 약 9%, 스위치 상의 평균 대기패킷수는 21.6% 정토 향상시킨다는 것을 보여준다

멀티미디어 지원을 위한 메모리 관리 기법 설계 및 구현 (Design and Implementation of Memory Management Mechanism for Multimedia Applications)

  • 고영웅;아재용;홍철호;유혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.61-63
    • /
    • 2001
  • 가상 메모리 시스템은 다중 프로그래밍의 정도를 높이고 효율적으로 주기억 장치를 관리하는 장점을 제공해 주지만 예측할 수 없는 지연을 발생시키는 문제점을 가지고 있다. 따라서 가상 메모리 시스템은 시간 제약이 엄격한 경성 실시간 시스템에서 사용하기에 부적합하며, 시간 제약이 완화된 멀티미디어 분야에서도 태스크의 제한 시간 실패율을 높이는 원인을 제공함으로써 멀티미디어 서비스 품질을 저하시키고 있다. 본 논문에서는 동적으로 태스크가 유입되는 범용 시스템 환경에서 가상 메모리 시스템이 멀티미디어 태스크에 미치는 영향을 분석하고. 멀티미디어 태스크의 제한 시간 실패율을 최소화할 수 있는 메모리 관리 방법을 제시하였다. 본 논문에서는 동적으로 유입되는 태스크의 페이지 폴트를 제한된 비율로 유지시키는 기법을 사용하며. 이를 통해서 부하를 분산시키고. 결과적으로 멀티미디어 응용이 원활히 수행될 수 있도록 하였다.

  • PDF

빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 (Study of In-Memory based Hybrid Big Data Processing Scheme for Improve the Big Data Processing Rate)

  • 이협건;김영운;김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권2호
    • /
    • pp.127-134
    • /
    • 2019
  • IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.