• Title/Summary/Keyword: 분산성능

Search Result 3,389, Processing Time 0.032 seconds

A Multistriped Checkpointing Scheme for the Fault-tolerant Cluster Computers (다중 분할된 구조를 가지는 클러스터 검사점 저장 기법)

  • Chang, Yun-Seok
    • The KIPS Transactions:PartA
    • /
    • v.13A no.7 s.104
    • /
    • pp.607-614
    • /
    • 2006
  • The checkpointing schemes should reduce the process delay through managing the checkpoints of each node to fit the network load to enhance the performance of the process running on the cluster system that write the checkpoints into its global stable storage. For this reason, a cluster system with single IO space on a distributed RAID chooses a suitable checkpointng scheme to get the maximum IO performance and the best rollback recovery efficiency. In this paper, we improved the striped checkpointing scheme with dynamic stripe group size by adapting to the network bandwidth variation at the point of checkpointing. To analyze the performance of the multi striped checkpointing scheme, we applied Linpack HPC benchmark with MPI on our own cluster system with maximum 512 virtual nodes. The benchmark results showed that the multistriped checkpointing scheme has better performance than the striped checkpointing scheme on the checkpoint writing efficiency and rollback recovery at heavy system load.

Performance Evaluation of Multilinear Regression Empirical Formula and Machine Learning Model for Prediction of Two-dimensional Transverse Dispersion Coefficient (다중선형회귀경험식과 머신러닝모델의 2차원 횡 분산계수 예측성능 평가)

  • Lee, Sun Mi;Park, Inhwan
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.172-172
    • /
    • 2022
  • 분산계수는 하천에서 오염물질의 혼합능을 파악할 수 있는 대표적인 인자이다. 특히 하수처리장 방류수 혼합예측과 같이 횡 방향 혼합에 대한 예측이 중요한 경우, 하천의 지형적, 수리학적 특성을 고려한 2차원 횡 분산계수의 결정이 필요하다. 2차원 횡 분산계수의 결정을 위해 기존 연구에서는 추적자실험결과로부터 경험식을 만들어 횡 분산계수 산정에 사용해왔다. 회귀분석을 통한 경험식 산정을 위해서는 충분한 데이터가 필요하지만, 2차원 추적자 실험 건수가 충분치 않아 신뢰성 높은 경험식 산정이 어려운 상황이다. 따라서 본 연구에서는 SMOTE기법을 이용하여 횡분산계수 실험데이터를 증폭시켜 이로부터 횡 분산계수 경험식을 산정하고자 한다. 또한 다중선형회귀분석을 통해 도출된 경험식의 한계를 보완하기 위해 다양한 머신러닝 기법을 적용하고, 횡 분산계수 산정에 적합한 머신러닝 기법을 제안하고자 한다. 기존 추적자실험 데이터로부터 하폭 대 수심비, 유속 대 마찰유속비, 횡 분산계수 데이터 셋을 수집하였으며, SMOTE 알고리즘의 적용을 통해 회귀분석과 머신러닝 기법 적용에 필요한 데이터그룹을 생성했다. 새롭게 생성된 데이터 셋을 포함하여 다중선형회귀분석을 통해 횡 분산계수 경험식을 결정하였으며, 새로 제안한 경험식과 기존 경험식에 대한 정확도를 비교했다. 또한 다중선형회귀분석을 통해 결정된 경험식은 횡 분산계수 예측범위에 한계를 보였기 때문에 머신러닝기법을 적용하여 다중선형회귀분석에 대한 예측성능을 평가했다. 이를 위해 머신러닝 기법으로서 서포트 벡터 머신 회귀(SVR), K근접이웃 회귀(KNN-R), 랜덤 포레스트 회귀(RFR)를 활용했다. 세 가지 머신러닝 기법을 통해 도출된 횡 분산계수와 경험식으로부터 결정된 횡 분산계수를 비교하여 예측 성능을 비교했다. 이를 통해 제한된 실험데이터 셋으로부터 2차원 횡 분산계수 산정을 위한 데이터 전처리 기법 및 횡 분산계수 산정에 적합한 머신러닝 절차와 최적 학습기법을 도출했다.

  • PDF

A Performance Evaluation of the Agent-On-Demand for Distributed System Management (분산 시스템 관리를 위한 에이전트-온-디맨드 방법의 성능 평가)

  • Sul, Seung-Jin;Kim, Tae-Sung;Lee, Keum-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.04a
    • /
    • pp.200-204
    • /
    • 2000
  • SNMP나 CMIP에 바탕을 둔 클라이언트/서버 방식의 분산 시스템 관리 환경은 확장성, 상호운영성, 유연성 등과 관련하여 많은 제한점을 드러내고 있다. 따라서 이러한 단점들을 극복하기 위해 이동 에이전트(mobile agent)를 적용하려는 노력이 진행되고 있지만 이동 에이전트 기법을 시스템 관리에 적용하여 얻을 수 있는 성능 향상에 대해서는 면밀한 성능 분석이 필요하다. 제안한 에이전트-온-디맨드 방법에서는 에이전트를 기능별 업그레이드가 가능하도록 구성하고 관리 대상 노드가 필요한 에이전트를 요청할 수 있도록 하였다. 또한, 이동 에이전트를 위한 적절한 성능 모델을 수립하여 분석적 방법으로 성능을 평가하였다[10]. 본 논문에서는 분석적 방법을 통한 성능 모델을 기반으로 제안한 에이전트-온-디맨드 방식에 대한 성능 평가를 모의 실험을 통해 분석하였다. AOD를 적용한 분산 시스템 관리 기법과 기존의 방법의 성능 평가를 위해 IBM Aglets 소프트웨어 개발 키트 (ASDK) 1.1b2 버전과 JDK 1.1.7b 버전을 이용하여 프로토타입 관리 환경을 구현하였다.

  • PDF

Compensation Characteristics of 40 Gbps Optical Pulses Depending on Figure of Merit of Dispersion Compensating Fiber (분산 보상 광섬유의 성능 지수에 따른 40 Gbps 광 펄스의 보상 특성)

  • Lee, Seong-Real
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2013.05a
    • /
    • pp.729-731
    • /
    • 2013
  • The compensation characteristics of 40 Gbps optical signals depending on figure of merit (FOM) of dispersion compensating fiber with dispersion coefficient of -125 ps/nm/km are investigated in this research. Simulation results show that the more fiber span number and launch power increase, the more the effects of FOM of DCF on the compensated signals increase. However, it is also confirmed that the more the effects of optical nonlinearity increase, the more FOM decrease.

  • PDF

Efficient Side Infonnation Generation Techniques and Perfonnance Evaluation for Distributed Video Coding System (분산 동영상 부호화 시스템을 위한 부가정보 생성 기법의 성능 평가)

  • Moon, Hak-Soo;Lee, Chang-Woo;Lee, Seong-Won
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.36 no.3C
    • /
    • pp.140-148
    • /
    • 2011
  • The side information in the distributed video coding system is generated using motion compensated interpolation methods. Since the accuracy of the generated side information affects the amount of parity bits for the reconstruction of Wyner-Ziv frame, it is important to produce an accurate side information. In this paper, we analyze the informance of various side information generation methods and propose an effective side information generation technique. Also, we compare each side information generation methods from the hardware point of view and analyze the performance of distributed video coding system using various side information generation methods.

A Distributed Communication Model and Performance Evaluation for Information Transfer in a Security Policy-based Intrusion Detection System (보안정책 기반 침입탐지시스템에서 정보 전달을 위한 분산 통신 모델과 성능 평가)

  • Jang Jung Sook;Jeon Yong Hee;Jang Jong Soo;Sohn Seung Won
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.29 no.12C
    • /
    • pp.1707-1721
    • /
    • 2004
  • In this paper, we propose a distributed communication model of intrusion detection system(IDS) in which integrated security management at networks level is possible, model it at a security node and distributed system levels, design and implement a simulator. At the node level, we evaluate the transfer capability of alert message based on the analysis of giga-bit security node architecture which performs hardware-based intrusion detection. At the distributed system level, we perform the evaluation of transfer capability of detection and alert informations between components of distributed IDS. In the proposed model, we carry out the performance evaluation considering decision factors of communication mechanism and present the results in order to gain some quantitative understanding of the system.

Performance Factor of Distributed Processing of Machine Learning using Spark (스파크를 이용한 머신러닝의 분산 처리 성능 요인)

  • Ryu, Woo-Seok
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.16 no.1
    • /
    • pp.19-24
    • /
    • 2021
  • In this paper, we study performance factor of machine learning in the distributed environment using Apache Spark and presents an efficient distributed processing method through experiments. This work firstly presents performance factor when performing machine learning in a distributed cluster by classifying cluster performance, data size, and configuration of spark engine. In addition, performance study of regression analysis using Spark MLlib running on the Hadoop cluster is performed while changing the configuration of the node and the Spark Executor. As a result of the experiment, it was confirmed that the effective number of executors was affected by the number of data blocks, but depending on the cluster size, the maximum and minimum values were limited by the number of cores and the number of worker nodes, respectively.

On-Line Multimedia Pre-Processing for Distributed Object Activation (온라인 멀티미디어 전처리를 위한 분산 객체 활성화)

  • 허진경;이웅기
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.11b
    • /
    • pp.565-568
    • /
    • 2002
  • 클라이언트로부터 전송되는 멀티미디어 데이터를 실시간으로 서버에서 분석하여 처리하는 시스템의 경우에는 입력되는 데이터의 양에 비례하여 서버의 부담은 증가하게 된다. 이때 서버에서는 데이터의 병목현상이 발생하게 되고, 이는 바로 전체적인 시스템의 성능을 저하시키는 결과를 초래하게 된다. 본 논문에서는 데이터 처리의 병목현상을 해결하여 시스템의 성능을 높일 뿐만 아니라, 인터넷상의 유휴 서버들을 활용할 수 있게 하기 위한 방안으로 분산처리 기술을 이용한 전처리 작업 시스템과 그 성능을 향상시키기 위한 분산 객체 활성화 시스템을 제안한다.

  • PDF

Next Generation Optical Fiber(NZ_DSF) Field Test for High Speed WDM Transmission (고속 WDM 전송을 위한 차세대 광섬유(NZ_DSF) 필드 테스트)

  • Kim Geun-Young;Lee Yong-Gi
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 2003.08a
    • /
    • pp.175-176
    • /
    • 2003
  • 포설된 1000km G.652 SMF 광섬유와 G.655 NZ_DSP의 광학적 특성을 비교하였다. 또한, NZ_DSF를 사용하여 400G(10Gbit/sx40채널)급 WDM 신호의 323krn 전송실험을 통해 분산 보상 방식에 따른 전송성능을 비교하였다. 실험분석 결과. 송수신측에서만 분산보상을 하는 방식보다는 주기적으로 각 스팬마다. 분산보상을 하는 방식이 XPM으로 인한 전송성능 저하를 줄일 수 있어 더 좋은 전송성능을 얻을 수 있음을 확인하였다.

  • PDF

RAID Parity Declustering using Distributed sparing (분산 스페어 디스크를 이용한 RAID 패리티 디클러스터링 방법)

  • 백운천;장태무
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.27-29
    • /
    • 1999
  • RAID는 고병렬성과 고가용성을 목표로 제안된 대용량 저장 수단이다. 패리티 디클러스터링을 이용한 RAID는 특히 고장이 발생한 경우에도 성능의 저하를 최소화하여 고가용성을 갖는 저장장치를 구축할 수 있는 기법이다. 본 논문에서는 이러한 패리티 디클러스터링을 사용한 RAID에 스페어 유닛을 분산시킨 구성을 제안하고, 특히 이러한 분산 스페어링이 고장이 없는 정상 상태에서도 성능 개선에 유용함을 보인다. 본 논문의 실험 결과는 시뮬레이션 방식으로 입증하였으며, 전반적으로 정상상태의 성능을 5-15% 정도 높일 수 있음을 알 수 있다.

  • PDF