• 제목/요약/키워드: 분산성능

검색결과 3,390건 처리시간 0.03초

다중 분할된 구조를 가지는 클러스터 검사점 저장 기법 (A Multistriped Checkpointing Scheme for the Fault-tolerant Cluster Computers)

  • 장윤석
    • 정보처리학회논문지A
    • /
    • 제13A권7호
    • /
    • pp.607-614
    • /
    • 2006
  • 검사점 저장 기법을 사용하여 주기적으로 클러스터 노드들의 프로세스 수행 정보를 전역 저장 장치에 저장하는 분산 클러스터 시스템에서 결함 허용 성능을 유지하는 데 드는 비용을 줄이고 전체 프로세스의 수행 성능을 증가시키기 위해서는 검사점 정보를 저장할 때에 네트워크로 전달되는 부하를 각 노드에 최대한 적절하게 분산하여 데이터 저장 시간을 줄임으로써 검사점 정보를 저장하는 동안 전체 클러스터 시스템의 프로세스가 지연되는 시간을 줄이도록 하여야 한다. 이를 위하여 분산 RAID 기반의 단일 입출력 공간을 사용하는. 클러스터 시스템에서는 여러가지 검사점 저장 기법을 사용하며, 검사점 정보의 저장 기법에 따라서 저장 성능과 결함 회복 성능이 달라진다. 본 연구에서는 분할된 검사점 저장 기법을 개선하여 검사점 데이터를 분산 RAID 기반의 단일 입출력 공간에 저장할 때에 그룹별로 분할되는 분할 그룹 크기를 검사점 정보가 저장될 때의 네트워크의 트래픽에 따라서 동적으로 결정하여 네트워크를 통한 분산 RAID에 저장함으로써 네트워크 병목현상을 최소화하는 다중 분할된 검사점 저장 구조를 제안하였다. 제안된 구조의 성능을 분석하기 위하여 최대 512개의 가상 노드로 구성된 클러스터 시스템을 대상으로 하여 MPI 와 Linpack HPC 벤치마크를 통한 성능 평가를 수행하였으며, 성능 평가 결과는 검사점 정보의 크기와 클러스터의 크기가 증가할수록 제안된 기법이 검사점 정보의 저장과 결함 회복 능력에 대하여 기존의 검사점 저장 기법에 비하여 우수한 성능을 보인다.

다중선형회귀경험식과 머신러닝모델의 2차원 횡 분산계수 예측성능 평가 (Performance Evaluation of Multilinear Regression Empirical Formula and Machine Learning Model for Prediction of Two-dimensional Transverse Dispersion Coefficient)

  • 이선미;박인환
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.172-172
    • /
    • 2022
  • 분산계수는 하천에서 오염물질의 혼합능을 파악할 수 있는 대표적인 인자이다. 특히 하수처리장 방류수 혼합예측과 같이 횡 방향 혼합에 대한 예측이 중요한 경우, 하천의 지형적, 수리학적 특성을 고려한 2차원 횡 분산계수의 결정이 필요하다. 2차원 횡 분산계수의 결정을 위해 기존 연구에서는 추적자실험결과로부터 경험식을 만들어 횡 분산계수 산정에 사용해왔다. 회귀분석을 통한 경험식 산정을 위해서는 충분한 데이터가 필요하지만, 2차원 추적자 실험 건수가 충분치 않아 신뢰성 높은 경험식 산정이 어려운 상황이다. 따라서 본 연구에서는 SMOTE기법을 이용하여 횡분산계수 실험데이터를 증폭시켜 이로부터 횡 분산계수 경험식을 산정하고자 한다. 또한 다중선형회귀분석을 통해 도출된 경험식의 한계를 보완하기 위해 다양한 머신러닝 기법을 적용하고, 횡 분산계수 산정에 적합한 머신러닝 기법을 제안하고자 한다. 기존 추적자실험 데이터로부터 하폭 대 수심비, 유속 대 마찰유속비, 횡 분산계수 데이터 셋을 수집하였으며, SMOTE 알고리즘의 적용을 통해 회귀분석과 머신러닝 기법 적용에 필요한 데이터그룹을 생성했다. 새롭게 생성된 데이터 셋을 포함하여 다중선형회귀분석을 통해 횡 분산계수 경험식을 결정하였으며, 새로 제안한 경험식과 기존 경험식에 대한 정확도를 비교했다. 또한 다중선형회귀분석을 통해 결정된 경험식은 횡 분산계수 예측범위에 한계를 보였기 때문에 머신러닝기법을 적용하여 다중선형회귀분석에 대한 예측성능을 평가했다. 이를 위해 머신러닝 기법으로서 서포트 벡터 머신 회귀(SVR), K근접이웃 회귀(KNN-R), 랜덤 포레스트 회귀(RFR)를 활용했다. 세 가지 머신러닝 기법을 통해 도출된 횡 분산계수와 경험식으로부터 결정된 횡 분산계수를 비교하여 예측 성능을 비교했다. 이를 통해 제한된 실험데이터 셋으로부터 2차원 횡 분산계수 산정을 위한 데이터 전처리 기법 및 횡 분산계수 산정에 적합한 머신러닝 절차와 최적 학습기법을 도출했다.

  • PDF

분산 시스템 관리를 위한 에이전트-온-디맨드 방법의 성능 평가 (A Performance Evaluation of the Agent-On-Demand for Distributed System Management)

  • 설승진;김태성;이금석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
    • /
    • pp.200-204
    • /
    • 2000
  • SNMP나 CMIP에 바탕을 둔 클라이언트/서버 방식의 분산 시스템 관리 환경은 확장성, 상호운영성, 유연성 등과 관련하여 많은 제한점을 드러내고 있다. 따라서 이러한 단점들을 극복하기 위해 이동 에이전트(mobile agent)를 적용하려는 노력이 진행되고 있지만 이동 에이전트 기법을 시스템 관리에 적용하여 얻을 수 있는 성능 향상에 대해서는 면밀한 성능 분석이 필요하다. 제안한 에이전트-온-디맨드 방법에서는 에이전트를 기능별 업그레이드가 가능하도록 구성하고 관리 대상 노드가 필요한 에이전트를 요청할 수 있도록 하였다. 또한, 이동 에이전트를 위한 적절한 성능 모델을 수립하여 분석적 방법으로 성능을 평가하였다[10]. 본 논문에서는 분석적 방법을 통한 성능 모델을 기반으로 제안한 에이전트-온-디맨드 방식에 대한 성능 평가를 모의 실험을 통해 분석하였다. AOD를 적용한 분산 시스템 관리 기법과 기존의 방법의 성능 평가를 위해 IBM Aglets 소프트웨어 개발 키트 (ASDK) 1.1b2 버전과 JDK 1.1.7b 버전을 이용하여 프로토타입 관리 환경을 구현하였다.

  • PDF

분산 보상 광섬유의 성능 지수에 따른 40 Gbps 광 펄스의 보상 특성 (Compensation Characteristics of 40 Gbps Optical Pulses Depending on Figure of Merit of Dispersion Compensating Fiber)

  • 이성렬
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 춘계학술대회
    • /
    • pp.729-731
    • /
    • 2013
  • 축적된 분산(dispersion)과 비선형 효과에 의한 광 신호의 왜곡을 보상하기 위해 사용되는 분산 계수가 -125 ps/nm/km인 분산 보상 광섬유의 성능 지수 (figure of merit)에 따른 40 Gbps의 광 펄스의 보상 특성을 살펴보았다. 보상 특성이 광전송 링크를 구성하는 중계 구간 (fiber span)의 수가 많고 광 펄스의 입사 전력이 클수록 DCF의 성능 지수의 영향을 많이 받는 것을 확인할 수 있었다. 또한 광 펄스의 파장이 광섬유의 영 분산 파장으로부터 많이 벗어날수록 DCF의 성능 지수의 영향을 많이 받는 것을 확인하였다. 그러나 광전송 링크의 비선형 효과가 클수록 효과적인 보상을 위한 DCF의 성능 지수는 낮아져야 한다는 것을 동시에 확인하였다.

  • PDF

분산 동영상 부호화 시스템을 위한 부가정보 생성 기법의 성능 평가 (Efficient Side Infonnation Generation Techniques and Perfonnance Evaluation for Distributed Video Coding System)

  • 문학수;이창우;이성원
    • 한국통신학회논문지
    • /
    • 제36권3C호
    • /
    • pp.140-148
    • /
    • 2011
  • 단순한 구조의 부호기를 사용할 수 있는 분산 동영상 부호화 시스템에서는 복호기에서 움직임 보상 보간 기법을 이용하여 부가정보를 생성한다. 생성된 부가정보의 정확성이 Wyner-Ziv 프레임을 복원하기 위한 패리티 정보량에 큰 영향을 미치기 때문에 부가정보의 정확한 생성이 분산 동영상 부호화 시스템의 성능에 큰 영향을 미친다. 본 논문에서는 다양한 부가정보 생성 기법의 성능을 분석하고 효율적인 부가정보 생성 기법을 제안하였고 하드웨어 구현 관점에서 각 부가정보 생성 기법을 비교하였다. 또한 분산 동영상 부호화 시스템에서 사용되는 터보 부호의 부호회율 제어 방법이 전체 성능에 미치는 영향과 부가정보 생성 기법이 전체 분산 동영상 부호화 시스템의 성능에 미치는 영향을 비교 분석하였다.

보안정책 기반 침입탐지시스템에서 정보 전달을 위한 분산 통신 모델과 성능 평가 (A Distributed Communication Model and Performance Evaluation for Information Transfer in a Security Policy-based Intrusion Detection System)

  • 장정숙;전용희;장종수;손승원
    • 한국통신학회논문지
    • /
    • 제29권12C호
    • /
    • pp.1707-1721
    • /
    • 2004
  • 본 논문에서는 네트워크 차원의 종합적인 보안관리가 가능한 침입탐지시스템의 분산 통신모델을 제안하고 보안노드와 분산 시스템 레벨에서 각각 모델링하고 시뮬레이터를 설계하고 구현한다. 노드 레벨에서는 하드웨어기반 침입탐지를 수행하는 기가비트 보안 노드의 구조분석을 기반으로 경보 메시지의 전달 성능을 평가한다. 분산 시스템 레벨에서는 보안정책을 기반으로 네트워크 수준에서 분산 침입방지시스템의 컴포넌트 사이에 전달되는 탐지 및 경보 정보의 전달 성능을 모의실험을 통하여 성능평가를 수행한다. 제안된 모델에서 통신 메커니즘의 결정요인들을 적용하여 성능 평가를 수행하고 시스템의 정량적인 이해를 하기 위하여 결과를 제시한다.

스파크를 이용한 머신러닝의 분산 처리 성능 요인 (Performance Factor of Distributed Processing of Machine Learning using Spark)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제16권1호
    • /
    • pp.19-24
    • /
    • 2021
  • 본 논문에서는 아파치 스파크를 이용하여 머신러닝을 분산 처리할 때의 성능 요인을 분석하고 효율적인 분산 처리를 위한 실행 환경을 실험을 통해 제시한다. 먼저, 분산 클러스터 환경에서 머신러닝을 수행할 때 고려해야 하는 성능 요인으로 클러스터의 성능, 데이터의 규모, 스파크 엔진의 속성으로 구분하여 분석한다. 그리고 하둡 클러스터에서 동작하는 스파크 MLlib을 이용하여 회귀분석을 수행할 때 노드의 구성과 스파크 Executor의 설정을 변화하면서 성능을 측정한다. 실험 결과 최적의 Executor 개수는 데이터의 블록의 수에 영향을 받으나 클러스터 규모에 따라 최대값, 최소값은 각각 코어의 수, 워커 노드의 수로 제한됨을 실증하였다.

온라인 멀티미디어 전처리를 위한 분산 객체 활성화 (On-Line Multimedia Pre-Processing for Distributed Object Activation)

  • 허진경;이웅기
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 추계학술발표논문집
    • /
    • pp.565-568
    • /
    • 2002
  • 클라이언트로부터 전송되는 멀티미디어 데이터를 실시간으로 서버에서 분석하여 처리하는 시스템의 경우에는 입력되는 데이터의 양에 비례하여 서버의 부담은 증가하게 된다. 이때 서버에서는 데이터의 병목현상이 발생하게 되고, 이는 바로 전체적인 시스템의 성능을 저하시키는 결과를 초래하게 된다. 본 논문에서는 데이터 처리의 병목현상을 해결하여 시스템의 성능을 높일 뿐만 아니라, 인터넷상의 유휴 서버들을 활용할 수 있게 하기 위한 방안으로 분산처리 기술을 이용한 전처리 작업 시스템과 그 성능을 향상시키기 위한 분산 객체 활성화 시스템을 제안한다.

  • PDF

고속 WDM 전송을 위한 차세대 광섬유(NZ_DSF) 필드 테스트 (Next Generation Optical Fiber(NZ_DSF) Field Test for High Speed WDM Transmission)

  • 김근영;이용기
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 한국정보통신설비학회 2003년도 하계학술대회
    • /
    • pp.175-176
    • /
    • 2003
  • 포설된 1000km G.652 SMF 광섬유와 G.655 NZ_DSP의 광학적 특성을 비교하였다. 또한, NZ_DSF를 사용하여 400G(10Gbit/sx40채널)급 WDM 신호의 323krn 전송실험을 통해 분산 보상 방식에 따른 전송성능을 비교하였다. 실험분석 결과. 송수신측에서만 분산보상을 하는 방식보다는 주기적으로 각 스팬마다. 분산보상을 하는 방식이 XPM으로 인한 전송성능 저하를 줄일 수 있어 더 좋은 전송성능을 얻을 수 있음을 확인하였다.

  • PDF

분산 스페어 디스크를 이용한 RAID 패리티 디클러스터링 방법 (RAID Parity Declustering using Distributed sparing)

  • 백운천;장태무
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.27-29
    • /
    • 1999
  • RAID는 고병렬성과 고가용성을 목표로 제안된 대용량 저장 수단이다. 패리티 디클러스터링을 이용한 RAID는 특히 고장이 발생한 경우에도 성능의 저하를 최소화하여 고가용성을 갖는 저장장치를 구축할 수 있는 기법이다. 본 논문에서는 이러한 패리티 디클러스터링을 사용한 RAID에 스페어 유닛을 분산시킨 구성을 제안하고, 특히 이러한 분산 스페어링이 고장이 없는 정상 상태에서도 성능 개선에 유용함을 보인다. 본 논문의 실험 결과는 시뮬레이션 방식으로 입증하였으며, 전반적으로 정상상태의 성능을 5-15% 정도 높일 수 있음을 알 수 있다.

  • PDF