• 제목/요약/키워드: distributed computing cluster

검색결과 89건 처리시간 0.026초

스마트 디바이스로 구성된 클러스터를 위한 상대속도 기반 작업 분배 기법 (Relative Speed based Task Distribution Algorithm for Smart Device Cluster)

  • 이재훈;강수용
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권3호
    • /
    • pp.60-71
    • /
    • 2017
  • 스마트 폰, 스마트 TV, 스마트 패드 등의 스마트 디바이스는 최근 없어서는 안 될 필수적인 기기가 되었다. 인기가 많아지고 수요가 늘어감에 따라 스마트 디바이스의 성능 또한 점차 좋아져 교육, 비즈니스 등 많은 일을 처리하기 위해 번거로운 데스크탑 PC 대신 스마트 디바이스를 선택하는 사용자들이 늘어나고 있다. 그러나 성능이 좋아졌다해도 여전히 데스크탑 PC에 비해 부족한 성능을 지닌 스마트 디바이스는 제한된 자원으로 인해 고성능을 요구하는 어플리케이션을 실행하는데 어려움을 겪고 있다. 본 논문에서는 스마트 디바이스의 자원 제한을 극복하기 위한 방법으로 주변 스마트 디바이스의 자원 활용 시 발생할 수 있는 문제점과 고려해야 할 사항에 대해 살펴보고, 스마트 디바이스의 특성을 적용한 작업 분배 알고리즘을 제안한다. 알고리즘을 검증하기 위해 안드로이드 플랫폼 내 분산 처리 시스템 서비스를 추가 후 알고리즘을 구현하였고, 스마트 디바이스에 탑재해 클러스터를 구성 후 다양한 실험을 진행했다. 실험 결과 분석을 통해 본 논문에서 제안하는 알고리즘은 노드 간 성능이 균일하지 않은 클러스터에서도 각 노드의 성능을 파악해 서로 다른 양의 작업을 분배함으로써 전체적인 분산 처리 성능이 효율적으로 향상된다는 것을 확인할 수 있었다.

분산 환경에서 클러스터 노드 할당 시스템을 위한 유전자 기반 최적화 모델 (A Genetic-Based Optimization Model for Clustered Node Allocation System in a Distributed Environment)

  • 박경모
    • 정보처리학회논문지A
    • /
    • 제10A권1호
    • /
    • pp.15-24
    • /
    • 2003
  • 본 논문에서는 분산 컴퓨팅 환경에서 클러스터 노드 할당 시스템에 대한 최적화 모델을 제시한다. 분산 파일 시스템 구조를 지닌 제시 모델에서는 시간에 따른 시스템의 역동적인 움직임을 면밀하게 고려하여 클러스터 노드 할당 세트가 타당한지를 조사하는 클러스터 모니터 노드의 기능이 주어진다. 노드 할당 시스템의 클러스터 모니터 노드는 병렬 모듈들을 클러스터 노드들에 분산시키면서 유전 알고리즘을 이용하여 좋은 할당 솔루션을 제공한다. 실험적 연구의 일환으로 코딩 기법, 교배, 돌연변이, 개체집단 크기 같은 다양한 유전 인자 파라미터와 노드 모듈개수에 따른 솔루션 품질 및 계산 시간에 관한 비교 실험 결과를 발표한다.

대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템 (A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data)

  • 손시운;김다솔;문양세;최형진
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.58-68
    • /
    • 2018
  • 분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

MANETs 에서 안정적이고 효율적인 통신을 위한 클러스터 기반 분산 라우팅 프로토콜 (Stable and Efficient Distributed Cluster-based Routing Protocol for MANETs)

  • 장준혁;정진만;민홍;조유근;김봉찬;홍지만
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(D)
    • /
    • pp.272-277
    • /
    • 2010
  • 기존의 클러스터 기반 라우팅 프로토콜들은 클러스터 외부와의 통신을 클러스터 헤드가 전담함으로써 통신 경로의 구성을 단순화하고 클러스터 헤드를 통한 데이터 통신을 가능하게 하였다. 하지만 매 라운드마다 클러스터 헤드의 재선출(re-electioin) 및 클러스터의 재구성(re-clustering)에 드는 비용을 감수해야 한다. 본 논문에서는 클러스터 헤드없이 완전히 분산된 방식으로 클러스터를 구성하여 클러스터 헤드의 재선출 및 클러스터 재구성의 비용을 줄이고, 안정적인 클러스터 구조를 바탕으로 노드 간의 P2P 통신을 지원하는 라우팅 프로토콜(Distributed Cluster-based Routing Protocol, DCRP)을 제안한다. 제안 기법은 각각의 노드가 이웃 노드와의 연결 상태를 감지하여 독립적으로 자신의 상태를 변화시킴으로써 클러스터를 구성한다. 특정 클러스터를 지나는 경로는 완전히 해당 클러스터 내의 노드들의 책임 하에서 관리되기 때문에 에너지 소모를 효율적으로 관리하고 네트워크의 크기에 따른 확장성을 보장할 수 있다. 제안 기법은 시뮬레이션을 통해 기존 기법에 비해 네트워크 구조(topology)의 안정성이 향상되고 제어 메시지의 교환과 경로 설정에 소모되는 비용이 크게 줄었음을 확인하였다.

  • PDF

실시간 영상 복원을 위한 분산 전기단층촬영 알고리즘 (A Distributed Electrical Impedance Tomography Algorithm for Real-Time Image Reconstruction)

  • Junghoon Lee;Gyunglin Park
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권1호
    • /
    • pp.25-36
    • /
    • 2004
  • 본 논문은 전기단층촬영의 실시간 영상 복원을 위한 마스터-슬레이브 구조를 갖는 분산 전기 단층촬영 알고리즘을 제안하고 그 성능을 평가한다. 영상복원은 그 수행시간이 미지수의 수에 3제곱에 비례하는 계산 위주의 응용으로서 영상의 정밀도를 위해 미지수를 증가시키면 그 수행시간이 급격히 증가한다. 마스터는 순차적인 루프에 진입하기 전에 각 컴퓨팅 노드에 독립적인 프레임 데이터를 분배하여 병렬로 기저노드를 추출하도록 하고 그 결과를 취합하여 그룹화함으로써 미지수의 수를 감소시킨다. 지역망으로 연결된 컴퓨팅 노드들은 MATLAB이 설치되어 기본적인 계산능력을 갖고 있으며 MATLAB 자료구조를 효율적으로 교환할 수 있는 명령이 동적 링크 라이브러리로 구현되어 있다. 또한 마스터에는 병렬 행렬 연산, 고속 자코비언 둥이 구현되어 순차적인 부분의 계산을 효율적으로 수행한다. 구현된 각 요소들의 성능을 측정한 결과 병렬 라이브러리는 전체 복원 시간을 50% 가까이 감소시킬 수 있으며 분산 알고리즘은 4개의 노드가 협력작업을 하는 경우 주어진 대상 물체에 대해 12배 빠른 속도로 영상을 복원할 수 있다.

An Abnormal Breakpoint Data Positioning Method of Wireless Sensor Network Based on Signal Reconstruction

  • Zhijie Liu
    • Journal of Information Processing Systems
    • /
    • 제19권3호
    • /
    • pp.377-384
    • /
    • 2023
  • The existence of abnormal breakpoint data leads to poor channel balance in wireless sensor networks (WSN). To enhance the communication quality of WSNs, a method for positioning abnormal breakpoint data in WSNs on the basis of signal reconstruction is studied. The WSN signal is collected using compressed sensing theory; the common part of the associated data set is mined by exchanging common information among the cluster head nodes, and the independent parts are updated within each cluster head node. To solve the non-convergence problem in the distributed computing, the approximate term is introduced into the optimization objective function to make the sub-optimization problem strictly convex. And the decompressed sensing signal reconstruction problem is addressed by the alternating direction multiplier method to realize the distributed signal reconstruction of WSNs. Based on the reconstructed WSN signal, the abnormal breakpoint data is located according to the characteristic information of the cross-power spectrum. The proposed method can accurately acquire and reconstruct the signal, reduce the bit error rate during signal transmission, and enhance the communication quality of the experimental object.

분산 복합유전알고리즘을 이용한 구조최적화 (Distributed Hybrid Genetic Algorithms for Structural Optimization)

  • 우병헌;박효선
    • 한국전산구조공학회논문집
    • /
    • 제16권4호
    • /
    • pp.407-417
    • /
    • 2003
  • 최근 구조최적화분야에서 활발하게 사용되고 있는 유전알고리즘은 해집단을 운용하기 때문에, 많은 반복수와 적응도 평가를 위하여 해집단의 수에 해당하는 구조해석을 필요로 하며, 또한 교배율과 돌연변이율 등의 파라미터에 따라 알고리즘의 성능이 변화하므로 문제에, 따라 적합한 파라미터 설정이 필요한 근본적인 단점을 지니고 있다. 본 연구에서는 기존 유전알고리즘의 단점을 극복할 수 있는 복합유전알고리즘을 마이크로유전알고리즘과 단순유전알고리즘을 결합한 형식으로 그리고, 최적화에 요구되는 연산을 다수의 개인용 컴퓨터에서 동시에 분산하여 수행할 수 있는 고성능 분산 복합유전알고리즘으로 개발하였다. 개발된 알고리즘은 철골 가새골조 구조물의 최소중량설계에 적용하여 그 성능을 평가하였다.

단일 프로세스 공간을 제공하는 클러스터 시스템의 설계 및 구현 (Design and Implementation of Clusters with Single Process Space)

  • Park, Min;Lee, Daewoo;Park, Dong-Gun;JungLok yu;Maeng, Seung-Ryoul
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (A)
    • /
    • pp.16-18
    • /
    • 2004
  • Single system image(SSI) have been the mainstay high-performance computing for many years. SSI requires the integration and aggregation of all types of resources in a cluster to present a single interface to users. In this paper, we describe a cluster computing architecture with the concept of single process space(SPS) where all processes share a uniform process identification scheme. With SPS, a process on any node can create child process on the same or different node or communicate with any other process on a remote node, as if they are on a single node. For this purpose, SPS is built with the support of unique cluster-wide pid, signal forwarding, and remote fork. We propose a novel design of SPS cluster which addresses the scalability and flexibility problem of traditional clusterwidely unique pid implementation by using blocked pid assignment. We have implemented this new design of SPS cluster, and we demonstrate its performance by comparing it to Beowulf distributed process space. Benchmark performance results show that our design of SPS cluster realized both scalability and flexibility that are essential to building SPS cluster.

  • PDF

Hadoop 기반 분산 컴퓨팅 환경에서 네트워크 I/O의 성능개선을 위한 TIPC의 적용과 분석 (Applying TIPC Protocol for Increasing Network Performance in Hadoop-based Distributed Computing Environment)

  • 유대현;정상화;김태훈
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권5호
    • /
    • pp.351-359
    • /
    • 2009
  • 최근 인터넷 서비스 기반의 데이터는 대용량화되고 있으며 대용량 데이터를 효과적으로 처리할 수 있는 구글 플랫폼, Apache Hadoop과 같은 플랫폼 기술이 각광받고 있다. 이러한 플랫폼에서는 분산 프로그래밍을 위한 기법으로 MapReduce가 수행되며, 이 과정에서 각 태스크의 결과를 전달하기 위한 네트워크 I/O의 부하 문제가 발생한다. 본 논문에서는 구글 플랫폼, Hadoop과 같은 대규모 PC 클러스터상의 분산 컴퓨팅 환경에서 네트워킹 부하를 경감하고 성능을 향상시키는 방안으로 TIPC(Transparent Inter-Process Communication)의 적용을 제안한다. TIPC는 경량화된 연결설정 및 스택 크기, 계층적 주소체계로 인해 TCP보다 가볍고 CPU 부하가 적은 장점을 가지고 있다. 본 논문에서는 Hadoop 기반 분산 컴퓨팅 환경의 특징을 분석하여 그와 유사한 실험환경을 모델화하고 다양한 프로토콜의 비교실험을 수행하였다. 실험결과 평균 전송률에서 CUBIC-TCP, SCTP와 비교해 TIPC의 성능이 가장 우수하였으며, TIPC는 CPU 점유율 측면에서 TCP와 비교해 최대 15%의 낮은 CPU 점유율을 보였다.

병렬처리와 가상격자를 이용한 대용량 항공 레이저 스캔 자료의 효율적인 처리 (Efficient Processing of Huge Airborne Laser Scanned Data Utilizing Parallel Computing and Virtual Grid)

  • 한수희;허준;엥흐바타르
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.21-26
    • /
    • 2008
  • 본 연구에서는 대용량의 항공 레이저 스캔 자료를 효율적으로 처리하기 병렬처리 기법과 가상격자 구조를 도입하였으며 제안한 방법의 실효성을 평가하기 위하여 IDW(Inverse Distance Weighting) 방식으로 정규격자 DSM을 생성하였다. 즉, 대용량 항공 레이저 스캔 자료의 신속한 보간을 위하여 병렬처리 기법을 이용하고 불규칙적으로 분포된 포인트의 검색 효율성을 제고하기 위하여 가상격자(virtual grid)를 사용하였다. 마스터 노드와 6대의 슬래이브 노드로 구성된 클러스터를 사용하여 처리 시간을 측정한 결과 노드의 수가 증가하더라도 1에 가까운 efficiency를 나타내었으며 load scalability의 특성도 만족시켰다. 또한 용량의 한계로 인하여 단일 시스템에서 처리할 수 없는 크기의 자료를 클러스터 시스템으로 처리할 수 있음을 확인하였다.

  • PDF