• 제목/요약/키워드: Cluster computing environment

검색결과 109건 처리시간 0.026초

Hadoop 기반 분산 컴퓨팅 환경에서 네트워크 I/O의 성능개선을 위한 TIPC의 적용과 분석 (Applying TIPC Protocol for Increasing Network Performance in Hadoop-based Distributed Computing Environment)

  • 유대현;정상화;김태훈
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권5호
    • /
    • pp.351-359
    • /
    • 2009
  • 최근 인터넷 서비스 기반의 데이터는 대용량화되고 있으며 대용량 데이터를 효과적으로 처리할 수 있는 구글 플랫폼, Apache Hadoop과 같은 플랫폼 기술이 각광받고 있다. 이러한 플랫폼에서는 분산 프로그래밍을 위한 기법으로 MapReduce가 수행되며, 이 과정에서 각 태스크의 결과를 전달하기 위한 네트워크 I/O의 부하 문제가 발생한다. 본 논문에서는 구글 플랫폼, Hadoop과 같은 대규모 PC 클러스터상의 분산 컴퓨팅 환경에서 네트워킹 부하를 경감하고 성능을 향상시키는 방안으로 TIPC(Transparent Inter-Process Communication)의 적용을 제안한다. TIPC는 경량화된 연결설정 및 스택 크기, 계층적 주소체계로 인해 TCP보다 가볍고 CPU 부하가 적은 장점을 가지고 있다. 본 논문에서는 Hadoop 기반 분산 컴퓨팅 환경의 특징을 분석하여 그와 유사한 실험환경을 모델화하고 다양한 프로토콜의 비교실험을 수행하였다. 실험결과 평균 전송률에서 CUBIC-TCP, SCTP와 비교해 TIPC의 성능이 가장 우수하였으며, TIPC는 CPU 점유율 측면에서 TCP와 비교해 최대 15%의 낮은 CPU 점유율을 보였다.

AutoScale: Adaptive QoS-Aware Container-based Cloud Applications Scheduling Framework

  • Sun, Yao;Meng, Lun;Song, Yunkui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권6호
    • /
    • pp.2824-2837
    • /
    • 2019
  • Container technologies are widely used in infrastructures to deploy and manage applications in cloud computing environment. As containers are light-weight software, the cluster of cloud applications can easily scale up or down to provide Internet-based services. Container-based applications can well deal with fluctuate workloads by dynamically adjusting physical resources. Current works of scheduling applications often construct applications' performance models with collected historical training data, but these works with static models cannot self-adjust physical resources to meet the dynamic requirements of cloud computing. Thus, we propose a self-adaptive automatic container scheduling framework AutoScale for cloud applications, which uses a feedback-based approach to adjust physical resources by extending, contracting and migrating containers. First, a queue-based performance model for cloud applications is proposed to correlate performance and workloads. Second, a fuzzy Kalman filter is used to adjust the performance model's parameters to accurately predict applications' response time. Third, extension, contraction and migration strategies based on predicted response time are designed to schedule containers at runtime. Furthermore, we have implemented a framework AutoScale with container scheduling strategies. By comparing with current approaches in an experiment environment deployed with typical applications, we observe that AutoScale has advantages in predicting response time, and scheduling containers to guarantee that response time keeps stable in fluctuant workloads.

클러스터 기반 센서 네트워크에서의 네트워크 특성 정보를 고려한 무선 채널 선택 기법 (Wireless Channel Selection Considering Network Characteristics in Cluster-based Sensor Networks)

  • 김대영;김범석;조진성
    • 인터넷정보학회논문지
    • /
    • 제16권2호
    • /
    • pp.7-17
    • /
    • 2015
  • 무선 센서 네트워크의 구현에 활용되는 IEEE 802.15.4 표준은 이기종 통신 기술들이 공존하는 2.4 GHz ISM 대역을 기반으로 동작하며, 수시로 변하는 네트워크 상태로 인한 간섭을 회피한 전송 효율의 향상과 네트워크의 상태를 고려한 채널 선택 기술이 요구된다. 무선 센서 네트워크는 다수의 센서 노드로 구성되어 있으며, 확장성을 위해 클러스터 기반의 네트워크 구조를 가지며, 싱크 노드는 각 클러스터들의 네트워크 특성정보를 수집하고 주기적 쿼리 메시지 발송을 통해 이 정보들을 네트워크 필드 내 클러스터 헤드들과 공유한다. 본 논문에서는 클러스터 헤드가 수집한 네트워크 정보를 기반으로 클러스터 내에서의 네트워크 상태를 파악하고, 계량화된 처리량 (throughput) 레벨, 수신신호강도 (RSSI) 레벨, 그리고 신뢰성 (reliability)을 파라미터로 하는 목적함수를 통해 적절한 무선채널을 클러스터에서 선택하는 방안을 제안한다. 제안된 방안이 네트워크 상태 변화에서도 데이터 전송 효율을 유지할 수 있음을 컴퓨터 시뮬레이션을 통해 검증하였다.

분산 컴퓨팅 환경에서의 제어/감시 시스템 개발을 위한 기반 구조 설계 (A Design of Infrastructure for Control/Monitoring System in the Distributed Computing Environment)

  • 이원구;박재현
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2000년도 제15차 학술회의논문집
    • /
    • pp.547-547
    • /
    • 2000
  • Recently, due to the advance of computer, network and Internet technology, control/monitoring systems are required to process the massive data, At the same time, the software development environment uses more and more component-based methodology. This paper proposes the services for the control /monitoring domain. Especially we define domain-specific interfaces and categories to acquire compatibility between products, and implement architecture for lightweight event service. As it is very important to support compatibility between heterogeneous systems, the proposed system provides modules for the web service and communication protocols based on the XML. And as proposed architecture consists of cluster of servers and Windows 2000's NLB service, it can guarantee more stable operation,

  • PDF

상대적 부하 색인을 기반으로 한 이기종 워크스테이션 클러스터의 부하 균형 (Load Balancing of Heterogeneous Workstation Cluster based on Relative Load Index)

  • 지병준;이광모
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권2호
    • /
    • pp.183-194
    • /
    • 2002
  • 이기종 워크스테이션 클러스터링은 응용 프로그램의 병렬 처리에 유용하며 비용 측면에서 효과적이다. 이기종 워크스테이션 클러스터링 환경에서 총작업반환시간을 최소화하기 위해서는 부하 균형 시스템이 필요하다. 기존의 부하 균형 방식은 각 워크스테이션의 처리능력에 가중치를 미리 부여하여 작업을 분배하는 정적방식이거나, 각 워크스테이션의 상대적 처리능력을 얻기 위해서 성능 테스트 프로그램을 수행하는 동적 방식이 있다. 수행되는 응용 프로그램과는 관계없는 성능 테스트 프로그램은 계산시간을 소비하고 총작업반환시간을 지연시킨다. 이 논문은 상대적 부하 색인에 기초한 효과적 작업 분배 방식과 작업 이주 방식을 제안하였으며 이기종 워크스테이션 클러스터 환경에서 부하 균형 시스스템을 설계 구현하였다. 이 논문에서 제안한 방식의 총작업반환시간을 실험을 통하여 부하 균형을 하지 않은 라운드 로빈 방식의 총작업반환시간과 성능 테스트 프로그램에 의한 부하 균형 방식의 총작업반환시간과 비교하였다. 실험 결과는 비교한 방식보다 제안 방식의 결과가 우수함을 보였다.

계산과학 시뮬레이션을 위한 HPC 작업 관리 프레임워크의 설계 및 구현 (Design and Implementation of HPC Job Management Framework for Computational Scientific Simulation)

  • 유정록;김한기;변희정
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.554-557
    • /
    • 2016
  • 최근, 슈퍼컴퓨터 시스템은 교육, 의료, 국방 등은 물론 계산과학 시뮬레이션까지 다양한 분야에서 활용되고 있다. 특히, 슈퍼컴퓨터, 클라우드 등 이종의 계산 자원을 연동하는 시뮬레이션 환경은 시간, 공간적 한계를 극복하는 차세대 연구 환경으로서 다양한 응용 분야에서 큰 각광을 받고 있다. 그러나 기존의 이종 슈퍼컴퓨팅 환경은 API(Application Programming Interface)의 부재로 터미널 접근을 통해 계산 작업을 수행하는 단조로운 형태를 띠고 있으며, 이는 이종 컴퓨팅 자원의 접근성 및 활용성을 저해하는 주요 요소이다. 이러한 문제점을 해결하고, 슈퍼컴퓨팅 서비스의 다양성을 확보하기 위해, 본 논문에서는 계산과학 시뮬레이션을 위한 웹 기반 HPC (High Performance Computing) 작업 관리 프레임워크의 설계 및 구현에 대해 기술한다. 제안한 프레임워크는 슈퍼컴퓨터, 클라우드, 그리드 등의 다양한 이기종 자원을 활용하여 시뮬레이션 계산 작업을 수행할 수 있도록 플러그-인 기반 표준 인터페이스 및 번들 플러그-인을 제공하며, 플러그-인 관리자를 통해 손쉽게 자원 확장이 가능하다. 또한 시뮬레이션 작업의 생성, 제출, 제어, 상태 모니터링 등의 전주기적인 작업 라이프사이클 관리를 위해 HTTP 표준 방식의 RESTful endpoints들을 제공한다.

  • PDF

분산 UNIX 환경에서 Shared-Concurrent File System의 설계 및 구현 (Design and implementation of a Shared-Concurrent File System in distributed UNIX environment)

  • 장시웅;정기동
    • 한국정보처리학회논문지
    • /
    • 제3권3호
    • /
    • pp.617-630
    • /
    • 1996
  • 본 연구에서는 소규모 서버로 사용될 수 있는 Workstation Cluster환경에서 전통 적인 디스크들을 디스크 배열 처럼 사용할 수 잇는 병행 화일시스템(S-CFS)을 설계 하고 구현하였다. S-CFS는 범용의 UNIX 운영체제를 기반으로 구현되어서 융통성과 이식 성이 높으며 별도의 입출력 노드가 불필요하므로 시스템 자원을 효율적으로 사용한다. 성능 분석 결과에 위하며, 소규모 서버에서 디스크의 수가 충분 할 경우, 트랜잭션 처리 에서 병행 화일시스템의 성능은 CPU 계산 능력에 의하여제한받는 것으로 나타났으며 대용량 데이타 입출력에서는 성능이 버퍼 간의 데이타 복사시간에 의하여 제한받는 것으로 나다.Workstation Cluster 에서 구현된 병행 화일시스템은 8개의 디스크에서 트랜잭션 처리의 경우에는초당 388 트랜잭션의 처리율을 보였으며, 대용량 데이타의 경우에는 15.8 MBytes/sec 의 대역표을 보였다. 그리고 사용자가 병행 화일시스템의 병렬성을 제어할 수 있도록 설계함으로써 고속 입출력을 요구하는 사용자의 처리율을 높일 수 있도록 하였다.

  • PDF

GPU 컨테이너 동시 실행에 따른 응용의 간섭 측정 프레임워크 설계 (A design of GPU container co-execution framework measuring interference among applications)

  • 김세진;김윤희
    • KNOM Review
    • /
    • 제23권1호
    • /
    • pp.43-50
    • /
    • 2020
  • 범용 그래픽 처리 장치(General Purpose Graphics Processing Unit, GPGPU)는 최근 고성능 컴퓨팅에서 중요한 역할을 함으로써, 여러 클라우드 서비스 공급업체들은 GPU 서비스를 제공하기 시작했다. 컨테이너를 사용하는 클라우드 환경에서 대부분의 클러스터 오케스트레이션 플랫폼은 정수 개의 GPU를 작업에 할당하고 다른 작업과 이를 공유하는 것을 허용하지 않는다. 이 경우 작업이 GPU에서 코어 및 메모리 등 자원이 집중적으로 필요하지 않다면 GPU 노드의 리소스 사용률이 저하될 수 있다. GPU 가상화는 응용의 동시 수행을 가능하게 하며 자원을 공유할 수 있는 기회를 제공한다. 하지만 응용의 동시 수행 성능은 동시 수행되는 응용의 특성과 노드 안에서 자원 경쟁으로 인한 간섭에 따라 달라질 수 있다. 본 논문은 컨테이너 오케스트레이션 플랫폼인 쿠버네티스(Kubernetes)를 기반으로 다중 서버 생성 및 실행을 통하여 GPU를 공유함으로써 발생할 수 있는 간섭을 측정하기 위한 프레임워크를 제안한다. 본 프레임워크를 통해 다양한 스케줄링 방법으로 GPU에서 여러 작업을 실행함으로써 이에 따른 성능 변화를 조사하였으며, 이를 통해 GPU 메모리 사용량 및 컴퓨팅 리소스만 고려해서는 최적의 스케줄링을 할 수 없음을 보인다. 마지막으로 해당 프레임워크를 사용하여 응용들의 동시 실행에 따라 발생한 간섭을 측정한다.

하이브리드 클라우드 환경에서의 응용 특성 가중치를 고려한 자원 군집화 기법 (A Resource Clustering Method Considering Weight of Application Characteristic in Hybrid Cloud Environment)

  • 오유리;김윤희
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권8호
    • /
    • pp.481-486
    • /
    • 2017
  • 클라우드의 원하는 자원을 필요한 만큼만 사용하고 지불하는(Pay-per-use) 방식을 이용하여 과학 응용을 수행하고자 하는 과학자들이 늘어나는 추세이다. 그러나 다양한 특성으로 구성된 클라우드 자원으로 과학자들은 적절한 자원을 선택하는데 어려움을 겪는다. 이에 따라 자원의 효율적인 활용을 위하여 과학자가 실험하고자하는 응용의 특성에 따라 동적으로 자원을 분류하는 것이 필요하다. 본 연구에서는 하이브리드 클라우드 환경에서 응용의 특성을 반영한 자원 군집 분석 기법을 제안한다. 자원 군집 분석은 자기조직화지도 및 K-평균 알고리즘을 적용하여 유사한 자원을 군집화한다. 제안한 알고리즘을 통해 과학응용의 특성을 반영한 유사 자원 군집을 형성하였음을 증명한다.

병렬 환경하의 진화 이론을 이용한 결함인식 (Crack Identification Using Evolutionary Algorithms in Parallel Computing Environment)

  • 심문보;서명원
    • 대한기계학회논문집A
    • /
    • 제26권9호
    • /
    • pp.1806-1813
    • /
    • 2002
  • It is well known that a crack has an important effect on the dynamic behavior of a structure. This effect depends mainly on the location and depth of the crack. To identify the location and depth of a crack in a structure, a classical optimization technique was adopted by previous researchers. That technique overcame the difficulty of finding the intersection point of the superposed contours that correspond to the eigenfrequency caused by the crack presence. However, it is hard to select a trial solution initially for optimization because the defined objective function is heavily multimodal. A method is presented in this paper, which uses continuous evolutionary algorithms(CEAs). CEAs are effective for solving inverse problems and implemented on PC clusters to shorten calculation time. With finite element model of the structure to calculate eigenfrequencies, it is possible to formulate the inverse problem in optimization format. CEAs are used to identify the crack location and depth minimizing the difference from the measured frequencies. We have tried this new idea on a simple beam structure and the results are promising with high parallel efficiency over about 94%.