• Structural Engineering and Mechanics
• /
• 제37권1호
• /
• pp.17-37
• /
• 2011

This paper presents a new Internet-based computational framework for the realistic simulation of multi-scale response of structural systems. Two levels of parallel processing are involved in this frame work: multiple local distributed computing environments connected by the Internet to form a cluster-to-cluster distributed computing environment. To utilize such a computing environment for a realistic simulation, the simulation task of a structural system has been separated into a simulation of a simplified global model in association with several detailed component models using various scales. These related multi-scale simulation tasks are distributed amongst clusters and connected to form a multi-level hierarchy. The Internet is used to coordinate geographically distributed simulation tasks. This paper also presents the development of a software framework that can support the multi-level hierarchical simulation approach, in a cluster-to-cluster distributed computing environment. The architectural design of the program also allows the integration of several multi-scale models to be clients and servers under a single platform. Such integration can combine geographically distributed computing resources to produce realistic simulations of structural systems.

• 정보처리학회논문지A
• /
• 제10A권6호
• /
• pp.635-642
• /
• 2003

최근 네트워크 기술의 비약적인 발전은 고속 그리고 저가의 클러스터 시스템을 구축할 수 있는 기본 토대를 제공하여 주었다. 이러한 기존 클러스터 시스템은 안정화된 고속의 지역 네트워크를 기반으로 일정 수준의 시스템으로 구성되는 것이 일반적인 경향이다. 본 논문에서 제안하는 다중 분산 웹 클러스터 그룹은 개방 네트워크상에 존재하는 저가, 저속의 시스템 노드를 대상으로 하여, 주어진 작업에 대한 병렬수행 및 SC-Sever의 공유메모리를 통한 효율적인 작업 분배와 시스템 노드간의 상호 협조 작업을 통하여 고성능, 고효율 그리고 고가용성을 얻을 수 있는 웹 클러스터 모델이다. 이를 위하여 다중 분산 웹 클러스터 그룹은 복수개의 시스템 노드를 단일한 가상 네트워크로 묶어 놓은 서브 클러스터 그룹으로 구성하고, 서브 클러스터 그룹내의 효율적인 자료전송을 위하여 분산 공유 메모리를 이용한다. 제안된 모델은 사용자로부터 요구되는 대규모의 작업에 대하여 분산 공유 메모리를 기반으로 한 부하분배 및 병렬 컴퓨팅 방식을 이용하므로 처리 효율을 높일 수 있다.

• Journal of Information Processing Systems
• /
• 제10권1호
• /
• pp.36-54
• /
• 2014

Resource sharing is a major advantage of distributed computing. However, a distributed computing system may have some physical or virtual resource that may be accessible by a single process at a time. The mutual exclusion issue is to ensure that no more than one process at a time is allowed to access some shared resource. The article proposes a token-based mutual exclusion algorithm for the clustered mobile ad hoc networks (MANETs). The mechanism that is adapted to handle token passing at the inter-cluster level is different from that at the intra-cluster level. It makes our algorithm message efficient and thus suitable for MANETs. In the interest of efficiency, we implemented a centralized token passing scheme at the intra-cluster level. The centralized schemes are inherently failure prone. Thus, we have presented an intra-cluster token passing scheme that is able to tolerate a failure. In order to enhance reliability, we applied a distributed token circulation scheme at the inter-cluster level. More importantly, the message complexity of the proposed algorithm is independent of N, which is the total number of nodes in the system. Also, under a heavy load, it turns out to be inversely proportional to n, which is the (average) number of nodes per each cluster. We substantiated our claim with the correctness proof, complexity analysis, and simulation results. In the end, we present a simple approach to make our protocol fault tolerant.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권2호
• /
• pp.89-94
• /
• 2016

최근 클라우드 컴퓨팅 시장의 클러스터 환경이 일반 클러스터 환경에서 가상화 클러스터 환경으로 변화하고 있다. 이러한 클러스터 환경의 변화는 대용량 분산처리 성능에 영향을 끼치고 있으며, 국내외의 많은 IT관련 기업에서 경쟁적으로 연구와 서비스에 집중 투자하고 있다. 본 논문에서는 대용량 데이터 분산 처리 성능에 하이퍼바이저가 미치는 영향을 비교하기 위한 목적으로 하이퍼바이저를 사용하는 Xen과 컨테이너 기반의 Docker를 사용하여 가상 클러스터 환경을 만들고, MapReduce의 성능을 측정하는 실험을 하였다. 이 결과 하이퍼바이저를 사용하지 않은 Docker 성능이 약 1.44배 - 2.92배 더 좋은 것을 검증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권9호
• /
• pp.4063-4086
• /
• 2016

Cloud computing is a robust technology, which facilitate to resolve many parallel distributed computing issues in the modern Big Data environment. Hadoop is an ecosystem, which process large data-sets in distributed computing environment. The HDFS is a filesystem of Hadoop, which process data blocks to the cluster nodes. The data block placement has become a bottleneck to overall performance in a Hadoop cluster. The current placement policy assumes that, all Datanodes have equal computing capacity to process data blocks. This computing capacity includes availability of same storage media and same processing performances of a node. As a result, Hadoop cluster performance gets effected with unbalanced workloads, inefficient storage-tier, network traffic congestion and HDFS integrity issues. This paper proposes a storage-tier-aware Robust Data Placement (RDP) scheme, which systematically resolves unbalanced workloads, reduces network congestion to an optimal state, utilizes storage-tier in a useful manner and minimizes the HDFS integrity issues. The experimental results show that the proposed approach reduced unbalanced workload issue to 72%. Moreover, the presented approach resolve storage-tier compatibility problem to 81% by predicting storage for block jobs and improved overall data block placement by 78% through pre-calculated computing capacity allocations and execution of map files over respective Namenode and Datanodes.

• Journal of Information Processing Systems
• /
• 제10권4호
• /
• pp.491-502
• /
• 2014

In this paper we present some research results on computing intensive applications using modern high performance architectures and from the perspective of high computational needs. Computing intensive applications are an important family of applications in distributed computing domain. They have been object of study using different distributed computing paradigms and infrastructures. Such applications distinguish for their demanding needs for CPU computing, independently of the amount of data associated with the problem instance. Among computing intensive applications, there are applications based on simulations, aiming to maximize system resources for processing large computations for simulation. In this research work, we consider an application that simulates scheduling and resource allocation in a Grid computing system using Genetic Algorithms. In such application, a rather large number of simulations is needed to extract meaningful statistical results about the behavior of the simulation results. We study the performance of Oracle Grid Engine for such application running in a Cluster of high computing capacities. Several scenarios were generated to measure the response time and queuing time under different workloads and number of nodes in the cluster.

• 정보처리학회논문지C
• /
• 제8C권6호
• /
• pp.731-740
• /
• 2001

기존의 클러스터 시스템을 확장한 다중 분산 웹 클러스터 모델은 개방 네트워크상에 존재하는 다수의 시스템 노드들을 단일한 가상 네트워크로 구축하여 사용자로부터 요구되어지는 대규모 작업을 병렬 컴퓨팅 방식으로 처리하는 클러스터 시스템이다 구성된 특성상 다중 분산 웹 클러스터 모델은 불법적인 3자에 의해 내부 시스템 노드들이 노출되어 있으며, 각 시스템 노드간의 협조작업 시 고의적인 방해와 공격으로 정상적인 작업수행이 불가능할 가능성을 지니고 있다. 본 논문에서는 시스템 노드의 서비스 코드 블록의 등록, 요구, 협조 및 결과취합 시 해당 시스템노드의 인증을 위하여 키 분배방식을 통한 시스템 노드 상호 인증 프로토콜을 제시하며, 전체 시스템 노드의 대칭키를 안전하고 효율적으로 관리하며 분배하는 SNKDC를 설계한다. SNKDC는 시스템 노드가 작업수행 시 필요한 대칭키를 분배하며, 제공된 키를 기반으로 시스템 노드는 암호화된 패킷을 전송한다. 시스템 노드간의 주고받는 암호화 패킷은 3자에 의해 해독되거나 거짓 메시지를 통한 정보의 유출을 방지할 수 있다.

• Journal of information and communication convergence engineering
• /
• 제20권2호
• /
• pp.96-102
• /
• 2022

We aim to build predictive models for Airbnb's prices using a GPU-accelerated RAPIDS in a big data cluster. The Airbnb Listings datasets are used for the predictive analysis. Several machine-learning algorithms have been adopted to build models that predict the price of Airbnb listings. We compare the results of traditional and big data approaches to machine learning for price prediction and discuss the performance of the models. We built big data models using Databricks Spark Cluster, a distributed parallel computing system. Furthermore, we implemented models using multiple GPUs using RAPIDS in the spark cluster. The model was developed using the XGBoost algorithm, whereas other models were developed using traditional central processing unit (CPU)-based algorithms. This study compared all models in terms of accuracy metrics and computing time. We observed that the XGBoost model with RAPIDS using GPUs had the highest accuracy and computing time.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권9호
• /
• pp.587-595
• /
• 2015

전통적으로 고에너지 물리, 해양, 기상, 천문 우주 등 다양한 과학 분야에서 수천 코어 이상의 CPU를 사용하는 대규모 워크플로우 지원을 요구하고 있으며 이를 위해 대부분 슈퍼컴퓨터와 같은 클러스터 기반의 대용량 시스템이 활용되고 있다. 이러한 시스템은 다수의 사용자 및 기관에 의해 공유되고 있으며, 사용자들의 다양한 요구 사항으로 인해 시스템 운영 및 관리에 많은 어려움이 있다. 본 논문에서는 가상화로 인한 성능 저하 문제를 최소화하고 사용자가 원하는 환경을 동적으로 제공하기 위해 컨테이너 기반 클러스터 관리 플랫폼 방안을 제시하고 구축 사례를 소개한다. 본 논문의 의의는 다음 3가지로 볼 수 있다. 먼저, 컨테이너 기반 가상화 기술과 스케줄러 기능을 연동하여 큰 성능 저하 없이 대규모의 과학워크플로우 지원을 위한 클러스터 구성 및 관리 방안을 제시하였다. 둘째, Docker 와 HTCondor를 활용하여 제시된 방안을 손쉽게 구축한 사례를 소개하였다. 셋째, 널리 활용되는 벤치마크 툴을 이용하여 Docker 성능을 검증하였으며, 다양한 프로그램 언어로 구현된 몬테카를로 시뮬레이션을 통해 과학 워크플로우 지원 예제를 제시하였다.

• International journal of advanced smart convergence
• /
• 제10권4호
• /
• pp.278-288
• /
• 2021

Recently, IoT systems are cloud-based, so that continuous and large amounts of data collected from sensor nodes are processed in the data server through the cloud. However, in the centralized configuration of large-scale cloud computing, computational processing must be performed at a physical location where data collection and processing take place, and the need for edge computers to reduce the network load of the cloud system is gradually expanding. In this paper, a cluster system consisting of 6 inexpensive Raspberry Pi boards was constructed to perform fast data processing. And we propose "Kubernetes cluster system(KCS)" for processing large data collection and analysis by model distribution and data pipeline method. To compare the performance of this study, an ensemble model of deep learning was built, and the accuracy, processing performance, and processing time through the proposed KCS system and model distribution were compared and analyzed. As a result, the ensemble model was excellent in accuracy, but the KCS implemented as a data pipeline proved to be superior in processing speed..