• Title/Summary/Keyword: 클러스터 컴퓨팅 환경

Search Result 147, Processing Time 0.028 seconds

A study on how to generate GPU usage statistics for each task in a cluster system operated by shared node policy (공유노드 정책으로 운영 중인 클러스터 시스템에서 작업별 GPU 사용 통계 생성 방안에 대한 연구)

  • Kwon, Min-Woo;Yoon, JunWeon;Hong, TaeYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.37-39
    • /
    • 2022
  • KISTI(한국과학기술정보연구원)는 슈퍼컴퓨터 5호기 메인시스템인 Nurion과 보조시스템인 Neuron을 연구자들에게 서비스하고 있다. Neuron은 메인시스템인 Nurion이 Intel Knights Landing 프로세서가 장착된 클러스터로 구성됨에 따라 인공지능, 빅데이터에 관한 연구 인프라 수요를 충족시키기 위해 GPU를 장착한 이기종 클러스터로 구성되어 있다. Neuron은 연구자들에게 효율적으로 계산 자원을 배분하기 위해 SLURM 작업배치스케줄러의 공유노드 정책을 이용하여 한 개의 계산노드에서 다수 개의 작업이 수행될 수 있는 환경으로 서비스되고 있다. 본 논문에서는 공유노드 정책으로 운영 중인 클러스터 시스템에서 작업별로 GPU 사용 통계 데이터를 생성하는 기법을 소개한다.

Running Large-scale Mobile Software using PDA Cluster Computing (PDA 클러스터 컴퓨팅을 활용한 대용량 모바일 소프트웨어 실행)

  • Min, Hye-Rhyn;Lee, Jong-Woo
    • Journal of Digital Contents Society
    • /
    • v.10 no.2
    • /
    • pp.249-258
    • /
    • 2009
  • As wireless internet markets become larger than before, many mobile applications are also being developed actively. In this circumstances mobile devices such as cell phones, PDAs are playing an important role to satisfy the user's need of ubiquitous computing. Due to the hardware limitations, however, the mobile devices like PDA can not run large-scale softwares by itself. The main goal of this paper is to make large-scale applications runnable on PDA. To accomplish this, we used the PDA-JPVM cluster computing engine which has been already developed by us. We found out by running the applications and the performance evaluation that large-scale Java softwares can easily run on the hardware-limited PDA. And the performance evaluation results are also presented.

  • PDF

A Task Duplication Scheme For Fault-Tolerance In Internet Based Distributed Clustering Systems (인터넷기반 분산 클러스터 환경에서의 결함허용을 위한 중복된 작업할당 기법)

  • Choi, In-Bok;Lee, Jae-Dong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11a
    • /
    • pp.209-212
    • /
    • 2002
  • 최근 인터넷이 발달하면서 TCP/IP 프로토콜 기반의 분산 클러스터환경의 구축이 가능해졌다. 이렇게 서로 다른 네트워크를 통해 연결된 분산 클러스터 시스템에서는 기존의 클러스터 시스템과는 다르게 네트워크의 지연이나 노드의 결함 등에 유연히 대처해야 한다. 따라서 본 논문에서는 이러한 인터넷 기반의 분산 클러스터 환경에서 메시지 전달방식을 이용한 고성능 클러스터 컴퓨팅 작업 시 네트워크나 노드의 결함에 효과적으로 대처할 수 있도록 중복된 작업할당 기법을 통한 결함 허용 기법을 제시한다. 중복된 작업할당 기법을 적용하기 위해 Send, GSS, WF 와 같은 기존의 부하 공유 알고리즘에 대한 공통적인 스케줄러를 설계하였으며, 이 스케줄러를 이용한 TDS_for_FT 알고리즘을 작성하였다. 본 논문에서 제시한 중복된 작업할당 기법이 효과적임을 보이기 위하여 게이트웨이를 통해 연결된 두 개의 네트워크를 구성하여 분산 PC클러스터 환경을 구축하고, PVM을 이용한 행렬의 곱셈 프로그램을 통하여 실험하였다. 클러스터를 구성하는 임의의 한 노드에 일정시간의 delay 를 적용한 결과, 중복된 작업할당 기법을 통하여 결함허용성 보장이 가능함을 보였다.

  • PDF

Matrix-based Filtering and Load-balancing Algorithm for Efficient Similarity Join Query Processing in Distributed Computing Environment (분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘)

  • Yang, Hyeon-Sik;Jang, Miyoung;Chang, Jae-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.16 no.7
    • /
    • pp.667-680
    • /
    • 2016
  • As distributed computing platforms like Hadoop MapReduce have been developed, it is necessary to perform the conventional query processing techniques, which have been executed in a single computing machine, in distributed computing environments efficiently. Especially, studies on similarity join query processing in distributed computing environments have been done where similarity join means retrieving all data pairs with high similarity between given two data sets. But the existing similarity join query processing schemes for distributed computing environments have a problem of skewed computing load balance between clusters because they consider only the data transmission cost. In this paper, we propose Matrix-based Load-balancing Algorithm for efficient similarity join query processing in distributed computing environment. In order to uniform load balancing of clusters, the proposed algorithm estimates expected computing cost by using matrix and generates partitions based on the estimated cost. In addition, it can reduce computing loads by filtering out data which are not used in query processing in clusters. Finally, it is shown from our performance evaluation that the proposed algorithm is better on query processing performance than the existing one.

Software Architecture for Implementing the Grid Computing of the High Availability Solution through Load Balancing (고가용성 솔루션 구축을 위한 그리드 측면에서의 소프트웨어 아키텍처를 통한 로드밸랜싱 구현)

  • Lee, Byoung-Yup;Park, Jun-Ho;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.11 no.3
    • /
    • pp.26-35
    • /
    • 2011
  • In these days, internet environment are very quickly development as well on-line service have been using a online for the mission critical business around the world. As the amount of information to be processed by computers has recently been increased there has been cluster computing systems developed by connecting workstations server using high speed networks for high availability. but cluster computing technology are limited for a lot of IT resources. So, grid computing is an expanded technology of distributed computing technology to use low-cost and high-performance computing power in various fields. Although the purpose of Grid computing focuses on large-scale resource sharing, innovative applications, and in some case, high-performance orientation, it has been used as conventional distributed computing environment like clustered computer until now because grid middleware does not have common sharable information system. In order to use grid computing environment efficiently which consists of various grid middleware, it is necessary to have application-independent information system which can share information description and services, and expand them easily. This paper proposed new database architecture and load balancing for high availability through Grid technology.

A Genetic-Based Optimization Model for Clustered Node Allocation System in a Distributed Environment (분산 환경에서 클러스터 노드 할당 시스템을 위한 유전자 기반 최적화 모델)

  • Park, Kyeong-mo
    • The KIPS Transactions:PartA
    • /
    • v.10A no.1
    • /
    • pp.15-24
    • /
    • 2003
  • In this paper, an optimization model for the clustered node allocation systems in the distributed computing environment is presented. In the presented model with a distributed file system framework, the dynamics of system behavior over times is carefully thought over the nodes and hence the functionality of the cluster monitor node to check the feasibility of the current set of clustered node allocation is given. The cluster monitor node of the node allocation system capable of distributing the parallel modules to clustered nodes provides a good allocation solution using Genetic Algorithms (GA). As a part of the experimental studies, the solution quality and computation time effects of varying GA experimental parameters, such as the encoding scheme, the genetic operators (crossover, mutations), the population size, and the number of node modules, and the comparative findings are presented.

A JVM based Implementation of a Single System Image for Heterogeneous Clusters (이기종 클러스터의 JVM 기반 단일시스템이미지 구현)

  • Han, Dong-Hun;Kim, Yang-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10b
    • /
    • pp.981-984
    • /
    • 2000
  • 지난 10년간 인터넷은 정보화 시대의 새로운 패러다임으로 사회 전반을 변화시켜 왔다. 네트워크 요청이 크게 증가하고 대량의 정보처리가 요구되면서 이 기간 동안 고성능 컴퓨팅 환경에 대한 연구가 활발하게 진행되었다. 낮은 가격과 높은 가용성을 유지하면서 고성능 컴퓨팅 환경을 제공하려는 노력은 클러스터링 기술을 발전시켰지만, 기존 클러스터 시스템들은 운영체제 및 하드웨어에 종속적이기 때문에 높은 확장성을 제공하지 못하였다. 또한 여러 대의 시스템이 연결되는 클러스터 시스템은 각각의 운영체제를 가지고 있지만, 시스템 전체 자원을 효율적으로 이용하기 위해서는 하나의 시스템 이미지를 가지고 작업을 처리해주는 단일시스템이미지(SSI) 제공이 필요하다. 기존의 SSI 제공 기술을 JVM(Java Virtual Machine) 계층을 기준으로 살펴보면, JVM 상위계층에서 구현된 SSI는 불완전하고, JVM 하위계층에서 구현된 SSI는 Java 자체의 성능 향상 기능을 활용하지 못하는 단점을 가진다. 이러한 단점들을 해결한 JVM 계층에서의 SSI가 구현되고 현재 연구가 진행중이지만, 이 역시 동기종 클러스터 시스템에 국한되어 있다. 본 논문에서는 클러스터 시스템의 SSI 구현 방법들을 각 구현 계층별로 비교하여 살펴보고, JVM을 기반으로 SSI를 제공함으로써 이기종 클러스터 시스템에까지 SSI를 확장, 제공하는 방안을 모색하고자 한다.

  • PDF

Parallel Programming on a Raspberry Pi Cluster (라즈베리 파이 클러스터 환경에서의 병렬 프로그래밍)

  • Jung, Yong Jae;Kim, Dong Kwan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.477-478
    • /
    • 2014
  • 일반적으로 컴퓨터 클러스터는 제공하는 기능에 따라 구축 비용이 고가이며 공간 확보, 냉난방, 전원 등을 위한 유지 비용을 무시할 수 없다. 그러므로, 일반 개발자들이 컴퓨터 클러스터를 보유하는 것은 쉬운 일이 아니다. 이러한 상황에서 교육용 및 연구용으로 가격대비 성능이 만족스러운 라즈베리 파이를 기반으로 한 컴퓨터 클러스터를 구축하여 분산 컴퓨팅 및 클라우드 컴퓨팅 시스템 개발을 위한 테스트 베드로 활용하고자 한다. 본 논문의 실험 결과는 라즈베리 파이 클러스터가 병렬 프로그래밍을 위한 효과적인 테스트 베드가 될 수 있음을 보인다.

  • PDF

Trends of Cluster File Systems Technology (클러스터 파일 시스템 기술 동향)

  • Kim, Y.C.;Park, K.T.;Lee, S.M.;Kim, H.Y.;Kim, Y.K.
    • Electronics and Telecommunications Trends
    • /
    • v.22 no.6
    • /
    • pp.139-149
    • /
    • 2007
  • 최근에 블로그, UCC, IPTV 등 사용자 중심의 인터넷 서비스와 언제 어디서나 웹을 통해 서비스를 받을 수 있는 유비쿼터스 컴퓨팅 환경으로의 변화는 대용량 저장 공간과 빠르고 안정된 서비스를 제공할 수 있는 대규모 클러스터 시스템 플랫폼을 필요로 한다. 그리고 이러한 대규모 클러스터 시스템 플랫폼을 효율적으로 관리하고 이용할 수 있는 클러스터 파일 시스템은 필수적이다. 본 고에서는 최근에 연구 개발되고 있는 클러스터 파일 시스템들을 소개하고 기술 동향에 대해 살펴본다.

A Reconfigurable Load and Performance Balancing Scheme for Parallel Loops in a Clustered Computing Environment (클러스터 컴퓨팅 환경에서 병렬루프 처리를 위한 재구성 가능한 부하 및 성능 균형 방법)

  • 김태형
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.10 no.1
    • /
    • pp.49-56
    • /
    • 2004
  • Load imbalance is a serious impediment to achieving good performance in parallel processing. Global load balancing schemes cannot adequately manage to balance parallel tasks generated from a single application. Dynamic loop scheduling methods are known to be useful in balancing parallel loops on shared-memory multiprocessor machines. However, their centralized nature causes a bottleneck for the relatively small number of processors in a network of workstations because of order-of-magniture differences in communication overheads. Moreover, improvements of basis loops scheduling methods have not effectively dealt with irregularly distributed workloads in parallel loops, which commonly occur in applications for a network of workstation. In this paper, we present a new reconfigurable and decentralized balancing method for parallel loops on a network of workstations. Since our method supplements performance balancing with those tranditional load balancing methods, it minimizes the overall execution time.