• 제목/요약/키워드: 클러스터 컴퓨팅 환경

검색결과 147건 처리시간 0.023초

공유노드 정책으로 운영 중인 클러스터 시스템에서 작업별 GPU 사용 통계 생성 방안에 대한 연구 (A study on how to generate GPU usage statistics for each task in a cluster system operated by shared node policy)

  • 권민우;윤준원;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.37-39
    • /
    • 2022
  • KISTI(한국과학기술정보연구원)는 슈퍼컴퓨터 5호기 메인시스템인 Nurion과 보조시스템인 Neuron을 연구자들에게 서비스하고 있다. Neuron은 메인시스템인 Nurion이 Intel Knights Landing 프로세서가 장착된 클러스터로 구성됨에 따라 인공지능, 빅데이터에 관한 연구 인프라 수요를 충족시키기 위해 GPU를 장착한 이기종 클러스터로 구성되어 있다. Neuron은 연구자들에게 효율적으로 계산 자원을 배분하기 위해 SLURM 작업배치스케줄러의 공유노드 정책을 이용하여 한 개의 계산노드에서 다수 개의 작업이 수행될 수 있는 환경으로 서비스되고 있다. 본 논문에서는 공유노드 정책으로 운영 중인 클러스터 시스템에서 작업별로 GPU 사용 통계 데이터를 생성하는 기법을 소개한다.

PDA 클러스터 컴퓨팅을 활용한 대용량 모바일 소프트웨어 실행 (Running Large-scale Mobile Software using PDA Cluster Computing)

  • 민혜린;이종우
    • 디지털콘텐츠학회 논문지
    • /
    • 제10권2호
    • /
    • pp.249-258
    • /
    • 2009
  • 최근 무선 인터넷 시장의 발전으로 모바일 단말기를 이용한 응용 개발이 늘어나고 있다. PDA 같은 모바일 장치는 유비쿼터스 컴퓨팅이라는 장점으로 인해 컴퓨팅을 요구하는 다양한 환경에서 필수적인 요소로 자리 잡고 있다. 본 논문의 목적은 PDA 클러스터 시스템을 이용해 PDA 단독으로는 실행시킬 수 없었던 대용량 소프트웨어를 PDA 상에서 실행시키는 것이다. 구체적인 구현 방법으로는 기존 워크스테이션 클러스터 컴퓨팅 엔진 JPVM을 PDA로 이식한 버전인 PDA-JPVM을 이용하였다. PDA 클러스터 상에서 병렬 응용 프로그램들을 실행시킨 결과, 이식된 PDA 클러스터 시스템을 이용해 대규모 소프트웨어를 PDA 상에서 실행시킬 수 있음을 확인하였으며, 아울러 그 성능 평가 결과도 보인다.

  • PDF

인터넷기반 분산 클러스터 환경에서의 결함허용을 위한 중복된 작업할당 기법 (A Task Duplication Scheme For Fault-Tolerance In Internet Based Distributed Clustering Systems)

  • 최인복;이재동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.209-212
    • /
    • 2002
  • 최근 인터넷이 발달하면서 TCP/IP 프로토콜 기반의 분산 클러스터환경의 구축이 가능해졌다. 이렇게 서로 다른 네트워크를 통해 연결된 분산 클러스터 시스템에서는 기존의 클러스터 시스템과는 다르게 네트워크의 지연이나 노드의 결함 등에 유연히 대처해야 한다. 따라서 본 논문에서는 이러한 인터넷 기반의 분산 클러스터 환경에서 메시지 전달방식을 이용한 고성능 클러스터 컴퓨팅 작업 시 네트워크나 노드의 결함에 효과적으로 대처할 수 있도록 중복된 작업할당 기법을 통한 결함 허용 기법을 제시한다. 중복된 작업할당 기법을 적용하기 위해 Send, GSS, WF 와 같은 기존의 부하 공유 알고리즘에 대한 공통적인 스케줄러를 설계하였으며, 이 스케줄러를 이용한 TDS_for_FT 알고리즘을 작성하였다. 본 논문에서 제시한 중복된 작업할당 기법이 효과적임을 보이기 위하여 게이트웨이를 통해 연결된 두 개의 네트워크를 구성하여 분산 PC클러스터 환경을 구축하고, PVM을 이용한 행렬의 곱셈 프로그램을 통하여 실험하였다. 클러스터를 구성하는 임의의 한 노드에 일정시간의 delay 를 적용한 결과, 중복된 작업할당 기법을 통하여 결함허용성 보장이 가능함을 보였다.

  • PDF

분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘 (Matrix-based Filtering and Load-balancing Algorithm for Efficient Similarity Join Query Processing in Distributed Computing Environment)

  • 양현식;장미영;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제16권7호
    • /
    • pp.667-680
    • /
    • 2016
  • 하둡 맵리듀스와 같은 분산 컴퓨팅 플랫폼이 개발됨에 따라, 기존 단일 컴퓨터 상에서 수행되는 질의 처리 기법을 분산 컴퓨팅 환경에서 효율적으로 수행하는 것이 필요하다. 특히, 주어진 두 데이터 집합에서 유사도가 높은 모든 데이터 쌍을 탐색하는 유사 조인 질의를 분산 컴퓨팅 환경에서 수행하려는 연구가 있어 왔다. 그러나 분산 병렬 환경에서의 기존 유사 조인 질의처리 기법은 데이터 전송 비용만을 고려하기 때문에 클러스터 간에 비균등 연산 부하 분산의 문제점이 존재한다. 본 논문에서는 분산 컴퓨팅 환경에서 효율적인 유사 조인 처리를 위한 행렬 기반 부하 분산 알고리즘을 제안한다. 제안하는 알고리즘은 클러스터의 균등 부하 분산을 위해 행렬을 이용하여 예상되는 연산 부하를 측정하고 이에 따라 파티션을 생성한다. 아울러, 클러스터에서 질의 처리에 사용되지 않는 데이터를 필터링함으로서 연산 부하를 감소시킨다. 마지막으로 성능 평가를 통해 제안하는 알고리즘이 기존 기법에 비해 질의 처리 성능 측면에서 우수함을 보인다.

고가용성 솔루션 구축을 위한 그리드 측면에서의 소프트웨어 아키텍처를 통한 로드밸랜싱 구현 (Software Architecture for Implementing the Grid Computing of the High Availability Solution through Load Balancing)

  • 이병엽;박준호;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제11권3호
    • /
    • pp.26-35
    • /
    • 2011
  • 인터넷 환경의 급속한 발전과 더불어 국내외 미션 크리티컬한 비즈니스 환경이 온라인에 의해 서비스되고 있다. 반면 단일 환경 서버환경의 구축을 통해 비효율적인 IT Resources들의 자원 낭비가 가중되고 있는 현실이다. 따라서 웹 환경을 통해 처리되어야 할 정보의 양의 급증과, 이의 처리를 위해 여러 개의 단일 서버를 고속의 네트워크로 연결한 고가용성 구현이 가능한 클러스터 컴퓨팅 시스템이 등장하게 되었다. 하지만 클러스터 컴퓨팅 기술의 다소 제한적인 IT Resource의 단점을 가지고 있다. 이러한 단점을 보완하기 위하여 그리드 컴퓨팅 환경은 기존의 분산 컴퓨팅 기술의 확장된 개념으로, 다양한 분야에서 저비용의 고성능 컴퓨팅 퍼포먼스를 얻기 위하여 그리드를 이용하고 있다. 그러나 공통적으로 이용할 수 있는 정보 시스템의 부재로, 현재의 그리드는 대규모의 단일한 환경으로서의 그리드가 아닌, 기존의 클러스터 컴퓨터와 같은 의미로 사용되고 있다. 따라서 자신이 구성한 분산 컴퓨팅 환경을 그리드 환경의 한 부분으로 포함시키기 위해서는 컴퓨팅 환경에 대한 정보를 그리드의 이용자가 공유할 수 있어야 하며, 정보 서비스를 공개하여 공유할 수 있도록 해야 한다. 본 논문에서는 Grid 기술을 통하여 데티터베이스 로드밸런싱 목표치에 대한 검증을 제시하고 향후 고가용성 데이터베이스 구현을 위한 아키텍처를 제시한다.

분산 환경에서 클러스터 노드 할당 시스템을 위한 유전자 기반 최적화 모델 (A Genetic-Based Optimization Model for Clustered Node Allocation System in a Distributed Environment)

  • 박경모
    • 정보처리학회논문지A
    • /
    • 제10A권1호
    • /
    • pp.15-24
    • /
    • 2003
  • 본 논문에서는 분산 컴퓨팅 환경에서 클러스터 노드 할당 시스템에 대한 최적화 모델을 제시한다. 분산 파일 시스템 구조를 지닌 제시 모델에서는 시간에 따른 시스템의 역동적인 움직임을 면밀하게 고려하여 클러스터 노드 할당 세트가 타당한지를 조사하는 클러스터 모니터 노드의 기능이 주어진다. 노드 할당 시스템의 클러스터 모니터 노드는 병렬 모듈들을 클러스터 노드들에 분산시키면서 유전 알고리즘을 이용하여 좋은 할당 솔루션을 제공한다. 실험적 연구의 일환으로 코딩 기법, 교배, 돌연변이, 개체집단 크기 같은 다양한 유전 인자 파라미터와 노드 모듈개수에 따른 솔루션 품질 및 계산 시간에 관한 비교 실험 결과를 발표한다.

이기종 클러스터의 JVM 기반 단일시스템이미지 구현 (A JVM based Implementation of a Single System Image for Heterogeneous Clusters)

  • 한동헌;김양우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (하)
    • /
    • pp.981-984
    • /
    • 2000
  • 지난 10년간 인터넷은 정보화 시대의 새로운 패러다임으로 사회 전반을 변화시켜 왔다. 네트워크 요청이 크게 증가하고 대량의 정보처리가 요구되면서 이 기간 동안 고성능 컴퓨팅 환경에 대한 연구가 활발하게 진행되었다. 낮은 가격과 높은 가용성을 유지하면서 고성능 컴퓨팅 환경을 제공하려는 노력은 클러스터링 기술을 발전시켰지만, 기존 클러스터 시스템들은 운영체제 및 하드웨어에 종속적이기 때문에 높은 확장성을 제공하지 못하였다. 또한 여러 대의 시스템이 연결되는 클러스터 시스템은 각각의 운영체제를 가지고 있지만, 시스템 전체 자원을 효율적으로 이용하기 위해서는 하나의 시스템 이미지를 가지고 작업을 처리해주는 단일시스템이미지(SSI) 제공이 필요하다. 기존의 SSI 제공 기술을 JVM(Java Virtual Machine) 계층을 기준으로 살펴보면, JVM 상위계층에서 구현된 SSI는 불완전하고, JVM 하위계층에서 구현된 SSI는 Java 자체의 성능 향상 기능을 활용하지 못하는 단점을 가진다. 이러한 단점들을 해결한 JVM 계층에서의 SSI가 구현되고 현재 연구가 진행중이지만, 이 역시 동기종 클러스터 시스템에 국한되어 있다. 본 논문에서는 클러스터 시스템의 SSI 구현 방법들을 각 구현 계층별로 비교하여 살펴보고, JVM을 기반으로 SSI를 제공함으로써 이기종 클러스터 시스템에까지 SSI를 확장, 제공하는 방안을 모색하고자 한다.

  • PDF

라즈베리 파이 클러스터 환경에서의 병렬 프로그래밍 (Parallel Programming on a Raspberry Pi Cluster)

  • 정용재;김동관
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
    • /
    • pp.477-478
    • /
    • 2014
  • 일반적으로 컴퓨터 클러스터는 제공하는 기능에 따라 구축 비용이 고가이며 공간 확보, 냉난방, 전원 등을 위한 유지 비용을 무시할 수 없다. 그러므로, 일반 개발자들이 컴퓨터 클러스터를 보유하는 것은 쉬운 일이 아니다. 이러한 상황에서 교육용 및 연구용으로 가격대비 성능이 만족스러운 라즈베리 파이를 기반으로 한 컴퓨터 클러스터를 구축하여 분산 컴퓨팅 및 클라우드 컴퓨팅 시스템 개발을 위한 테스트 베드로 활용하고자 한다. 본 논문의 실험 결과는 라즈베리 파이 클러스터가 병렬 프로그래밍을 위한 효과적인 테스트 베드가 될 수 있음을 보인다.

  • PDF

클러스터 파일 시스템 기술 동향 (Trends of Cluster File Systems Technology)

  • 김영철;박근태;이상민;김홍연;김영균
    • 전자통신동향분석
    • /
    • 제22권6호
    • /
    • pp.139-149
    • /
    • 2007
  • 최근에 블로그, UCC, IPTV 등 사용자 중심의 인터넷 서비스와 언제 어디서나 웹을 통해 서비스를 받을 수 있는 유비쿼터스 컴퓨팅 환경으로의 변화는 대용량 저장 공간과 빠르고 안정된 서비스를 제공할 수 있는 대규모 클러스터 시스템 플랫폼을 필요로 한다. 그리고 이러한 대규모 클러스터 시스템 플랫폼을 효율적으로 관리하고 이용할 수 있는 클러스터 파일 시스템은 필수적이다. 본 고에서는 최근에 연구 개발되고 있는 클러스터 파일 시스템들을 소개하고 기술 동향에 대해 살펴본다.

클러스터 컴퓨팅 환경에서 병렬루프 처리를 위한 재구성 가능한 부하 및 성능 균형 방법 (A Reconfigurable Load and Performance Balancing Scheme for Parallel Loops in a Clustered Computing Environment)

  • 김태형
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권1호
    • /
    • pp.49-56
    • /
    • 2004
  • 부하 불균형은 병렬처리에 있어서 좋은 성능을 얻기 위한 주요한 방해 요소 중의 하나이다. 전역(全域) 부하균형 기법은 하나의 응용에서 발생된 병렬 태스크를 취급하는데 적절하지 않다. 동적 루프 스케줄링 기법은 공유 메모리 멀티프로세서 병렬구조에서 병렬 루프의 부하균형에 효과적인 것으로 알려져있다. 하지만 이 기법의 중앙집중적 특성은 워크스테이션 클러스터 환경에서 프로세서 수가 상대적으로 많지 않은 경우에도 병목현상을 일으킬 수 있는 요인이 된다. 워크스테이션 클러스터 환경에서의 통신 오버헤드는 공유 메모리 멀티프로세서 병렬 구조와 비교할 때 수십배의 차이가 생기기 때문이다. 더구나 병렬 루프에서 발생하는 단위 태스크가 불규칙적인 작업량을 갖는 경우에는 기본 루프 스케줄링 기법의 단점을 보완한 개선된 방법들을 적용할 수가 없다. 본 논문에서는 이러한 불규칙적인 작업량을 갖는 병렬루프를 서로 다른 성능을 갖는 워크스테이션들의 네트워크 환경에서 효율적으로 부하를 분배하기 위한 재구성 가능한 분산 부하 균형 기법을 제시한다. 이러한 재구성 가능한 기법은 전통적인 부하균형 방법과 함께 성능균형을 가능하게 함으로써 전체수행시간을 최소화할 수 있음을 보였다.