• 제목/요약/키워드: Grid computing environment

검색결과 173건 처리시간 0.026초

계산과학 시뮬레이션을 위한 HPC 작업 관리 프레임워크의 설계 및 구현 (Design and Implementation of HPC Job Management Framework for Computational Scientific Simulation)

  • 유정록;김한기;변희정
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.554-557
    • /
    • 2016
  • 최근, 슈퍼컴퓨터 시스템은 교육, 의료, 국방 등은 물론 계산과학 시뮬레이션까지 다양한 분야에서 활용되고 있다. 특히, 슈퍼컴퓨터, 클라우드 등 이종의 계산 자원을 연동하는 시뮬레이션 환경은 시간, 공간적 한계를 극복하는 차세대 연구 환경으로서 다양한 응용 분야에서 큰 각광을 받고 있다. 그러나 기존의 이종 슈퍼컴퓨팅 환경은 API(Application Programming Interface)의 부재로 터미널 접근을 통해 계산 작업을 수행하는 단조로운 형태를 띠고 있으며, 이는 이종 컴퓨팅 자원의 접근성 및 활용성을 저해하는 주요 요소이다. 이러한 문제점을 해결하고, 슈퍼컴퓨팅 서비스의 다양성을 확보하기 위해, 본 논문에서는 계산과학 시뮬레이션을 위한 웹 기반 HPC (High Performance Computing) 작업 관리 프레임워크의 설계 및 구현에 대해 기술한다. 제안한 프레임워크는 슈퍼컴퓨터, 클라우드, 그리드 등의 다양한 이기종 자원을 활용하여 시뮬레이션 계산 작업을 수행할 수 있도록 플러그-인 기반 표준 인터페이스 및 번들 플러그-인을 제공하며, 플러그-인 관리자를 통해 손쉽게 자원 확장이 가능하다. 또한 시뮬레이션 작업의 생성, 제출, 제어, 상태 모니터링 등의 전주기적인 작업 라이프사이클 관리를 위해 HTTP 표준 방식의 RESTful endpoints들을 제공한다.

  • PDF

그리드 컴퓨팅 시스템에서의 두 개의 트리를 이용한 집합 통신 (Two-Tree Collective Communication in Grid Computing Systems)

  • 차광호;이정희;한동수;유찬수
    • 한국정보과학회논문지:정보통신
    • /
    • 제31권5호
    • /
    • pp.450-459
    • /
    • 2004
  • 본 논문은 이종 네트워크로 구성되어 통신 시간이 상대적으로 길며 또한 지연(delay)이 일정하지 않은 그리드 환경에서 사용되는 MPI의 집합 통신(collective communication)에 관한 연구이다. 일반적으로 효과적인 집합통신에 있어서는 네트워크 정보를 이용한 통신 스케줄을 작성하고 이것에 따라서 실제로 통신하는 전략을 선택하고 있다 전통적인 그리드 집합통신 방식에 있어서도 네트워크 정보가 정확하다는 가정 하에 동일한 접근방식으로 집합통신을 수행하고 있는 상황이다. 하지만 네트워크 환경이 쉽게 변하는 그리드 환경에 있어서는 네트워크 정보가 정확하지 않거나 네트워크 fault가 발생할 경우, 전통적인 방식의 집합 통신은 그 통신 성능이 급격히 감소할 수 있다. 본 논문에서는 그리드에서 집합통신을 위한 스케줄링의 한 방법으로 TTCC(Two-Tree Collective Communication) 알고리즘을 제안한다. TTCC 알고리즘은 서로 다른 에지들로 구성된 두 개의 통신 트리를 이용해 불확실한 네트워크 상태에서도 효과적이고 신뢰성 있는 스케줄링을 제공할 수 있다. TTCC 알고리즘의 효과는 시뮬레이션을 통해 검증하였다. 시뮬레이션 결과 지연(latency)이 커짐에 따라 나타날 수 있는 성능 감소량이 TTCC를 이용할 경우 종래의 스케줄링 알고리즘을 이용하는 것보다 우수한 것으로 판명되었다.

분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 Cloaking 영역 설정 기법 (A Efficient Cloaking Region Creation Scheme using Hilbert Curves in Distributed Grid Environment)

  • 이아름;엄정호;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.115-126
    • /
    • 2009
  • 최근 무선 통신과 모바일 측위 기술의 발전으로 위치 기반 서비스(Location-Based Service)의 이용이 확산되었다. 그러나 위치 기반 서비스에서 사용자는 사용자의 정확한 위치를 가지고 데이터베이스 서버에 질의를 요청하기 때문에, 사용자의 위치 정보가 상대방에게 노출될 수 있다. 따라서 모바일 사용자에 의한 안전한 위치기반 서비스의 사용을 위해서는 사용자의 개인 정보 보호 방법이 요구된다. 이를 위해 본 논문에서는 위치기반 서비스에서 사용자의 위치정보를 보호하기 위하여, 분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 cloaking 영역 설정 기법을 제안한다. 제안하는 기법은 K-anonymity를 만족하는 cloaking 영역을 생성하기 위해 힐버트 커브의 특성을 분석하고 이를 통해 이웃 셀의 힐버트 커브값을 계산하여 최소화된 cloaking 영역을 설정한다. 아울러, 네트워크 통신비용을 줄이기 위해 분산 해쉬 테이블 구조인 Chord를 사용한다. 마지막으로 성능평가를 통해서 제안하는 기법이 기존의 그리드 기반 cloaking 기법보다 우수함을 보인다.

  • PDF

대규모 분산 컴퓨팅 환경에서 확장성을 고려한 실시간 데이터 공급 기법 (Scalable Data Provisioning Scheme on Large-Scale Distributed Computing Environment)

  • 김병상;윤찬현
    • 정보처리학회논문지A
    • /
    • 제18A권4호
    • /
    • pp.123-128
    • /
    • 2011
  • 본 논문은 원격지간의 연결된 대규모 분산 환경에서 데이터 분석 작업의 실행을 위해 필수적으로 고려되는 데이터 전송 부하를 감소시키는 기법을 제안한다. 계산 노드들이 밀집된 지역 인근에 다수의 데이터 노드를 배치시킴으로서 계산 노드들이 단일 데이터센터가 아닌 자신과 인접한 데이터 노드에 접근하여 작업을 수행함으로서 전송부하를 감소시키고 확장성을 증가시키는 것이 가능하다. 따라서 본 논문은 지역적으로 분산된 데이터 노드들의 데이터 처리율을 기반으로 실시간 데이터 공급을 수행함으로서 전송 지연을 최소화 할 수 있는 이론적인 모델과 시뮬레이션을 통한 성능 평가를 수행한다. 제안된 기법은 PRAGMA 그리드 테스트베드에서 실험을 통하여 성능의 우수성을 검증하였다.

IoT 응용을 위한 결함 포용 발행/구독 시스템의 설계 및 평가 (Design and Evaluation of a Fault-tolerant Publish/Subscribe System for IoT Applications)

  • 배인한
    • 한국멀티미디어학회논문지
    • /
    • 제24권8호
    • /
    • pp.1101-1113
    • /
    • 2021
  • The rapid growth of sense-and-respond applications and the emerging cloud computing model present a new challenge: providing publish/subscribe middleware as a scalable and elastic cloud service. The publish/subscribe interaction model is a promising solution for scalable data dissemination over wide-area networks. In addition, there have been some work on the publish/subscribe messaging paradigm that guarantees reliability and availability in the face of node and link failures. These publish/subscribe systems are commonly used in information-centric networks and edge-fog-cloud infrastructures for IoT. The IoT has an edge-fog cloud infrastructure to efficiently process massive amounts of sensing data collected from the surrounding environment. In this paper. we propose a quorum-based hierarchical fault-tolerant publish/subscribe systems (QHFPS) to enable reliable delivery of messages in the presence of link and node failures. The QHFPS efficiently distributes IoT messages to the publish/subscribe brokers in fog overlay layers on the basis of proposing extended stepped grid (xS-grid) quorum for providing tolerance when faced with node failures and network partitions. We evaluate the performance of QHFPS in three aspects: number of transmitted Pub/Sub messages, average subscription delay, and subscritpion delivery rate with an analytical model.

3차원 대기오염 모형에 그리드 컴퓨팅 기술 적응 (Grid Computing Application to a three dimensional comprehensive air pollution model)

  • 조석연;조금원
    • 한국대기환경학회:학술대회논문집
    • /
    • 한국대기환경학회 2002년도 추계학술대회 논문집
    • /
    • pp.101-102
    • /
    • 2002
  • 과거 50여년간 전산기는 성능과 효율면에서 획기적인 발전을 거듭하여 왔다. 더욱이 최근 20여년간 microcomputer와 PC 분야의 발전으로 저렴한 가격으로 전산자원을 활용할 수 있게 되었다. 그러나, 1개의 CPU로 도달할 수 있는 속도의 한계에 근접함에 따라서, CPU 성능의 향상 속도가 느려지고 있다. 현재 초고성능 전산기로도 많은 시간과 비용이 소요되는 문제가 과학 및 공학 분야에 아직 많이 있는 상황에서 이러한 전산속도 발전의 둔화는 심각한 문제가 되고 있다. (중략)

  • PDF

클라우드 환경에서 최적 자원 할당을 위한 어플리케이션 프로파일링 기술 (Application Profiling Technique For Optimal Resource Allocation in Cloud Environment)

  • 김우중;윤찬현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.208-209
    • /
    • 2013
  • 클라우드 환경에서 Scientific Application Service와 같이 computing intensive한 job을 최소한의 자원을 이용해 성능을 보장하면서 서비스를 제공할 수 있는 어플리케이션 프로파일링(Application Profiling) 기술을 제안한다.

웹기반 대용량 계산환경 구축 및 응용연구 (Development of Web-based High Throughput Computing Environment and Its Applications)

  • 정민중;김병상
    • 한국전산구조공학회논문집
    • /
    • 제20권3호
    • /
    • pp.365-370
    • /
    • 2007
  • 공학 및 과학문제 해석을 위해 적용되는 전산 시뮬레이션은 다양한 변수 혹은 데이터의 변화를 통해 다수의 작업을 생성하고 계산함과 동시에, 생성된 결과를 비교 분석하기 위한 필수적인 기법이다. 본 연구에서는 그리드 컴퓨팅을 활용하여 웹상에서 대용량의 전산 시뮬레이션이 가능한 시스템을 개발하고, 이를 이용한 2가지 실제 응용사례를 제시한다. 첫 번째 응용사례는 e-AIRS(Aerospace Integrated Research Environment)라 명명된 연구포탈이다 e-AIRS는 수치해석 연구자가 대규모의 전산 해석을 실시하고, 실험 연구자가 원격지에서 실험을 요청하고 그 결과를 모니터링 할 수 있는 e-Science 연구환경을 제공한다. 두 번째 응용사례는 대규모 계산환경을 이용한 단백질 구조설계를 제시한다. 제안된 계산환경을 이용하여 생성된 단백질 전산 예측구조와 자연상태 구조를 비교하고, 제안된 계산환경의 유용성을 검토한다.

분산처리 작업의 동적 원격실행을 위한 P2P 기반 작업 할당 관리자 (A Job Allocation Manager for Dynamic Remote Execution of Distributed Jobs in P2P Network)

  • 이승하;김양우
    • 인터넷정보학회논문지
    • /
    • 제7권6호
    • /
    • pp.87-103
    • /
    • 2006
  • 컴퓨터와 네트워크 기술의 향상은 예전에는 슈퍼컴퓨터에서나 가능한 일을 분산 처리할 수 있는 환경적 기반을 제공한다. 분산 컴퓨팅 환경을 제공하기 위해서는 우선 분산 런타임 시스템이 구축되어야 하는데 기존의 전통적인 분산 런타임 시스템들은 대부분이 정적인 마스터 노드와 작업 노드들로 구성되는 구조를 갖기 때문에 분산처리 작업량의 변동에 따라 시스템을 유연하게 동적으로 재구성할 수 없다는 단점을 갖는다. 이에 본 논문에서는 P2P 환경에서의 분산 런타임 시스템인 작업 할당 관리자의 모델을 제시하고 구현하여 유연하고 동적인 시스템 구축이 가능하도록 하였다. 즉, P2P 표준 프로토콜인 JXTA 플랫폼 상에서 협업 환경을 위해 개발자들 간에 작업 프로그램의 전달과 관리, 그리고 원격 컴파일과 실행 작업들을 수행할 수 있도록 하였다 이 방식은 유연하고 동적인 시스템 구축이 가능하기 때문에 작업의 분산처리를 위해 필요한 유휴 자원들을 필요한 시점에 즉시 확보하여 활용할 수 있다는 장점을 가진다. 이와 더불어 인터넷 정보검색을 위해 방대한 데이터를 수집하는 크롤러를 본 논문에서 구현한 시스템을 이용하여 분산 처리시킴으로써 본 시스템의 유용성과 분산처리 성능을 보여 줄 수 있도록 하였다.

  • PDF

e-사이언스 환경에서 공학 교육을 위한 통합 수치 해석 프레임워크 (An Integrated Numerical Analysis Framework for Engineering Education in e-Science Environment)

  • 박숙영;강혜정;김윤희
    • 컴퓨터교육학회논문지
    • /
    • 제15권2호
    • /
    • pp.67-73
    • /
    • 2012
  • 유동 수치 해석 분야의 실험들은 복잡한 수학 방정식의 계산 과정으로 이루어져 있고, 이러한 실험을 수행할 수 있는 거대한 계산 자원과 그 자원을 효율적으로 관리할 수 있는 환경을 요구한다. 현재 수치해석을 위한 특정 목적의 실험을 수행할 수 있는 e-사이언스 환경에 대한 연구는 많이 진행되고 있으나 다양한 공학 교육 분야의 유동 해석을 위한 통합 수치해석 연구 프레임워크를 개발한 사례는 거의 없는 실정이다. 따라서 본 논문에서는 그리드 자원을 효율적으로 이용할 수 있는 UNICORE를 기반으로 다양한 유동 해석을 위한 기본 프레임워크를 설계하고, 이에 대한 프로토타입으로 세 가지 유동 응용들에 대한 수치해석 연구를 통합 환경에서 수행할 수 있는 e-사이언스 프레임워크를 개발하였다.

  • PDF