• Title/Summary/Keyword: HPC Cloud

Search Result 17, Processing Time 0.034 seconds

A HPC Cloud Broker System for R&D Computational Science (R&D 계산과학을 위한 HPC 클라우드 브로커)

  • Junyoung Park;Kimoon Jeong;Hyeyoung Cho;Ayoung Son
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.103-106
    • /
    • 2023
  • 4차 산업혁명과 함께 HPC(High Performance Compuiting) 환경이 보편화되면서 다양한 연구분야와 서비스에서 고성능컴퓨팅 수요가 증가하고 있다. 고성능 컴퓨팅 수요가 증가함에 따라 컴퓨팅 구성에 대한 복잡도 또한 증가하고 있다. 최근 클라우드 환경이 여러 분야에 적용되면서 R&D 연구자들을 위해 시뮬레이션 및 모델링, 가상 실험 등의 환경을 쉽게 제공하는 HPC 클라우드에 대한 새로운 수요와 서비스 요구사항들이 생겨나고 있으며 여러 과학 분야에 HPC 환경을 보다 쉽게 제공하기 위해 중개자가 필요해졌다. 따라서 본 논문에서는 HPC 클라우드 서비스를 설명하고 계산과학 연구자들이 필요한 HPC 클라우드 서비스 요구사항들을 분석하였으며, 이를 기반으로 HPC 클라우드 기반의 연구환경을 쉽게 개발할 수 있는 HPC 클라우드 브로커 고려사항 및 구조도를 제안한다.

Big Data Security and Privacy: A Taxonomy with Some HPC and Blockchain Perspectives

  • Alsulbi, Khalil;Khemakhem, Maher;Basuhail, Abdullah;Eassa, Fathy;Jambi, Kamal Mansur;Almarhabi, Khalid
    • International Journal of Computer Science & Network Security
    • /
    • v.21 no.7
    • /
    • pp.43-55
    • /
    • 2021
  • The amount of Big Data generated from multiple sources is continuously increasing. Traditional storage methods lack the capacity for such massive amounts of data. Consequently, most organizations have shifted to the use of cloud storage as an alternative option to store Big Data. Despite the significant developments in cloud storage, it still faces many challenges, such as privacy and security concerns. This paper discusses Big Data, its challenges, and different classifications of security and privacy challenges. Furthermore, it proposes a new classification of Big Data security and privacy challenges and offers some perspectives to provide solutions to these challenges.

A Study on the Container-based HPC Environment for Portability of MPI Applications (MPI 어플리케이션의 이식성을 위한 컨테이너 기반의 HPC 환경에 관한 연구)

  • Lee, Seung-Min
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.93-96
    • /
    • 2018
  • 메시지 전달 인터페이스(MPI)는 분산 및 병렬 처리에서 정보의 교환에 대해 기술하는 표준으로 사용자에게 표준 인터페이스를 제공한다. 그러나, 사용자 레벨의 표준화를 지원하고 있으나 MPI 라이브러리와 런타임 환경은 버전과 종류마다 상이하여 호환이 되지 않아 실행 환경 측면에서의 이식성에 대한 문제가 존재한다. 이러한 MPI 어플리케이션의 이식성 문제를 해결하는 방안으로 컨테이너 기반의 HPC 환경이 가능한 솔루션 중 하나이다. 본 연구에서는 컨테이너 기반의 HPC 환경을 제공하는 대표적인 도구인 Docker, Singularity, Shifter에 대한 MPI 어플리케이션의 이식성에 필요한 고려사항과 실행 방법을 비교 분석한다.

The Security Architecture for Secure Cloud Computing Environment

  • Choi, Sang-Yong;Jeong, Kimoon
    • Journal of the Korea Society of Computer and Information
    • /
    • v.23 no.12
    • /
    • pp.81-87
    • /
    • 2018
  • Cloud computing is a computing environment in which users borrow as many IT resources as they need to, and use them over the network at any point in time. This is the concept of leasing and using as many IT resources as needed to lower IT resource usage costs and increase efficiency. Recently, cloud computing is emerging to provide stable service and volume of data along with major technological developments such as the Internet of Things, artificial intelligence and big data. However, for a more secure cloud environment, the importance of perimeter security such as shared resources and resulting secure data storage and access control is growing. This paper analyzes security threats in cloud computing environments and proposes a security architecture for effective response.

Implementation of Billing System for KI Cloud based CPU usage (CPU 사용량 기반의 KI Cloud 과금 시스템 구현)

  • Jeong, Kimoon;Cho, Hyeyoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.126-128
    • /
    • 2022
  • 초고성능컴퓨터를 활용하여 전통적인 병렬처리 기반의 계산과학을 비롯하여 AI, 빅데이터 등의 ICT 기반 연구를 수행할 수 있어야 한다는 수요가 증가하고 있다. 계산과학 연구의 다양성에 맞춰 컴퓨팅 연구환경을 제공하기 위하여 한국과학기술정보연구원(KISTI)에서는 초고성능컴퓨터를 인프라로 활용하는 HPC 클라우드인 KI(KISTI Intelligent) Cloud를 개발하여 서비스하고 있다. 본 논문에서는 KI Cloud의 과금을 위한 기능의 설계 및 구현 현황을 기술하였다. 가상서버(VM) 기반의 서비스와 컨테이너 기반의 서비스의 사용량을 측정하기 위하여 Prometheus로 CPU의 사용량을 수집하여 과금 정책을 적용하고 있는 KI Cloud의 과금 기능에 대해서 살펴보도록 한다.

Design and Implementation of The Data Storage for KI Cloud Platform (KI Cloud 플랫폼을 위한 데이터 저장소 설계 및 구현)

  • Cho, Hyeyoung;Jeong, Gi-Mun;Hong, TaeYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.16-18
    • /
    • 2021
  • 최근 베어메탈 시스템에 스케줄러 시스템 기반 인프라 시스템에서 벗어나 사용자 맞춤형 클라우드 인프라가 관심을 받고 있다. KI Cloud 플랫폼은 고성능 컴퓨팅(HPC) 사용자를 위한 클라우드 기반 IaaS, PaaS 통합 플랫폼이다. 본 논문에서는 KI Cloud를 위한 데이터 저장소 설계 및 구현에 대해 기술한다. 오픈 소스 Ceph 분산 스토리지 시스템을 기반으로 구축하였고, 프로젝트의 목적에 맞게 블록 스토리지, 오브젝트 스토리지, 파일 스토리지 방식으로 구현하였다. Openstack 기반의 서비스와 Kubernetes 기반의 서비스가 하나의 스토리지를 통해 다양한 타입의 서비스를 제공할 수 있도록 개발하였다.

Design and Development of KI Cloud Platform for High Performance Computing (고성능 컴퓨팅을 위한 KI Cloud 플랫폼 설계 및 개발)

  • Cho, Hyeyoung;Jeong, Gi-Mun;Lee, Seung-Min;Hong, TaeYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.78-79
    • /
    • 2020
  • 최근 하드웨어의 성능 및 소프트웨어 기술이 비약적으로 발전하면서 컴퓨팅을 위한 인프라 환경이 클라우드 기술 기반으로 활발하게 연구, 개발되고 있다. 이에 본 논문에서는 슈퍼컴퓨터로 대표되는 고성능 컴퓨팅을 분야에서 클라우드 기반 인프라 및 서비스를 제공하기 위한 KI Cloud 플랫폼을 소개한다. KI Cloud 플랫폼은 VM 기반으로 IaaS 서비스를 제공하고, 컨테이너 기술을 기반으로 HPC 사용자를 위한 PaaS 서비스를 제공하는 통합 플랫폼으로 설계 및 개발되었다.

Performance Optimization of Numerical Ocean Modeling on Cloud Systems (클라우드 시스템에서 해양수치모델 성능 최적화)

  • JUNG, KWANGWOOG;CHO, YANG-KI;TAK, YONG-JIN
    • The Sea:JOURNAL OF THE KOREAN SOCIETY OF OCEANOGRAPHY
    • /
    • v.27 no.3
    • /
    • pp.127-143
    • /
    • 2022
  • Recently, many attempts to run numerical ocean models in cloud computing environments have been tried actively. A cloud computing environment can be an effective means to implement numerical ocean models requiring a large-scale resource or quickly preparing modeling environment for global or large-scale grids. Many commercial and private cloud computing systems provide technologies such as virtualization, high-performance CPUs and instances, ether-net based high-performance-networking, and remote direct memory access for High Performance Computing (HPC). These new features facilitate ocean modeling experimentation on commercial cloud computing systems. Many scientists and engineers expect cloud computing to become mainstream in the near future. Analysis of the performance and features of commercial cloud services for numerical modeling is essential in order to select appropriate systems as this can help to minimize execution time and the amount of resources utilized. The effect of cache memory is large in the processing structure of the ocean numerical model, which processes input/output of data in a multidimensional array structure, and the speed of the network is important due to the communication characteristics through which a large amount of data moves. In this study, the performance of the Regional Ocean Modeling System (ROMS), the High Performance Linpack (HPL) benchmarking software package, and STREAM, the memory benchmark were evaluated and compared on commercial cloud systems to provide information for the transition of other ocean models into cloud computing. Through analysis of actual performance data and configuration settings obtained from virtualization-based commercial clouds, we evaluated the efficiency of the computer resources for the various model grid sizes in the virtualization-based cloud systems. We found that cache hierarchy and capacity are crucial in the performance of ROMS using huge memory. The memory latency time is also important in the performance. Increasing the number of cores to reduce the running time for numerical modeling is more effective with large grid sizes than with small grid sizes. Our analysis results will be helpful as a reference for constructing the best computing system in the cloud to minimize time and cost for numerical ocean modeling.

Development of CAE Service Platform Based on Cloud Computing Concept (클라우드 컴퓨팅기반 CAE서비스 플랫폼 개발)

  • Cho, Sang-Hyun
    • Journal of Korea Foundry Society
    • /
    • v.31 no.4
    • /
    • pp.218-223
    • /
    • 2011
  • Computer Aided Engineering (CAE) is very helpful field for every manufacturing industry including foundry. It covers CAD, CAM, and simulation technology also, and becomes as common sense in developing new products and processes. In South Korea, more than 600 foundries exist, and their average employee number is less than 40. Moreover, average age of them becomes higher. To break out these situations of foundry, software tools can be effective, and many commercial software tools had already been introduced. But their high costs and risks of investment act as difficulties in introducing the software tools to SMEs (Small and Medium size Enterprise). So we had developed cloud computing platform to propagate the CAE technologies to foundries. It includes HPC (High Performance Computing), platforms and software. So that users can try, enjoy, and utilize CAE software at cyber space without any investment. In addition, we also developed platform APIs (Application Programming Interface) to import not only our own CAE codes but also 3rd-party's packages to our cloud-computing platforms. As a result, CAE developers can upload their products on cloud platforms and distribute them through internet.

A Study of Bigdata Platform for Supporting Engineering Services (엔지니어링 서비스 지원을 위한 클라우드 기반 빅데이터 플랫폼 개발 연구)

  • Seo, Dongwoo;Kim, Myungil;Park, Sangjin;Kim, Jaesung;Jeong, Seok Chan
    • The Journal of Bigdata
    • /
    • v.4 no.1
    • /
    • pp.119-127
    • /
    • 2019
  • This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analytical models modeled using components are analyzed through an analysis engine. Our platform include pre-processing, analysis, and visualization algorithms required for data analysis. Finally, we show an application of effluent concentration in a sewage treatment process.

  • PDF