• Title/Summary/Keyword: kubernetes

Search Result 51, Processing Time 0.027 seconds

A design of GPU container co-execution framework measuring interference among applications (GPU 컨테이너 동시 실행에 따른 응용의 간섭 측정 프레임워크 설계)

  • Kim, Sejin;Kim, Yoonhee
    • KNOM Review
    • /
    • v.23 no.1
    • /
    • pp.43-50
    • /
    • 2020
  • As General Purpose Graphics Processing Unit (GPGPU) recently plays an essential role in high-performance computing, several cloud service providers offer GPU service. Most cluster orchestration platforms in a cloud environment using containers allocate the integer number of GPU to jobs and do not allow a node shared with other jobs. In this case, resource utilization of a GPU node might be low if a job does not intensively require either many cores or large size of memory in GPU. GPU virtualization brings opportunities to realize kernel concurrency and share resources. However, performance may vary depending on characteristics of applications running concurrently and interference among them due to resource contention on a node. This paper proposes GPU container co-execution framework with multiple server creation and execution based on Kubernetes, container orchestration platform for measuring interference which may be occurred by sharing GPU resources. Performance changes according to scheduling policies were investigated by executing several jobs on GPU. The result shows that optimal scheduling is not possible only considering GPU memory and computing resource usage. Interference caused by co-execution among applications is measured using the framework.

Implementation of an open API-based virtual network provisioning automation platform for large-scale data transfer (대용량 데이터 전송을 위한 오픈 API 기반 가상 네트워크 프로비저닝 자동화 플랫폼 구현)

  • Kim, Yong-hwan;Park, Seongjin;Kim, Dongkyun
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.9
    • /
    • pp.1320-1329
    • /
    • 2022
  • Currently, advanced national research network groups are continuously conducting R&D for the requirement to provide SDN/NFV-based network automation and intelligence technology for R&E users. In addition, the requirement for providing large-scale data transmission with the high performance networking facility, compared to general network environments, is gradually increasing in the advanced national research networks. Accordingly, in this paper, we propose an open API-based virtual network provisioning automation platform for large data transmission researched and developed to respond to the networking requirements of the national research network and present the implementation results. The platform includes the KREONET-S VDN system that provides SDN-based network virtualization technology, and the Kubernetes system that provides container-oriented server virtualization technology, and the Globus Online, a high-performance data transmission system. In this paper, the environment configurations, the system implemetation results for the interworking between the heterogeneous systems, and the automated virtual network provisioning implementation results are presented.

Development of a Multiple Container Orchestrator Management System for Multi-purpose Container-based Services (다목적 컨테이너기반 서비스 운용을 위한 다중 컨테이너 오케스트레이터 관리 시스템 개발)

  • Lee, Hyeokju;Kim, Myoungjin;Jung, Jongjin;Cui, Yun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.419-421
    • /
    • 2017
  • 최근 서버 가상머신의 단점을 보완하고 클라우드 컴퓨팅 서비스의 민첩성을 향상시키기 위해서 공유 환경 각각의 운영체제 위에 애플리케이션이 동작하는 대신 공통으로 사용하는 운영체제를 공유하는 컨테이너 기술이 부각되고 있다. 그러나 여러 컨테이너 노드를 사용자가 동시에 제어, 운용하는데 있어서는 시스템 운용 복잡도가 높고 어렵다. 이를 해결하기 위해 Kubernetes, Swarm, Mesos와 같은 다수의 컨테이너 노드를 통합 배포 및 제어 할 수 있는 컨테이너 오케스트레이션 기술이 등장하였다. 본 연구에서는 더 나아가 컨테이너 서비스의 워크로드 형태에 따라 적합한 컨테이너 오케스트레이터를 선택하고 컨테이너 클러스터 서비스를 통합 운영 할 수 있는 기술을 개발하였다.

A Study on High Performance GPU based Container Cloud System supporting TensorFlow Serving Deployment Service (TensorFlow Serving 서비스를 지원하는 고성능 GPU 기반 컨테이너 클라우드 시스템)

  • Jang, Kyung-Soo;Kim, Jung-Hwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.386-388
    • /
    • 2017
  • TensorFlow와 알파고의 등장으로 인공지능의 높은 성능과 다양한 활용 가능성을 보이면서, 폭 넓은 산업 분야에서 머신러닝 기술에 대한 수요가 증가하고 있다. 반면, 머신러닝 기술은 GPU 기반 고속 병렬처리 기술과 인프라 기술을 기반으로 하고 있기 때문에, 머신러닝 기반 서비스 개발 및 제공에 어려움을 겪고 있다. 본 논문에서는 이와 같은 문제를 개선하기 위해서 개발한 고성능 GPU 기반 컨테이너 클라우드 시스템을 소개한다. 해당 시스템은 GPU 기반 고속 병렬처리를 지원하고, Kubernetes 클러스터에서 컨테이너를 기반으로 TensorFlow Serving을 손쉽게 배포할 수 있는 기능을 제공한다.

Performance Analysis According to The Number of Pods Managed by Kubelet in Kubernetes (Kubernetes의 kubelet이 관리하는 pod의 수에 따른 성능 영향 분석)

  • Kwon, Min-su;Lee, Jae-Hak;Myung, Rohyoung;Yu, Heonchang;Gil, Joon-Min
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.74-76
    • /
    • 2018
  • 클라우드 벤더들은 많은 컨테이너를 효율적으로 배포하기 위해 컨테이너 관리 도구를 사용한다. 컨테이너 관리 도구는 Availability, Self-healing, Automated rollouts and rollback 등 여러 기능을 제공한다. 많은 관리 도구 중 Kubernetes는 가장 최소 단위로 컨테이너의 추상적인 모임 pod을 배포한다. pod에 대한 정보는 마스터에서 정의되며 슬레이브 노드에 배포된다. 슬레이브 노드에는 마스터의 명령을 받아 pod을 관리하는 노드 에이전트 kubelet이 생성된다. 하나의 노드에 할당된 자원과 상관없이 kubelet이 관리하는 pod의 개수가 많아지게 되면 작업 중인 pod이 CPU를 훔치는 오버헤드가 발생한다. 따라서 본 논문에서는 pod의 개수에 따른 CPU사용률 실험을 통해 kubelet이 효율적으로 관리할 수 있는 pod의 개수를 분석한다.

Design of Cloud-based Sensor Data Acquisition System Using Kubernetes in Sensor Networks (센서 네트워크에서의 쿠버네티스를 활용한 클라우드 기반 센서 데이터 수집 시스템 설계)

  • Park, Soo-Yong;Moon, Ju-Hyeon;Park, Seul-Woo;Shin, Yong-Tae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.168-171
    • /
    • 2019
  • 센서 네트워크는 스마트 시티와 같은 4차 산업혁명 분야의 핵심기술로 다양한 분야에 활용되고 있다. 기존의 센서 네트워크는 여러개의 센서 노드가 한 개의 싱크 노드를 통해 인터넷으로 데이터를 전달하였다. 그러나 과도한 트래픽 또는 외부적인 요인으로 인해 싱크 노드가 중지될 경우 그 싱크노드와 연결된 센서 노드로부터 데이터를 수집하지 못하는 단점을 가지고 있다. 제안하는 시스템은 도커를 사용하여 싱크노드를 컨테이너화 하고 쿠버네티스를 통해 중지된 컨테이너를 자동으로 재시작하여 시스템의 안정성을 높일 수 있다.

Implementation and Performance Aanalysis of Efficient Big Data Processing System Through Dynamic Configuration of Edge Server Computing and Storage Modules (BigCrawler: 엣지 서버 컴퓨팅·스토리지 모듈의 동적 구성을 통한 효율적인 빅데이터 처리 시스템 구현 및 성능 분석)

  • Kim, Yongyeon;Jeon, Jaeho;Kang, Sungjoo
    • IEMEK Journal of Embedded Systems and Applications
    • /
    • v.16 no.6
    • /
    • pp.259-266
    • /
    • 2021
  • Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

eBPF Technology Trends for Networking and Security in Cloud-native (클라우드 네이티브 환경에서 네트워킹 및 보안을 위한 eBPF 기술 동향)

  • Shin, Y.Y.;Shin, J.S.;Park, C.H.;Park, J.G.
    • Electronics and Telecommunications Trends
    • /
    • v.37 no.5
    • /
    • pp.62-69
    • /
    • 2022
  • In a situation where applications determine business competitiveness, they cannot respond to varying customer requirements without the cloud's flexibility and scalability. Companies have begun seeking ways to enjoy the advantages of the cloud fully, and the concept of "Cloud Native" is emerging as a solution to the problem. Cloud Native is now a target of interest in the market. Microservice and serverless functions can play a vital role in cloud-native architecture. Microservice arranges applications into various independent services, each offering certain functionality through mutual networking. eBPF is attracting attention as a cloud-native networking solution that quickly supports microservice features that repeat creation/deletion. This study identifies the characteristics of eBPF-based networking and evaluates cloud-native networking and secure networking using eBPF.

Design and Implementation of The Data Storage for KI Cloud Platform (KI Cloud 플랫폼을 위한 데이터 저장소 설계 및 구현)

  • Cho, Hyeyoung;Jeong, Gi-Mun;Hong, TaeYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.16-18
    • /
    • 2021
  • 최근 베어메탈 시스템에 스케줄러 시스템 기반 인프라 시스템에서 벗어나 사용자 맞춤형 클라우드 인프라가 관심을 받고 있다. KI Cloud 플랫폼은 고성능 컴퓨팅(HPC) 사용자를 위한 클라우드 기반 IaaS, PaaS 통합 플랫폼이다. 본 논문에서는 KI Cloud를 위한 데이터 저장소 설계 및 구현에 대해 기술한다. 오픈 소스 Ceph 분산 스토리지 시스템을 기반으로 구축하였고, 프로젝트의 목적에 맞게 블록 스토리지, 오브젝트 스토리지, 파일 스토리지 방식으로 구현하였다. Openstack 기반의 서비스와 Kubernetes 기반의 서비스가 하나의 스토리지를 통해 다양한 타입의 서비스를 제공할 수 있도록 개발하였다.

A study on the statistical analysis technique of user job of shared utilization GPU cluster system (공동 활용 GPU 클러스터 시스템의 사용자 작업 통계 분석 기법에 대한 연구)

  • Kwon, Min-Woo;Hong, TaeYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.42-44
    • /
    • 2021
  • 공동 활용 GPU 클러스터 시스템은 PBS, SLURM과 같은 작업 배치 스케줄러 및 Kubernetes, Openstack과 같은 클라우드 플랫폼 소프트웨어를 통해 다수의 사용자에게 공동 활용 서비스를 할 수 있다. 한국과학기술정보연구원(KISTI)에서는 슈퍼컴퓨터 5호기의 보조시스템인 뉴론을 SLURM 배치 스케줄러를 통해 다수의 연구자들에게 서비스하고 있다. 본 논문에서는 작업 배치 스케줄러에서 생성된 과금 통계 데이터를 R의 그래프 함수를 이용해 시각화하여 사용자 작업의 특성을 분석하고 효율적인 계산 자원 관리 정책을 수립할 수 있는 방안에 대해 논의한다.