• KIPS Transactions on Computer and Communication Systems
• /
• v.10 no.5
• /
• pp.123-136
• /
• 2021

RPC (Remote Procedure Call)-based Graphics Processing Unit (GPU) virtualization technology is one of the technologies for sharing GPUs with multiple user virtual machines. However, in a cloud environment, unlike CPU or memory, general GPUs do not provide a resource isolation technology that can limit the resource usage of virtual machines. In particular, in an RPC-based virtualization environment, since GPU tasks executed in each virtual machine are performed in the form of multi-process, the lack of resource isolation technology causes performance degradation due to resource competition. In addition, the GPU memory competition accelerates the performance degradation as the resource demand of the virtual machines increases, and the fairness decreases because it cannot guarantee equal performance between virtual machines. This paper, in the RPC-based GPU virtualization environment, analyzes the performance degradation problem caused by resource contention when the GPU memory requirement of virtual machines exceeds the available GPU memory capacity and proposes a GPU memory management technique to solve this problem. Also, experiments show that the GPU memory management technique proposed in this paper can improve the performance of GPGPU tasks.

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.2
• /
• pp.113-118
• /
• 2013

The current GPU virtualization techniques incur large overheads when executing application programs mainly due to the fine-grain time-sharing scheduling of the GPU among multiple Virtual Machines (VMs). Besides, the current techniques lack of portability, because they include the APIs for the GPU computations in the VM monitor. In this paper, we propose a low overhead and high performance GPU virtualization approach on a heterogeneous HPC system based on the open-source Xen. Our proposed techniques are tailored to the bio applications. In our virtualization framework, we allow a VM to solely occupy a GPU once the VM is assigned a GPU instead of relying on the time-sharing the GPU. This improves the performance of the applications and the utilization of the GPUs. Our techniques also allow a direct pass-through to the GPU by using the IOMMU virtualization features embedded in the hardware for the high portability. Experimental studies using microbiology genome analysis applications show that our proposed techniques based on the direct pass-through significantly reduce the overheads compared with the previous Domain0 based approaches. Furthermore, our approach closely matches the performance for the applications to the bare machine or rather improves the performance.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.541-542
• /
• 2021

클라우드 컴퓨팅 환경에서는 고성능 컴퓨팅을 지원하기 위해 사용자에게 GPU(Graphic Processing Unit)가 할당된 가상머신을 제공하여 사용자가 고성능 응용을 실행할 수 있도록 지원한다. 일반적인 컴퓨팅 환경에서 한 명의 사용자가 GPU를 독점해서 사용하기 때문에 자원 경쟁으로 인한 문제가 상대적으로 적게 발생하지만 독립적인 여러 사용자가 컴퓨팅 자원을 공유하는 클라우드 환경에서는 자원 경쟁으로 인해 서로 성능 영향을 미치는 문제를 발생시킨다. 본 논문에서는 여러 개의 가상머신이 단일 GPU를 공유하는 RPC(Remote Procedure Call) 기반 GPU 가상화 환경에서 다수의 가상머신이 GPGPU(General Purpose computing on Graphics Processing Units) 작업을 수행할 때 GPU 메모리 입력 경쟁으로 인해 발생하는 커널 함수의 실행 지연 문제를 분석한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.32-35
• /
• 2017

직접 통로(Direct Pass-through) 기반 GPU(Graphic Processing Unit) 가상화 기법은 클라우드 환경에서 가상머신에게 GPU 장치의 기능을 지원하기 위한 일반적인 방법 중 하나이다. GPU 장치는 GPGPU 기술을 통해 연산을 가속화 할 수 있기 때문에 클라우드 환경에서도 가상머신에 고성능 연산을 지원하기 위해 많이 사용되고 있다. 하지만 기존 가상머신 스케줄링 기법은 가상머신의 CPU 사용 시간을 기반으로 스케줄링 되며, GPU 자원 사용을 고려하지 않는다. 본 논문에서는 GPU와 CPU 연산을 수행하는 가상머신들이 동시에 실행되는 환경에서 성능 실험을 통해 가상머신의 GPU 연산이 다른 가상머신에게 미치는 성능 영향과 GPU 작업 길이가 다른 가상머신에게 미치는 영향을 분석한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.05a
• /
• pp.86-87
• /
• 2013

최근 가상화 기술에 대한 많은 관심과 연구들로 인해 가상 머신은 물리(Native) 머신에 가까운 성능을 보이며 프로세서 및 메모리 자원을 제공하고 있다. 하지만 GPU 와 같은 그래픽 하드웨어에 대한 장치 가상화는 다른 가상화 기법에 비해 연구가 미흡한 상태로 가상화 환경에서의 영상처리에 걸림돌이 되고 있다. 가상화 환경에서의 영상처리는 기존의 X 윈도우 시스템을 이용하여 영상을 처리하는데, 이는 2D 영상처리에 최적화 되어 있어서 3D 영상을 처리하는데 성능의 한계 보일 뿐만 아니라 가상 머신에서 메모리가 중복으로 복사되면서 낮은 성능 보여주고 있다. 제안하는 장치 가상화 프레임워크는 기존의 메모리의 중복 복사를 제거하면서 성능을 향상 시킬 수 있다. 본 논문에서는 가상화 환경에서 GPU 성능 향상을 위한 장치 가상화 프레임워크를 제안하고 평가를 통해 본 기법의 타당성을 입증한다.

• Journal of Internet Computing and Services
• /
• v.12 no.6
• /
• pp.53-62
• /
• 2011

In this paper, we introduce a method of graphic offloading computing using a GPU virtualization technology in order to provide high demanding software like 3D software as an on-line software service. When the offloading software is executed on server's software virtualization environment, its graphic works are processed on a client's GPU using GPU virtualization, while on the other its data works are processed on server's CPU. To do that, we propose a method of rendering graphics information on client side GPU using API Remoting method. Also, we show the better performance than server based rendering method when we serve offloading software which include dynamical 3D graphics that display images are frequently changed through on-line. Moreover, we describe a method to virtualize offloading software by a process level and manage client's configuration information in order to decrease server's load when we provide software service to multiple clients.

• Journal of KIISE
• /
• v.43 no.1
• /
• pp.1-12
• /
• 2016

As the need for a flexible Internet grows, research for software and virtual routers has increased. Although software routers and virtual routers provide Internet flexibility, they have low performance compared with existing hardware routers. In addition, the low performance problem is intensified in virtual routers because they have virtualization overheads. GPU routing is one method of improving the performance of software routers. However, previous GPU routing is based on native software routers, which are not virtualized, and presents experimental simulation results only. In this paper, we examine the effect of GPU routing on a virtual router using PathSavanna. Our GPU routing is implemented on the virtual router and forwards real packets to another machine, which is connected by a network.

• KIPS Transactions on Computer and Communication Systems
• /
• v.9 no.9
• /
• pp.189-196
• /
• 2020

Recently, GPU cloud computing technology applying GPU(Graphics Processing Unit) devices to virtual machines is widely used in the cloud environment. In a cloud environment, GPU devices assigned to virtual machines can perform operations faster than CPUs through massively parallel processing, which can provide many benefits when operating high-performance computing services in a variety of fields in a cloud environment. In a cloud environment, a GPU device can help improve the performance of a virtual machine, but the virtual machine scheduler, which is based on the CPU usage time of a virtual machine, does not take into account GPU device usage time, affecting the performance of other virtual machines. In this paper, we test and analyze the performance degradation of other virtual machines due to the virtual machine that performs GPGPU(General-Purpose computing on Graphics Processing Units) task in the direct path based GPU virtualization environment, which is often used when assigning GPUs to virtual machines in cloud environments. Then to solve this problem, we propose a GPGPU task management method for a virtual machine.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.113-114
• /
• 2019

클라우드 환경에서는 가상머신의 고성능 연산을 지원하기 위해 Graphic Processing Unit(GPU)를 사용한다. 가상머신들은 공평성을 위해 독립적인 가상머신 스케줄러를 사용하기 때문에 컴퓨팅 자원의 초과 사용으로 인한 성능 저하가 발생해도 동일한 작업을 수행하는 가상머신들의 성능은 균등하게 측정된다. 하지만 GPU 연산의 경우 다중 작업을 수행할 때 하드웨어 기반 스케줄러를 사용하며 가상머신의 입출력 작업을 위한 하이퍼바이저의 First In First Out(FIFO) 기반 스케줄링 기법으로 인해 가상머신 사이의 공평성을 보장할 수 없다. 본 논문에서는 GPU 메모리를 초과 사용하는 환경에서 가상머신들의 성능을 측정하고 성능 불균형으로 인한 문제를 분석한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06a
• /
• pp.299-301
• /
• 2012

본 논문에서는 3D SW와 같은 고사양의 SW를 서버 기반의 온라인 SW 서비스로 제공하기 위하여 클라이언트의 GPU를 사용하여 그래픽 분할 실행 서비스를 제공하기 위한 데스크탑 창의 가상화에 대하여 소개한다. 그래픽 분할 실행은 서버에서 SW를 구동하고 실행되는 SW의 데이터 집중적인 작업은 서버에서 실행하고, 그래픽 작업들은 서버에서 처리되지 않고, GPU 가상화를 이용하여 클라이언트의 GPU에서 처리하여 SW를 서비스하는 방법이다. 이를 위하여 본 논문에서는 3D 그래픽 정보의 클라이언트 렌더링을 API 리모팅을 이용하여 처리하는 방법에 대하여 소개하고, 실행되는 SW의 2D 그래픽 기반 윈도우를 서버의 윈도우 관리 시스템에 독립적으로 클라이언트 PC에서 가상화하여 처리하는 방법을 제안한다. 또한, 제안된 방법이 서버의 창 관리 시스템에 종속적인 경우와 비교하여 사용자에게 유연한 서비스를 제공함을 알아본다.