• Title/Summary/Keyword: 워크로드

Search Result 132, Processing Time 0.039 seconds

A Modified Fuzzy k-NN Algorithm for Identifying Database Workloads (데이터베이스 워크로드 식별을 위한 수정된 퍼지 k-NN 알고리즘)

  • Oh, Jeong-Seok;Lee, Sang-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.70-72
    • /
    • 2005
  • 데이터베이스 관리자는 효과적인 데이터베이스 관리를 위해 워크로드 특성을 잘 알아야 한다. 워크로드 특성은 데이터베이스 응용분야에 따라 다르며, 데이터베이스 환경에서 하나 이상의 응용 분야가 수행될 수 있다. 복합적인 데이터베이스 응용 분야 때문에, 관리자가 데이터베이스 시스템에서 발생하는 워크로드를 식별하기가 더욱 어려워졌다. 복합적인 데이터베이스 응용 분야의 효과적인 데이터베이스 관리를 수행하기 위해 워크로드를 식별할 수 있는 방법이 요구된다. 이를 위해, 본 연구는 TPC-C와 TPC-W 성능평가의 워크로드와 두 성능평가의 혼합된 워크로드들을 생성하여 워크로드 식별을 수행하였다. 워크로드 식별은 퍼지 k-NN 알고리즘을 수정하여 진행하였다. 수정된 k-NN 알고리즘은 혼합 비율에 따라 시험 워크로드 데이터와 훈련 워크로드 데이터간의 워크로드 식별 실험에 사용되었고, 분류를 위한 k-NN, 퍼지 k-NN, 분산 가중치 퍼지 k-NN 알고리즘의 결과와 비교되었다. 수정된 k-NN 알고리즘은 다른 알고리즘보다 k 인자에 따른 변동과 오차율이 감소하여 워크로드 식별에 더 적합함을 보였다. 본 논문의 결과는 복합된 데이터베이스 응용 분야의 특성을 보이는 데이터베이스 환경에서 워크로드 식별 정보를 창조하여 융통성 있는 튜닝 기법을 고려하는데 기여한다.

  • PDF

Automatic Identification of Database Workloads by using SVM Workload Classifier (SVM 워크로드 분류기를 통한 자동화된 데이터베이스 워크로드 식별)

  • Kim, So-Yeon;Roh, Hong-Chan;Park, Sang-Hyun
    • The Journal of the Korea Contents Association
    • /
    • v.10 no.4
    • /
    • pp.84-90
    • /
    • 2010
  • DBMS is used for a range of applications from data warehousing through on-line transaction processing. As a result of this demand, DBMS has continued to grow in terms of its size. This growth invokes the most important issue of manually tuning the performance of DBMS. The DBMS tuning should be adaptive to the type of the workload put upon it. But, identifying workloads in mixed database applications might be quite difficult. Therefore, a method is necessary for identifying workloads in the mixed database environment. In this paper, we propose a SVM workload classifier to automatically identify a DBMS workload. Database workloads are collected in TPC-C and TPC-W benchmark while changing the resource parameters. Parameters for SVM workload classifier, C and kernel parameter, were chosen experimentally. The experiments revealed that the accuracy of the proposed SVM workload classifier is about 9% higher than that of Decision tree, Naive Bayes, Multilayer perceptron and K-NN classifier.

A Preliminary Study on the Performance of Multi-programmed Container-based HPC Workloads (멀티 프로그램화된 컨테이너 기반의 HPC 워크로드 성능에 대한 사전 연구)

  • Yu, Jung-Lok;Yoon, Hee-Jun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.84-87
    • /
    • 2020
  • 최근, 응용 프로그램의 이식성, 확장성, 낮은 오버헤드 및 관리의 용이성 등을 제공하는 컨테이너 기술을 고성능 컴퓨팅 (high performance computing, HPC) 환경에 접목하려는 다양한 연구들이 진행되고 있다. 본 논문에서는 멀티 프로그램화된 환경, 즉, 컨테이너 기반의 다수개의 HPC 워크로드들이 동시에 실행되는 환경에서 멀티 프로그래밍 수준, 통신 패턴 및 비율에 따른 HPC 워크로드들의 성능 특성을 분석하고, HPC 워크로드가 실행되는 동일한 컨테이너 그룹에 속한 컨테이너들의 스케쥴링 시간 부조화가 데이터 교환 지연 시간을 증가시키고 그 결과 응용 성능을 크게 저하시킬 수 있음을 확인한다. 또한 HPC 워크로드가 수행되는 동일 그룹 컨테이너들의 CPU 점유 가능값(CPU Shares)을 동적으로 조절하는 휴리스틱을 제안, 적용함으로써, HPC 워크로드의 성능(통신소비시간 최대 약 42.5%, 워크로드 실행시간 최대 약 23.6% 감소)을 크게 향상시킬 수 있음을 확인한다.

Distributed In-Memory Caching Method for ML Workload in Kubernetes (쿠버네티스에서 ML 워크로드를 위한 분산 인-메모리 캐싱 방법)

  • Dong-Hyeon Youn;Seokil Song
    • Journal of Platform Technology
    • /
    • v.11 no.4
    • /
    • pp.71-79
    • /
    • 2023
  • In this paper, we analyze the characteristics of machine learning workloads and, based on them, propose a distributed in-memory caching technique to improve the performance of machine learning workloads. The core of machine learning workload is model training, and model training is a computationally intensive task. Performing machine learning workloads in a Kubernetes-based cloud environment in which the computing framework and storage are separated can effectively allocate resources, but delays can occur because IO must be performed through network communication. In this paper, we propose a distributed in-memory caching technique to improve the performance of machine learning workloads performed in such an environment. In particular, we propose a new method of precaching data required for machine learning workloads into the distributed in-memory cache by considering Kubflow pipelines, a Kubernetes-based machine learning pipeline management tool.

  • PDF

A Design of Column-Group based Dynamic Page Storage Model for Mixed Workloads (혼합 워크로드 처리를 위한 컬럼 그룹 기반 동적 페이지 저장 관리 설계)

  • Park, Kyounghyun;Wonk, Hee Sun;Ryu, Keun Ho
    • Journal of Digital Contents Society
    • /
    • v.19 no.2
    • /
    • pp.335-341
    • /
    • 2018
  • There exists a limit in efficient processing of mixed workloads that database markets requires in recent years since existing database systems utilize a static page storage model. In this paper we propose a dynamic page storage model that can reflect the characteristics of mixed workloads. We also describe how to extract optimized column groups from given mixed workloads and how to construct pages dynamically. Finally, we show in our experiments that the proposed model is more efficient than the existing model in processing given mixed workloads.

Analysis of Encryption Algorithm Performance by Workload in BigData Platform (빅데이터 플랫폼 환경에서의 워크로드별 암호화 알고리즘 성능 분석)

  • Lee, Sunju;Hur, Junbeom
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.29 no.6
    • /
    • pp.1305-1317
    • /
    • 2019
  • Although encryption for data protection is essential in the big data platform environment of public institutions and corporations, much performance verification studies on encryption algorithms considering actual big data workloads have not been conducted. In this paper, we analyzed the performance change of AES, ARIA, and 3DES for each of six workloads of big data by adding data and nodes in MongoDB environment. This enables us to identify the optimal block-based cryptographic algorithm for each workload in the big data platform environment, and test the performance of MongoDB by testing various workloads in data and node configurations using the NoSQL Database Benchmark (YCSB). We propose an optimized architecture that takes into account.

User-level scheduling for Handling Dynamic Workloads in Xen Hypervisor (Xen 하이퍼바이저 기반의 동적 워크로드 핸들링을 위한 사용자 수준의 스케쥴링)

  • Lee, Hyun-Ju;Ko, Young-Woong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.381-384
    • /
    • 2011
  • 오늘날의 높은 효율성을 가진 현대적인 가상화 솔루션의 가용성으로 인해, 서버와 클라우딩 컴퓨팅 분야와 같은 다양한 분야에서 주목받고 있다. Xen은 다양한 가상화 시스템 중 폭 넓게 사용되는 기술이기는 하나 스케줄링에 있어 약간의 약점이 노출되고 있다. 이는 Xen 하이퍼바이져 스케줄러가 유저 레벨의 쓰레드와 물리적 CPU 사이의 스케줄러들 가운데 가장 아래에 존재하기 때문에, 유저 레벌의 워크로드에 대한 정보를 얻는데 제약사항이 있기 때문이다. 이러한 특성은 시스템의 전체적인 처리량을 떨어뜨리고 리소스의 활용률을 저하시킬 수 있다. 본 연구는 게스트 운영체제에서 동작하는 동적인 워크로드에 대한 정보를 활용하는 유저 레벨의 스케줄링을 제안하고자 한다. 이를 위해 새로운 하이퍼콜과 모니터링 데몬을 가지는 유저레벨 스케줄링을 구현한다. 유저레벨 스케줄링이 동작하는 Xen 하이퍼바이져 기반에 Linux를 게스트 운영체제로 환경을 구축하여 다양한 유저레벨 워크로드를 동작시켜 시스템의 처리량 증가와 CPU 리소스의 활용률을 높일 수 있음을 보인다.

A Study for Personalized resource Allocation Method by Workload Clustering Analysis in the Container-based Web VDI System (컨테이너 기반 웹 VDI 시스템에서 군집 분석을 통한 사용자 워크로드 맞춤형 자원 할당 방법 연구)

  • Baek, Hyeon-Ji;Huh, Eui-Nam
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.50-52
    • /
    • 2017
  • 클라우드 컴퓨팅 시장의 지속적 성장과 가상화의 인기로 세계적 VDI 시장은 꾸준한 성장률을 보이고 있다. 또한 의료, 교육, 금융 등의 폭넓은 분야에서 VDI 서비스가 활용될 전망이다. 하지만 기존 VDI 서비스는 고정적인 자원 할당으로 사용자 워크로드 맞춤형 자원이 제공되지 못하는 문제점이 있다. 따라서 본 논문에서는 기존 VDI에 비해 실행속도가 빠른 컨테이너의 장점을 살려 VDI를 컨테이너화 하고, 사용자 워크로드 맞춤형으로 자원을 분배하기 위해 VDI 컨테이너 자원 사용량 데이터로 K-means 알고리즘을 통한 군집 분석 기반의 워크로드 분류 방법을 제시하였다.

A Study for Resource Allocation Method with Workload Consideration in Container based VDI (컨테이너 기반 VDI 시스템에서 워크로드 패턴 기반 자원 할당 방법 연구)

  • Baek, Hyeon-Ji;Kim, Yong-Hyun;Huh, Eui-Nam
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.24-26
    • /
    • 2017
  • 클라우드 컴퓨팅 시장과 클라우드 기반 가상화 기술이 꾸준한 성장과 함께 지속적으로 인기를 얻으며 다양한 분야에서 사용되고 있다. 본 논문에서는 가상화 기술 중 하나인 데스크톱 가상화의 실행 속도 개선을 위해 컨테이너 기반 VDI 시스템을 제시하였고 사용자 워크로드 기반 자원 할당된 컨테이너를 제공하기 위해 사용자 워크로드 패턴에 따른 Preset 자원 결정 과정을 제시한다. 또한, Preset 자원이 할당 된 컨테이너를 생성과 사용자 워크로드 맞춤형 컨테이너를 제공하기 위한 기반으로 VDI 컨테이너의 자원 사용량 데이터를 K-means 알고리즘을 사용하여 군집 분석을 수행하였다.

Database Workload Analysis : An Empirical Study (데이타베이스 워크로드 분석 : 실험적 연구)

  • Oh, Jeong-Seok;Lee, Sang-Ho
    • The KIPS Transactions:PartD
    • /
    • v.11D no.4
    • /
    • pp.747-754
    • /
    • 2004
  • Database administrators should be aware of performance characteristics of database systems in order to manage database system effectively. The usages of system resources in database systems could be quite different under database workloads. The objective of this paper is to identify and analyze performance characteristics of database systems in different workloads, which could help database tuners tune database systems Under the TPC-C and TPC-W workloads, which represent typical workloads of online transaction processing and electronic commerce respectively, we investigated usage types of resource that are determined by fourteen performance indicator, and are behaved in response to changes of four tuning parameters (data buffer, private memory, I/O process, shared memory). Eight out of the fourteen performance indicators cleary show the performance differences under the workloads. Changes of data buffer parameter give a influences to database system. The tuning parameter that affects the system performance significantly is the database buffer size in the both workloads.