• Title/Summary/Keyword: 모델 파라미터 튜닝

Search Result 37, Processing Time 0.032 seconds

Web access prediction based on parallel deep learning

  • Togtokh, Gantur;Kim, Kyung-Chang
    • Journal of the Korea Society of Computer and Information
    • /
    • v.24 no.11
    • /
    • pp.51-59
    • /
    • 2019
  • Due to the exponential growth of access information on the web, the need for predicting web users' next access has increased. Various models such as markov models, deep neural networks, support vector machines, and fuzzy inference models were proposed to handle web access prediction. For deep learning based on neural network models, training time on large-scale web usage data is very huge. To address this problem, deep neural network models are trained on cluster of computers in parallel. In this paper, we investigated impact of several important spark parameters related to data partitions, shuffling, compression, and locality (basic spark parameters) for training Multi-Layer Perceptron model on Spark standalone cluster. Then based on the investigation, we tuned basic spark parameters for training Multi-Layer Perceptron model and used it for tuning Spark when training Multi-Layer Perceptron model for web access prediction. Through experiments, we showed the accuracy of web access prediction based on our proposed web access prediction model. In addition, we also showed performance improvement in training time based on our spark basic parameters tuning for training Multi-Layer Perceptron model over default spark parameters configuration.

Prefix-tuning for Korean Natural language processing (Prefix-tuning에 기반한 한국어 자연언어 처리)

  • Min, Jinwoo;Na, Seung-Hoon;Shin, Dongwook;Kim, Seon-Hoon;Kang, Inho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.622-624
    • /
    • 2021
  • 현재 BERT와 같은 대용량의 코퍼스로부터 학습된 사전 학습 언어 모델을 자연어 응용 태스크에 적용하기 위해 일반적으로 널리 사용되는 방법은 Fine-tuning으로 각 응용 태스크에 적용 시 모델의 모든 파라미터를 조정하기 때문에 모든 파라미터를 조정하는데 필요한 시간적 비용과 함께 업데이트된 파라미터를 저장하기 위한 별도의 저장공간이 요구된다. 언어 모델이 커지면 커질수록 저장 공간의 비용이 증대됨에 따라 이러한 언어모델을 효율적으로 튜닝 할 수 있는 방법들이 연구되었다. 본 연구에서는 문장의 입력 임베딩에 연속적 태스크 특화 벡터인 prefix를 추가하여 해당 prefix와 관련된 파라미터만 튜닝하는 prefix-tuning을 한국어 네이버 감성 분석 데이터 셋에 적용 후 실험결과를 보인다.

  • PDF

A Study on Parameter Tuning for Redis via Parameter Classification and Phased Bayesian Optimization (Redis 파라미터 분류 및 단계적 베이지안 최적화를 통한 파라미터 튜닝 연구)

  • Jo, Seong-Woon;Park, Sang-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.476-479
    • /
    • 2021
  • DBMS 파라미터 튜닝이란 데이터베이스에서 제공하는 다양한 파라미터의 값을 조율하여, 최적의 성능을 도출하는 과정이다. 데이터베이스 종류에 따라 파라미터 개수가 수십 개에서 수백 개로 다양하며, 각 기능이 모두 다르기 때문에 최적의 조합을 찾는 것은 쉽지 않다. 선행 연구에서는 BO 기법을 사용하여 적절한 파라미터 값을 추출했지만, 파라미터 개수에 비례하여 차원이 커지는 문제가 발생한다. 본 논문에서는 통계적으로 파라미터를 분류하여 탐색 공간을 줄인 다음 단계적으로 BO 를 수행하는 PBO 방식을 제안한다. 파라미터 값을 랜덤하게 할당하여 벤치마킹한 결과값을 군집화한 후, 각 군집별로 파라미터와의 연관성을 분석해 높은 상관관계를 가진 파라미터를 매칭시켜 분류한다. 제안하는 방법론을 검증하기 위하여 8 가지 회귀 모델과의 비교 실험을 통해 제안한 방법론의 우수성을 검증하였다.

Letdown Flow Tuning for Optimal Inventory Control of Nuclear Plant (원자력발전소의 체적제어 최적화를 위한 유출수 제어 튜닝)

  • Lee, Kwang-Dae;Oh, Eung-Se;Yang, Seung-Ok
    • Proceedings of the KIEE Conference
    • /
    • 2006.07d
    • /
    • pp.1881-1882
    • /
    • 2006
  • 표준형 원자력발전소에서는 원자로 내의 핵연료 봉으로부터 발생하는 열에너지를 열교환기인 증기발생기로 전달하는 원자로냉각재 계통이 있다. 핵연료 봉을 적절한 냉각 상태로 유지하기 위하여 원자로냉각재의 온도와 압력뿐만 아니라 체적을 제어하고 있다. 원자로냉각재 체적은 용량이 큰 반면에 제어하는 밸브의 크기는 작아서 제어 응답이 길어서 현장에서 경험적으로 튜닝하는 것은 매우 어렵다. 본 논문에서는 체적제어루프의 수학적인 모델링을 통하여 오프라인으로 최적 제어 파라미터를 찾고, 실제 적용한 결과를 보여준다. 제어루프 모델링을 위하여 일반화 프로세서 모델 식으로부터 실제 운전 데이터로 모델 파라미터를 결정하는 경험적 방법을 사용하였다. 이로부터 구한 제어 파라미터를 실제 적용한 결과, 적절한 제어 응답을 얻었으며 모델링 과정이 적절하였음을 확인하였다.

  • PDF

On Word Embedding Models and Parameters Optimized for Korean (한국어에 적합한 단어 임베딩 모델 및 파라미터 튜닝에 관한 연구)

  • Choi, Sanghyuk;Seol, Jinseok;Lee, Sang-goo
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.252-256
    • /
    • 2016
  • 본 논문에서는 한국어에 최적화된 단어 임베딩을 학습하기 위한 방법을 소개한다. 단어 임베딩이란 각 단어가 분산된 의미를 지니도록 고정된 차원의 벡터공간에 대응 시키는 방법으로, 기계번역, 개체명 인식 등 많은 자연어처리 분야에서 활용되고 있다. 본 논문에서는 한국어에 대해 최적의 성능을 낼 수 있는 학습용 말뭉치와 임베딩 모델 및 적합한 하이퍼 파라미터를 실험적으로 찾고 그 결과를 분석한다.

  • PDF

A New Optimal AVR Parameter Tuning Method Using On-Line Excitation Control System Model with SQP Method (온라인 여자제어시스템 모델과 SQP법을 이용한 AVR의 파라미터 튜닝 방법에 관한 연구)

  • Kim, Jung-Mun;Mun, Seung-Il
    • The Transactions of the Korean Institute of Electrical Engineers A
    • /
    • v.51 no.3
    • /
    • pp.118-126
    • /
    • 2002
  • AVR parameter tuning for voltage control of generators has generally been done with the off-line open-circuit model of the synchronous generator. When the generator is connected on-line and operating with load the AVR operates in an entirely different environment from the open-circuit conditions. This paper describes a new method for AVR parameter tuning for on line conditions using SQP(Sequential Quadratic Programming) meshed with frequency response characteristics of linearized on-line system model. As the proposed method uses the un - line system model the tuned parameter sets show more optimal behavior in the on-line operating conditions. furthermore, as this method considers the performance indices that are needed for stable operation as constraints, AVR parameter sets that are tuned by this method could guarantee the stable performance, too.

MAPPO based Hyperparameter Optimization for CNN (MAPPO 기반 CNN 하이퍼 파라미터 최적화)

  • Ma, Zhixin;Joe, Inwhee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.446-447
    • /
    • 2022
  • 대부분의 머신러닝 및 딥러닝 모델의 경우 하이퍼 파라미터 선택은 모델의 성능에 큰 영향을 미친다. 따라서 전문가들은 작업을 수행하기 위해 모델을 구축할 때 하이퍼 파라미터 튜닝을 수행하는 데 상당한 시간을 소비해야 한다. Hyperparameter Optimization(HPO)을 해결하기 위한 알고리즘은 많지만 대부분의 방법은 검색을 수행하기 위해 각 epoch에서 실제 실험 결과를 필요로 한다. 따라서 HPO 검색을 위한 시간과 계산 지원을 줄이기 위해 본 논문에서는 Multi-agent Proximal Policy Optimization(MAPPO) 강화 학습 알고리즘을 제안한다. 2개의 이미지 분류 데이터 세트에 대한 실험 결과는 우리의 모델이 속도와 정확성에서 다른 기존 방법보다 우수하다는 것을 보여준다.

Survey of Implementation of a Digital PI Controller (디지털 PI 제어기 구현에 관한 고찰)

  • 변승현;마복렬
    • Proceedings of the Korea Society for Simulation Conference
    • /
    • 2000.04a
    • /
    • pp.180-185
    • /
    • 2000
  • 발전소 등의 대규모 공정 플랜트에서 사용하고 있는 대부분의 상용 제어기는 PID 제어기이며, 온도 루프를 제외한 대부분의 제어루프가 PI 제어기를 채용하고 있다. 제어 시스템의 성능이 제어기 파라미터의 값에 의해 결정되므로, PI 제어기의 튜닝이 중요하다. 한편, 실제 현장에서의 PI 제어기의 튜닝은 많은 시간과 노력을 필요로 하는 시행착오에 의해서 이루어지고 있으며, 각 제어 루프 제어기 파라미터의 초기값 설정에 어려움을 갖고 있는 실정이다. PI 튜닝 기법이 많이 나와 있지만 시험 신호의 인가 문제로 인해 현장 활용에는 많은 어려움을 가지고 있다. 본 논문에서는 단순한 시험 신호로부터 PI 초기 설정값을 산출할 수 있는 방법에 대해서 알아본다. 또한 발전소에 적용된 국산 분산 제어 시스템을 보면, 대부분 데이터 로깅 시스템으로서만 활용되고 있고, 제어 시스템으로의 활용은 거의 이루어지지 않고 있으며, PID제어기에 대한 구현도 완벽하지 못하여 디지털 PI 제어기의구현 방법에 대한 고찰도 요구되고 있다. 본 논문에서는 디지탈 PI 제어기를 구현하는데 있어서 필요한 사항들, 즉 아날로그 제어기의 디지털 등가 제어기로의 변환 기법, 샘플링 주기의 결정 방법, 그리고 그 외에 공정 제어기가 가져야할 기능들에 대해서 언급한다. 그리고나서 PI 튜닝 기법과 아날로그 제어기의 디지털 등가 제어기로의 변환기법, 샘플링 주기 결정 방법 등에 대해 플랜트 모델을 선정하고 시뮬레이션을 통해 그 효용성을 보인다.

  • PDF

A Study on the Image Preprosessing model linkage method for usability of Pix2Pix (Pix2Pix의 활용성을 위한 학습이미지 전처리 모델연계방안 연구)

  • Kim, Hyo-Kwan;Hwang, Won-Yong
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.15 no.5
    • /
    • pp.380-386
    • /
    • 2022
  • This paper proposes a method for structuring the preprocessing process of a training image when color is applied using Pix2Pix, one of the adversarial generative neural network techniques. This paper concentrate on the prediction result can be damaged according to the degree of light reflection of the training image. Therefore, image preprocesisng and parameters for model optimization were configured before model application. In order to increase the image resolution of training and prediction results, it is necessary to modify the of the model so this part is designed to be tuned with parameters. In addition, in this paper, the logic that processes only the part where the prediction result is damaged by light reflection is configured together, and the pre-processing logic that does not distort the prediction result is also configured.Therefore, in order to improve the usability, the accuracy was improved through experiments on the part that applies the light reflection tuning filter to the training image of the Pix2Pix model and the parameter configuration.

Unscented Kalman Filter with Multiple Sigma Points for Robust System Identification of Sudden Structural Damage (다중 분산점 칼만필터를 이용한 급격한 구조손상 탐지 기법 개발)

  • Se-Hyeok Lee;Sang-ri Yi;Jin Ho Lee
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.36 no.4
    • /
    • pp.233-242
    • /
    • 2023
  • The unscented Kalman filter (UKF), which is widely used to estimate the states of nonlinear dynamic systems, can be improved to realize robust system identification by using multiple sigma-point sets. When using Kalman filter methods for system identification, artificial noises must be appropriately selected to achieve optimal estimation performance. Additionally, an appropriate scaling factor for the sigma-points must be selected to capture the nonlinearity of the state-space model. This study entailed the use of Bouc-Wen hysteresis model to examine the nonlinear behavior of a single-degree-of-freedom oscillator. On the basis of the effects of the selected artificial noises and scaling factor, a new UKF method using multiple sigma-point sets was devised for improved robustness of the estimation over various signal-to-noise-ratio values. The results demonstrate that the proposed method can accurately track nonlinear system states even when the measurement noise levels are high, while being robust to the selection of artificial noise levels.