• 지능정보연구
• /
• 제29권4호
• /
• pp.165-184
• /
• 2023

최근 구글의 BERT, OpenAI의 GPT 등, 언어모델(Language Model)을 사용한 비정형 텍스트 데이터에 대한 딥러닝(Deep Learning) 분석이 다양한 응용에서 괄목할 성과를 나타내고 있다. 대부분의 언어모델은 사전학습 데이터로부터 범용적인 언어정보를 학습하고, 이후 미세 조정(Fine-Tuning) 과정을 통해 다운스트림 태스크(Downstream Task)에 맞추어 갱신되는 방식으로 사용되고 있다. 하지만 최근 이러한 언어모델을 사용하는 과정에서 프라이버시가 침해될 수 있다는 우려가 제기되고 있다. 즉 데이터 소유자가 언어모델의 미세 조정을 수행하기 위해 다량의 데이터를 모델 소유자에게 제공하는 과정에서 데이터의 프라이버시가 침해될 수 있으며, 반대로 모델 소유자가 모델 전체를 데이터 소유자에게 공개하면 모델의 구조 및 가중치가 공개되어 모델의 프라이버시가 침해될 수 있다는 것이다. 이러한 상황에서 프라이버시를 보호하며 언어모델의 미세 조정을 수행하기 위해 최근 오프사이트 튜닝(Offsite Tuning)의 개념이 제안되었으나, 해당 연구는 제안 방법론을 텍스트 분류 모델에 적용하는 구체적인 방안을 제시하지 못했다는 한계를 갖는다. 이에 본 연구에서는 한글 문서에 대한 다중 분류 미세 조정 수행 시, 모델과 데이터의 프라이버시를 보호하기 위해 분류기를 추가한 오프사이트 튜닝을 적용하는 구체적인 방법을 제시한다. 제안 방법론의 성능을 평가하기 위해 AIHub에서 제공하는 ICT, 전기, 전자, 기계, 그리고 의학 총 5개의 대분야로 구성된 약 20만건의 한글 데이터에 대해 실험을 수행한 결과, 제안하는 플러그인 모델이 제로 샷 모델 및 오프사이트 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다.

• 한국IT서비스학회지
• /
• 제4권2호
• /
• pp.125-133
• /
• 2005

Because of paradigm change to web service, numerous institutes have been suggested supporting solution about web service, and actively developed system using web service but it is hard to find out a systematic study for web service performance enhancement. Generally, there are SOAP message processing improvement and configuration optimization of server viewpoint for web service performance enhancement. Web service performance enhancement through SOAP message processing improvement have been studied related research but configuration optimization of server is hard to find out a systematic tuning model and performance criteria. In this paper, I suggested performance testing based tuning model and criteria of configuration optimization of server viewpoint. We executed practical analysis using tuning model about web service in internet. This paper show that the proposed tuning model and performance criteria is applicable to web service performance enhancement.

• 대한전기학회논문지
• /
• 제39권5호
• /
• pp.478-484
• /
• 1990

An automatic tuning method of a PID controller which is used for single input single output processes is proposed. In the proposed tuning method, the frequency response data model is adopted along with the performance index which is an integral of time weighted square error between reference model and process frequency response data model for tuning. This method is easier to retune when either the process dynamics is changed or the reference model is changed. Finally, an example is provided to show the usefulness of the method.

• 전기학회논문지
• /
• 제58권4호
• /
• pp.655-664
• /
• 2009

This paper, Part 1, describes the effective dual-input PSS parameter design procedure for the IEEE Type PSS2A against the Dangjin 612 MVA thermal plant's EX2000 excitation system. The suggested tuning technique used the model-based PSS tuning method and consisted of three steps: 1) generation system modeling; 2) determination of PSS2A model parameters using linear, time-domain transient and 3-phase simultaneous analyses, and 3) field testing and verification, which are described in Part 2. The effective PSS2A model parameters of EX2000 system in the Dangjin T/P #4 were designed according to the suggested procedure, and verified by using three analyses.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2002년도 ICCAS
• /
• pp.102.5-102
• /
• 2002

In this paper auto-tuning scheme of PID controller based on the reference model has been studied by immune algorithm for a process. Up to this time, many sophisticated tuning algorithms have been tried in order to improve the PID controller performance under such difficult conditions. However, in the actual plant, they are manually tuned through a trial and error procedure, and the derivative action is switched off. Therefore, it is difficult to tune. Simulation results by immune based tuning reveal that tuning approaches suggested in this paper is an effective approach to search for optimal or near optimal process control.

• 전기전자학회논문지
• /
• 제27권3호
• /
• pp.313-318
• /
• 2023

본 논문은 Vision Transformer를 기반으로 하는 Video Classification의 성능을 개선하는 방법으로 fine-tuning를 적용한 신경망을 제안한다. 최근 딥러닝 기반 실시간 비디오 영상 분석의 필요성이 대두되고 있다. Image Classification에 사용되는 기존 CNN 모델의 특징상 연속된 Frame에 대한 연관성을 분석하기 어렵다는 단점이 있다. 이와 같은 문제를 Attention 메커니즘이 적용된 Vistion Transformer와 Non-local 신경망 모델을 비교 분석하여 최적의 모델을 찾아 해결하고자 한다. 또한, 전이 학습 방법으로 fine-tuning의 다양한 방법을 적용하여 최적의 fine-tuning 신경망 모델을 제안한다. 실험은 UCF101 데이터셋으로 모델을 학습시킨 후, UTA-RLDD 데이터셋에 전이 학습 방법을 적용하여 모델의 성능을 검증하였다.

• 한국융합학회논문지
• /
• 제10권12호
• /
• pp.287-292
• /
• 2019

본 논문은 자동차 제동성능에 대한 운전자의 요구에 따라 브레이크 디스크 튜닝이 많이 이루어지고 있어, 자동차에 사용되고 있는 순정 디스크와 튜닝제품으로 나오고 있는 디스크의 열적거동을 FEM해석을 통해 분석하였다. 순정 디스크 모델링 및 튜닝 디스크 Model-1, Model-2, Model-3로 모델링을 하고 디스크 회전속도를 1000rpm으로 설정하여 해석을 실시하였다. 브레이크를 작동하면 디스크와 패드 접촉에 의해 발생하는 작동시 온도와 디스크 정지 후 마찰면의 온도, 열 변형 등 디스크 표면의 열적거동에 대하여 분석하였다. 브레이크 작동시(0-4.5초) 온도는 순정 디스크보다 튜닝 디스크가 34℃높게 나타났고, 디스크 정지 후(40.5초) 온도는 튜닝 디스크가 18℃낮게 분석되었으며, 디스크 열에 의한 변형은 튜닝 디스크가 0.3mm정도 많이 변형되었다. 순정 디스크와 튜닝 디스크의 열적거동에 따른 페이드 현상 등을 줄일 수 있는 효과는 있으나, 튜닝 디스크의 홀 가공 및 디스크 면 가공에 따른 열적거동에는 크게 변화가 없음을 관찰할 수 있었다.

• 한국IT서비스학회지
• /
• 제19권5호
• /
• pp.83-91
• /
• 2020

Language Models such as BERT has been an important factor of deep learning-based natural language processing. Pre-training the transformer-based language models would be computationally expensive since they are consist of deep and broad architecture and layers using an attention mechanism and also require huge amount of data to train. Hence, it became mandatory to do fine-tuning large pre-trained language models which are trained by Google or some companies can afford the resources and cost. There are various techniques for fine tuning the language models and this paper examines three techniques, which are data augmentation, tuning the hyper paramters and partly re-constructing the neural networks. For data augmentation, we use no-answer augmentation and back-translation method. Also, some useful combinations of hyper parameters are observed by conducting a number of experiments. Finally, we have GRU, LSTM networks to boost our model performance with adding those networks to BERT pre-trained model. We do fine-tuning the pre-trained korean-based language model through the methods mentioned above and push the F1 score from baseline up to 89.66. Moreover, some failure attempts give us important lessons and tell us the further direction in a good way.

• 한국경영과학회지
• /
• 제38권1호
• /
• pp.139-152
• /
• 2013

The purpose of this study is to claim the validity of tuning the architecture of neural network models for multi-class classification. A neural network model for multi-class classification is basically constructed by building a series of neural network models for binary classification. Building a neural network model, we are required to set the values of parameters such as number of hidden nodes and weight decay parameter in advance, which draws special attention as the performance of the model can be quite different by the values of the parameters. For better performance of the model, it is absolutely necessary to have a prior process of tuning the parameters every time the neural network model is built. Nonetheless, previous studies have not mentioned the necessity of the tuning process or proved its validity. In this study, we claim that we should tune the parameters every time we build the neural network model for multi-class classification. Through empirical analysis using wine data, we show that the performance of the model with the tuned parameters is superior to those of untuned models.

• 제어로봇시스템학회논문지
• /
• 제7권12호
• /
• pp.985-992
• /
• 2001

This paper proposes a self-organizing fuzzy modeling(SOFUM)which an create a new hyperplane shaped cluster and adjust parameters of the fuzzy model in repetition. The suggested algorithm SOFUM is composed of four steps: coarse tuning. fine tuning cluster creation and optimization of learning rates. In the coarse tuning fuzzy C-regression model(FCRM) clustering and weighted recursive least squared (WRLS) algorithm are used and in the fine tuning gradient descent algorithm is used to adjust parameters of the fuzzy model precisely. In the cluster creation, a new hyperplane shaped cluster is created by applying multiple regression to input/output data with relatively large fuzzy entropy based on parameter tunings of fuzzy model. And learning rates are optimized by utilizing meiosis-genetic algorithm in the optimization of learning rates To check the effectiveness of the suggested algorithm two examples are examined and the performance of the identified fuzzy model is demonstrated via computer simulation.