• 인터넷정보학회논문지
• /
• 제20권4호
• /
• pp.91-102
• /
• 2019

자율주행 시스템에서, 카메라에 포착된 영상을 통하여 보행자를 분류하는 기능은 보행자 안전을 위하여 매우 중요하다. 기존에는 HOG(Histogram of Oriented Gradients)나 SIFT(Scale-Invariant Feature Transform) 등으로 보행자의 특징을 추출한 후 SVM(Support Vector Machine)으로 분류하는 기술을 사용했었으나, 보행자 특징을 위와 같이 수동(handcrafted)으로 추출하는 것은 많은 한계점을 가지고 있다. 따라서 본 논문에서는 CNN(Convolutional Neural Network)의 깊은 특징(deep features)과 전이학습(transfer learning)을 사용하여 보행자를 안정적이고 효과적으로 분류하는 방법을 제시한다. 본 논문은 2가지 대표적인 전이학습 기법인 고정특징추출(fixed feature extractor) 기법과 미세조정(fine-tuning) 기법을 모두 사용하여 실험하였고, 특히 미세조정 기법에서는 3가지 다른 크기로 레이어를 전이구간과 비전이구간으로 구분한 후, 비전이구간에 속한 레이어들에 대해서만 가중치를 조정하는 설정(M-Fine: Modified Fine-tuning)을 새롭게 추가하였다. 5가지 CNN모델(VGGNet, DenseNet, Inception V3, Xception, MobileNet)과 INRIA Person데이터 세트로 실험한 결과, HOG나 SIFT 같은 수동적인 특징보다 CNN의 깊은 특징이 더 좋은 성능을 보여주었고, Xception의 정확도(임계치 = 0.5)가 99.61%로 가장 높았다. Xception과 유사한 성능을 내면서도 80% 적은 파라메터를 학습한 MobileNet이 효율성 측면에서는 가장 뛰어났다. 그리고 3가지 전이학습 기법중 미세조정 기법의 성능이 가장 우수하였고, M-Fine 기법의 성능은 미세조정 기법과 대등하거나 조금 낮았지만 고정특징추출 기법보다는 높았다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.622-624
• /
• 2021

현재 BERT와 같은 대용량의 코퍼스로부터 학습된 사전 학습 언어 모델을 자연어 응용 태스크에 적용하기 위해 일반적으로 널리 사용되는 방법은 Fine-tuning으로 각 응용 태스크에 적용 시 모델의 모든 파라미터를 조정하기 때문에 모든 파라미터를 조정하는데 필요한 시간적 비용과 함께 업데이트된 파라미터를 저장하기 위한 별도의 저장공간이 요구된다. 언어 모델이 커지면 커질수록 저장 공간의 비용이 증대됨에 따라 이러한 언어모델을 효율적으로 튜닝 할 수 있는 방법들이 연구되었다. 본 연구에서는 문장의 입력 임베딩에 연속적 태스크 특화 벡터인 prefix를 추가하여 해당 prefix와 관련된 파라미터만 튜닝하는 prefix-tuning을 한국어 네이버 감성 분석 데이터 셋에 적용 후 실험결과를 보인다.

• 한국멀티미디어학회논문지
• /
• 제24권7호
• /
• pp.849-859
• /
• 2021

Prostate cancer (PCa) is a fatal disease that occurs in men. In general, PCa cells are found in the prostate gland. Early diagnosis is the key to prevent the spreading of cancers to other parts of the body. In this case, deep learning-based systems can detect and distinguish histological patterns in microscopy images. The histological grades used for the analysis were benign, grade 3, grade 4, and grade 5. In this study, we attempt to use transfer learning and fine-tuning methods as well as different model architectures to develop and compare the models. We implemented MobileNet, ResNet50, and DenseNet121 models and used three different strategies of freezing layers techniques of fine-tuning, to get various pre-trained weights to improve accuracy. Finally, transfer learning using MobileNet with the half-layer frozen showed the best results among the nine models, and 90% accuracy was obtained on the test data set.

• Journal of Information Processing Systems
• /
• 제16권6호
• /
• pp.1293-1308
• /
• 2020

In fine-tuning-based transfer learning, the size of the dataset may affect learning accuracy. When a dataset scale is small, fine-tuning-based transfer-learning methods use high computing costs, similar to a large-scale dataset. We propose a mid-level feature extractor that retrains only the mid-level convolutional layers, resulting in increased efficiency and reduced computing costs. This mid-level feature extractor is likely to provide an effective alternative in training a small-scale medical image dataset. The performance of the mid-level feature extractor is compared with the performance of low- and high-level feature extractors, as well as the fine-tuning method. First, the mid-level feature extractor takes a shorter time to converge than other methods do. Second, it shows good accuracy in validation loss evaluation. Third, it obtains an area under the ROC curve (AUC) of 0.87 in an untrained test dataset that is very different from the training dataset. Fourth, it extracts more clear feature maps about shape and part of the chest in the X-ray than fine-tuning method.

• 스마트미디어저널
• /
• 제13권6호
• /
• pp.44-53
• /
• 2024

현대사회의 기업들은 소셜 미디어, 제품 리뷰, 고객 피드백 등 다양한 영역에 걸쳐 소비자 의견을 정확하게 이해하는 것이 경쟁에서 성공하기 위한 주요 과제임을 강조하며 감성 분류를 점점 더 중요한 작업으로 채택하고 있다. 감성 분류는 소비자의 다양한 의견과 감성을 파악하여 제품이나 서비스 개선에 도움을 주는 이유로 많은 연구가 진행중이다. 감성 분류에서는 대규모 데이터 셋과 사전 학습된 언어 모델을 통한 미세 조정이 성능 향상에 중요한 역할을 한다. 최근 인공지능 기술의 발전으로 감성 분류 모델은 높은 성능을 보이고 있으며, 특히 ELECTRA 모델은 효율적인 학습 방법과 적은 컴퓨팅 자원을 통해 뛰어난 결과를 제공한다. 따라서 본 논문에서는 ELECTRA에서 한국어를 학습한 KoELECTRA 모델을 이용하여 다양한 데이터 셋에 대한 효율적인 미세 조정을 통해 감성 분류 성능을 향상하는 방법을 제안한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권12호
• /
• pp.3416-3435
• /
• 2023

Task offloading in vehicular networks is hot topic in the development of autonomous driving. In these scenarios, due to the role of vehicles and pedestrians, task characteristics are changing constantly. The classical deep learning algorithm always uses a pre-trained neural network to optimize task offloading, which leads to system performance degradation. Therefore, this paper proposes a neural network fine-tuning task offloading algorithm, combining with location prediction for pedestrians and vehicles by the Payne model of fluid dynamics and the car-following model, respectively. After the locations are predicted, characteristics of tasks can be obtained and the neural network will be fine-tuned. Finally, the proposed algorithm continuously predicts task characteristics and fine-tunes a neural network to maintain high system performance and meet low delay requirements. From the simulation results, compared with other algorithms, the proposed algorithm still guarantees a lower task offloading delay, especially when congestion occurs.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.794-797
• /
• 2024

Despite advancements in deep learning, existing semantic segmentation models exhibit suboptimal performance under adverse weather conditions, such as fog or rain, whereas they perform well in clear weather conditions. To address this issue, much of the research has focused on making image or feature-level representations weather-independent. However, disentangling the style and content of images remains a challenge. In this work, we propose a novel fine-tuning method, 'freeze-n-update.' We identify a subset of model parameters that are weather-independent and demonstrate that by freezing these parameters and fine-tuning others, segmentation performance can be significantly improved. Experiments on a test dataset confirm both the effectiveness and practicality of our approach.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.62.1-62
• /
• 2001

This paper suggests an inverse optimal PID control design method for the trajectory tracking case of mechanical systems. Also, simple coarse/fine performance tuning laws are suggested based on the analysis for performance limitation of inverse optimal PID controller. Experimental results for a robot manipulator show the validity of our analysis for the performance tuning methods.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1996년도 한국자동제어학술회의논문집(국내학술편); 포항공과대학교, 포항; 24-26 Oct. 1996
• /
• pp.184-187
• /
• 1996

In this paper, an algorithm for tuning gains of a PID controller is proposed. The proposed algorithm is composed of two stages. The first is a stage for Lyapunov function-based initial stabilization of an overall system and rough tuning gains of the PID controller. The other is that for fine tuning gains of the PID controller. All tunings are performed by using the well-known fuzzy logic-based tuner. The computer simulations are performed to show the validity of the proposed algorithm and results are presented.

• 제어로봇시스템학회논문지
• /
• 제7권12호
• /
• pp.985-992
• /
• 2001

This paper proposes a self-organizing fuzzy modeling(SOFUM)which an create a new hyperplane shaped cluster and adjust parameters of the fuzzy model in repetition. The suggested algorithm SOFUM is composed of four steps: coarse tuning. fine tuning cluster creation and optimization of learning rates. In the coarse tuning fuzzy C-regression model(FCRM) clustering and weighted recursive least squared (WRLS) algorithm are used and in the fine tuning gradient descent algorithm is used to adjust parameters of the fuzzy model precisely. In the cluster creation, a new hyperplane shaped cluster is created by applying multiple regression to input/output data with relatively large fuzzy entropy based on parameter tunings of fuzzy model. And learning rates are optimized by utilizing meiosis-genetic algorithm in the optimization of learning rates To check the effectiveness of the suggested algorithm two examples are examined and the performance of the identified fuzzy model is demonstrated via computer simulation.