• International Journal of Advanced Culture Technology
• /
• 제7권4호
• /
• pp.56-62
• /
• 2019

Recently, research using artificial neural networks has further expanded the field of neural network optimization and automatic structuring from improving inference accuracy. The performance of the machine learning algorithm depends on how the hyperparameters are configured. Open-source hyperparameter optimization software can be an important step forward in improving the performance of machine learning algorithms. In this paper, we review open-source hyperparameter optimization softwares.

• 상하수도학회지
• /
• 제35권4호
• /
• pp.259-275
• /
• 2021

This study explored the usefulness and implications of the Bayesian hyperparameter optimization in developing species distribution models (SDMs). A variety of machine learning (ML) algorithms, namely, support vector machine (SVM), random forest (RF), boosted regression tree (BRT), XGBoost (XGB), and Multilayer perceptron (MLP) were used for predicting the occurrence of four benthic macroinvertebrate species. The Bayesian optimization method successfully tuned model hyperparameters, with all ML models resulting an area under the curve (AUC) > 0.7. Also, hyperparameter search ranges that generally clustered around the optimal values suggest the efficiency of the Bayesian optimization in finding optimal sets of hyperparameters. Tree based ensemble algorithms (BRT, RF, and XGB) tended to show higher performances than SVM and MLP. Important hyperparameters and optimal values differed by species and ML model, indicating the necessity of hyperparameter tuning for improving individual model performances. The optimization results demonstrate that for all macroinvertebrate species SVM and RF required fewer numbers of trials until obtaining optimal hyperparameter sets, leading to reduced computational cost compared to other ML algorithms. The results of this study suggest that the Bayesian optimization is an efficient method for hyperparameter optimization of machine learning algorithms.

• Geomechanics and Engineering
• /
• 제37권3호
• /
• pp.263-277
• /
• 2024

Artificial Neural Networks (ANNs) are artificial learning algorithms that provide successful results in solving many machine learning problems such as classification, prediction, object detection, object segmentation, image and video classification. There is an increasing number of studies that use ANNs as a prediction tool in soil classification. The aim of this research was to understand the role of hyperparameter optimization in enhancing the accuracy of ANNs for soil type classification. The research results has shown that the hyperparameter optimization and hyperparamter optimized ANNs can be utilized as an efficient mechanism for increasing the estimation accuracy for this problem. It is observed that the developed hyperparameter tool (HyperNetExplorer) that is utilizing the Covariance Matrix Adaptation Evolution Strategy (CMAES), Genetic Algorithm (GA) and Jaya Algorithm (JA) optimization techniques can be successfully used for the discovery of hyperparameter optimized ANNs, which can accomplish soil classification with 100% accuracy.

• 대한임베디드공학회논문지
• /
• 제18권6호
• /
• pp.319-325
• /
• 2023

In this study, we proposed a method for hyperparameter optimization in the building and training of a deep learning model designed to process point cloud data collected by a millimeter-wave radar system. The primary aim of this study is to facilitate the deployment of a baseline model in resource-constrained IoT devices. We evaluated a RadHAR baseline deep learning model trained on a public dataset composed of point clouds representing five distinct human activities. Additionally, we introduced a coarse-to-fine hyperparameter optimization procedure, showing substantial potential to enhance model efficiency without compromising predictive performance. Experimental results show the feasibility of significantly reducing model size without adversely impacting performance. Specifically, the optimized model demonstrated a 3.3% improvement in classification accuracy despite a 16.8% reduction in number of parameters compared th the baseline model. In conclusion, this research offers valuable insights for the development of deep learning models for resource-constrained IoT devices, underscoring the potential of hyperparameter optimization and model size reduction strategies. This work contributes to enhancing the practicality and usability of deep learning models in real-world environments, where high levels of accuracy and efficiency in data processing and classification tasks are required.

• 한국지능시스템학회논문지
• /
• 제27권1호
• /
• pp.22-28
• /
• 2017

Convolutional Neural Network(CNN)는 특징 추출과 분류의 두 단계로 나눌 수 있다. 그 중 특징 추출 단계의 커널의 크기, 채널의 수, stride 등의 hyperparameter는 CNN의 구조를 결정할 뿐만 아니라 특징을 추출하는 데에도 영향을 주기 때문에 CNN의 전체적인 성능에도 영향을 준다. 본 논문에서는 Parameter-Setting-Free Harmony Search(PSF-HS) 알고리즘을 이용하여 CNN의 특징 추출 단계에서의 hyperparameter를 최적화 하는 방법을 제안하였다. CNN의 전체 구조를 설정한 뒤 hyperparameter를 변수로 설정하였고 PSF-HS 알고리즘을 적용하여 hyperparameter를 최적화 하였다. 시뮬레이션은 MATLAB을 이용하여 진행하였고 CNN은 mnist 데이터를 이용하여 학습과 테스트를 했다. 총 500번 동안 변수를 업데이트했고 제안하는 방법을 이용하여 구한 CNN 구조 중 가장 높은 정확도를 가지는 구조는 99.28%의 정확도로 mnist 데이터를 분류하는 것을 확인할 수 있었다.

• International journal of advanced smart convergence
• /
• 제6권4호
• /
• pp.73-79
• /
• 2017

The Convolutional Neural Network (CNN) has shown an excellent performance in computer vision task. Applications of CNN include image classification, object detection in images, autonomous driving, etc. This paper will evaluate the performance of CNN model with ReLU and SELU as activation function. The evaluation will be performed on four different choices of hyperparameter which are initialization method, network configuration, optimization technique, and regularization. We did experiment on each choice of hyperparameter and show how it influences the network convergence and test accuracy. In this experiment, we also discover performance improvement when using SELU as activation function over ReLU.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.446-447
• /
• 2022

대부분의 머신러닝 및 딥러닝 모델의 경우 하이퍼 파라미터 선택은 모델의 성능에 큰 영향을 미친다. 따라서 전문가들은 작업을 수행하기 위해 모델을 구축할 때 하이퍼 파라미터 튜닝을 수행하는 데 상당한 시간을 소비해야 한다. Hyperparameter Optimization(HPO)을 해결하기 위한 알고리즘은 많지만 대부분의 방법은 검색을 수행하기 위해 각 epoch에서 실제 실험 결과를 필요로 한다. 따라서 HPO 검색을 위한 시간과 계산 지원을 줄이기 위해 본 논문에서는 Multi-agent Proximal Policy Optimization(MAPPO) 강화 학습 알고리즘을 제안한다. 2개의 이미지 분류 데이터 세트에 대한 실험 결과는 우리의 모델이 속도와 정확성에서 다른 기존 방법보다 우수하다는 것을 보여준다.

• 융합신호처리학회논문지
• /
• 제21권3호
• /
• pp.148-153
• /
• 2020

합성곱 신경망 모형에서 높은 정확도를 얻기 위해서는 최적의 하이퍼파라미터를 설정하는 작업이 필요하다. 하지만 높은 성능을 낼 수 있는 하이퍼파라미터 값이 정확히 알려진 바가 없으며, 자료마다 최적의 하이퍼파라미터 값이 달라질 수 있기 때문에 매번 실험을 통해서 찾아야만 한다. 또한, 하이퍼파라미터 값들의 범위가 넓고 조합 수가 많기 때문에 시간과 계산량을 줄이기 위해서는 최적값을 찾기 위한 실험 계획을 먼저 한 후에 탐색을 하는 것이 필요하다. 그러나 아직까지 합성곱 신경망 모형에서 하이퍼파라미터 최적화를 위하여 실험계획법을 이용한 연구 결과가 보고되지 않았다. 본 논문에서는 이미지 분류 문제에서 통계방법 중 하나인 실험계획법의 요인배치법을 이용하여 실험 계획을 하고 합성곱 신경망 분석을 한 후에, 높은 성능을 갖는 값을 중심으로 그리드 탐색을 하여 최적의 하이퍼파라미터를 찾는 방법을 제안한다. 실험 계획을 통하여 각 하이퍼파라미터들의 탐색 범위를 줄인 후에 그리드 탐색을 함으로써 효율적으로 연산량을 줄이고 정확도를 높힐 수 있음을 보였다. 또한 실험 결과에서 모형 성능에 가장 큰 영향을 주는 하이퍼파라미터가 학습률이라는 것을 확인할 수 있었다.

• 지구물리와물리탐사
• /
• 제23권3호
• /
• pp.157-167
• /
• 2020

최근 인공지능 기술의 발전과 함께 물리탐사의 다양한 분야에서도 인공지능의 핵심 기술인 머신러닝의 활용도가 증가하고 있다. 또한 머신러닝 및 딥러닝을 활용한 연구는 이미지, 비디오, 음성, 자연어 등 다양한 태스크의 추론 정확도를 높이기 위해 복잡한 알고리즘들이 개발되고 있고, 더 나아가 자료의 특성, 알고리즘 구조 및 하이퍼 파라미터의 최적화를 위한 자동 머신러닝(AutoML) 분야로 그 폭을 넓혀가고 있다. 본 연구에서는 AutoML 분야 중에서도 하이퍼 파라미터(hyperparameter) 자동 탐색을 위한 베이지안 최적화 기술에 중점을 두었으며, 본 기술을 물리탐사 분야에서도 암상 분류(facies classification) 문제에 적용했다. Vincent field의 현장 물리검층 및 탄성파 자료를 이용하여 암상 및 공극유체를 분류하는 지도학습 기반 모델에 적용하였고, 랜덤 탐색 기법의 결과와 비교하여 베이지안 최적화 기반 예측 프레임워크의 효율성을 검증하였다.

• 융합정보논문지
• /
• 제11권7호
• /
• pp.31-38
• /
• 2021

본 논문은 감성 분석에 사용되는 RNN 모델의 최적화를 얻기 위한 성능분석을 위하여 하이퍼파라미터 튜닝에 따른 손실과 정확도의 추이를 관찰하여 모델과의 상관관계를 연구하였다. 연구 방법으로는 시퀀셜데이터를 처리하는데 가장 최적화된 LSTM과 Embedding layer로 히든레이어를 구성한 후, LSTM의 Unit과 Batch Size, Embedding Size를 튜닝하여 각각의 모델에 대한 손실과 정확도를 측정하였다. 측정 결과, 손실은 41.9%, 정확도는 11.4%의 차이를 나타내었고, 최적화 모델의 변화추이는 지속적으로 안정적인 그래프를 보여 하이퍼파라미터의 튜닝이 모델에 지대한 영향을 미침을 확인하였다. 또한 3가지 하이퍼파라미터 중 Embedding Size의 결정이 모델에 가장 큰 영향을 미침을 확인하였다. 향후 이 연구를 지속적으로 이어나가 모델이 최적의 하이퍼파라미터를 직접 찾아낼 수 있는 알고리즘에 대한 연구를 지속적으로 이어나갈 것이다.