• 한국빅데이터학회지
• /
• 제2권2호
• /
• pp.95-104
• /
• 2017

2014년 서울시는 시민의 목소리에 신속한 응대를 목표로 '서울특별시 응답소' 서비스를 시작하였다. 접수된 민원은 내용을 바탕으로 카테고리 확인 및 담당부서로 분류 되는데, 이 부분을 자동화시킬 수 있다면 시간 및 인력 비용이 감소될 것이다. 본 연구는 2010년 6월 1일부터 2017년 5월 31일까지 7년치 민원 사례 17,700건의 데이터를 수집하여, 최근 화두가 되고 있는 XGBoost 모델을 기존 RandomForest 모델과 비교하여 한국어 텍스트 분류의 적합성을 확인하였다. 그 결과 RandomForest에 대비 XGBoost의 정확도가 전반적으로 높게 나타났다. 동일한 표본을 활용하여 업 샘플링과 다운 샘플링 시행 후에는 RandomForest의 정확도가 불안정하게 나타난 반면, XGBoost는 전반적으로 안정적인 정확도를 보였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.217-217
• /
• 2023

상수도관망은 사용자에게 고품질의 물을 안정적으로 공급하는 것을 목적으로 하며, 이를 평가하기 위한 지표 중 하나로 압력을 활용한다. 최근 스마트 센서의 설치가 확장됨에 따라 기계학습기법을 이용한 실시간 데이터 기반의 분석이 활발하다. 따라서 어디에서 데이터를 수집하느냐에 대한 센서 위치 결정이 중요하다. 본 연구는 eXtreme Gradient Boosting(XGBoost) 모델을 활용하여 대규모 상수도관망 내 센서 위치를 최적화하는 방법론을 제안한다. XGBoost 모델은 여러 의사결정 나무(decision tree)를 활용하는 앙상블(ensemble) 모델이며, 오차에 따른 가중치를 부여하여 성능을 향상시키는 부스팅(boosting) 방식을 이용한다. 이는 분산 및 병렬 처리가 가능해 메모리리소스를 최적으로 사용하고, 학습 속도가 빠르며 결측치에 대한 전처리 과정을 모델 내에 포함하고 있다는 장점이 있다. 모델 구현을 위한 독립 변수 결정을 위해 압력 데이터의 변동성 및 평균압력 값을 고려하여 상수도관망을 대표하는 중요 절점(critical node)를 선정한다. 중요 절점의 압력 값을 예측하는 XGBoost 모델을 구축하고 모델의 성능과 요인 중요도(feature importance) 값을 고려하여 센서의 최적 위치를 선정한다. 이러한 방법론을 기반으로 상수도관망의 특성에 따른 경향성을 파악하기 위해 다양한 형태(예를 들어, 망형, 가지형)와 구성 절점의 수를 변화시키며 결과를 분석한다. 본 연구에서 구축한 XGBoost 모델은 추가적인 전처리 과정을 최소화하며 대규모 관망에 간편하게 사용할 수 있어 추후 다양한 입출력 데이터의 조합을 통해 센서 위치 외에도 상수도관망에서의 성능 최적화에 활용할 수 있을 것으로 기대한다.

• 한국컴퓨터정보학회논문지
• /
• 제27권5호
• /
• pp.29-36
• /
• 2022

본 논문에서는 DACON에서 제공하는 데이터셋을 기반으로 한 효과적인 농산물 가격 예측 모델을 제안한다. 이 모델은 XGBoost와 CatBoost 이며 Gradient Boosting 계열의 알고리즘으로써 기존의 Logistic Regression과 Random Forest보다 평균정확도 및 수행시간이 우수하다. 이러한 장점들을 기반으로 농산물의 이전 가격들을 기반으로 1주, 2주, 4주뒤 가격을 예측하는 머신러닝 모델을 설계한다. XGBoost 모델은 회귀 방식의 모델링인 XGBoost Regressor 라이브러리를 사용하여 하이퍼 파라미터를 조정함으로써 가장 우수한 성능을 도출할 수 있다. CatBoost 모델은 CatBoost Regressor를 사용하여 모델을 구현한다. 구현한 모델은 DACON에서 제공하는 API를 이용하여 검증하고, 모델 별 성능평가를 실시한다. XGBoost는 자체적인 과적합 규제를 진행하기 때문에 적은 데이터셋에도 불구하고 우수한 성능을 도출하지만, 학습시간, 예측시간 등 시간적인 성능 면에서는 LGBM보다 성능이 낮다는 것을 알 수 있었다.

• 사물인터넷융복합논문지
• /
• 제10권1호
• /
• pp.39-45
• /
• 2024

항만 성능에 대한 정확한 평가는 컨테이너 물동량은 매우 중요한 요소이며, 효과적인 항만 개발 및 운영 전략에 대한 정확한 예측이 필수적이다. 하지만 해양 산업의 급격한 변화로 인해 컨테이너 물동량 예측의 정확성이 향상되기는 어렵다. 이를 해결하기 위해 사물인터넷(IoT)을 이용한 항만 성능에 미치는 영향을 분석하여 부산항의 경쟁력과 효율성을 향상시키기 위해 적용이 필요하다. 이에 본 연구에서는 부산항의 미래 컨테이너 물동량을 예측하기 위한 예측 모델을 개발하는 것을 목표로 이를 통해 항만 관리 기관의 개선된 의사 결정과 항만 생산성을 향상시키는 데 초점을 맞추고 있다. 항만 컨테이너 물동량을 예측하기 위해 본 연구에서는 기계 학습 모델의 Extreme Gradient Boosting (XGBoost) 기법을 도입하였다. XGBoost는 다른 알고리즘에 비해 높은 정확도, 빠른 학습 및 예측 속도,과적합을 방지하고 Feature Importance 제공하는 장점이 돋보인다. 특히 XGBoost는 회귀 예측 모델링에 직접 사용할 수 있어 기존 연구에서 제시된 물동량 예측 모델의 정확도 향상에 도움이 된다. 이를 통해 본 연구는 4.3% MAPE (Mean absolute percenture error) 값으로 제안된 방법이 컨테이너 물동량을 정확하고 신뢰성 있게 예측할 수 있다. 본 연구에서 제시한 방법론을 통해서 부산 컨테이너물동량의 정확성을 높일 수 있을 것으로 판단된다.

• 한국IT서비스학회지
• /
• 제21권4호
• /
• pp.91-103
• /
• 2022

This study proposes a model for predicting contracted power using electric power data collected in real time from convenience stores nationwide. By optimizing the prediction model using machine learning, it will be possible to predict the contracted power required to renew the contract of the existing convenience store. Contracted power is predicted through the XGBoost regression model. For the learning of XGBoost model, the electric power data collected for 16 months through a real-time monitoring system for convenience stores nationwide were used. The hyperparameters of the XGBoost model were tuned using the GridesearchCV, and the main features of the prediction model were identified using the xgb.importance function. In addition, it was also confirmed whether the preprocessing method of missing values and outliers affects the prediction of reduced power. As a result of hyperparameter tuning, an optimal model with improved predictive performance was obtained. It was found that the features of power.2020.09, power.2021.02, area, and operating time had an effect on the prediction of contracted power. As a result of the analysis, it was found that the preprocessing policy of missing values and outliers did not affect the prediction result. The proposed XGBoost regression model showed high predictive performance for contract power. Even if the preprocessing method for missing values and outliers was changed, there was no significant difference in the prediction results through hyperparameters tuning.

• 지질공학
• /
• 제33권3호
• /
• pp.403-411
• /
• 2023

본 연구는 XGBoost를 이용하여 타지키스탄의 일사량을 예측하여 타지키스탄의 재생에너지 자원으로서 복사 태양에너지의 활용 가능성을 평가하기 위함이다. 첫째, 타지키스탄의 일사량을 훈련모델, 검증모델, 시험모델을 통해 예측한 결과, 시간과 계절에 따른 일사량의 계절성이 실제값과 예측값 모두에서 뚜렷하게 구분되는 것을 확인하였다. 둘째, 타지키스탄의 2016, 2017, 2018, 2019년 등 각 연도의 7월 1일 시간당 일사량의 실제값과 예측값을 계산한 결과, 2016년 일사량의 최대 실제값과 예측값은 약 1,005 W/m²과 1,009 W/m², 2017년에는 939 W/m²과 997 W/m², 2018년에는 1,022 W/m²과 1,012 W/m², 2019년에는 1,055 W/m²과 1,019 W/m²으로 나타났으며, 실제값과 예측값의 오차가 약 0.4~5.8%로 매우 비슷한 결과를 보였다. 결과적으로 타지키스탄의 일사량을 예측하여 복사 태양에너지의 활용 가능성을 평가하는 데 있어 XGBoost가 매우 유용한 도구로 활용될 수 있을 것으로 판단된다.

• Computers and Concrete
• /
• 제33권1호
• /
• pp.77-90
• /
• 2024

Waste foundry sand (WFS) is the waste product that cause environmental hazards. WFS can be used as a partial replacement of cement or fine aggregates in concrete. A database comprising 234 compressive strength tests of concrete fabricated with WFS is used. To construct the machine learning-based prediction models, the water-to-cement ratio, WFS replacement percentage, WFS-to-cement content ratio, and fineness modulus of WFS were considered as the model's inputs, and the compressive strength of concrete is set as the model's output. A base extreme gradient boosting (XGBoost) model together with two hybrid XGBoost models mixed with the tunicate swarm algorithm (TSA) and the salp swarm algorithm (SSA) were applied. The role of TSA and SSA is to identify the optimum values of XGBoost hyperparameters to obtain the higher performance. The results of these hybrid techniques were compared with the results of the base XGBoost model in order to investigate and justify the implementation of optimisation algorithms. The results showed that the hybrid XGBoost models are faster and more accurate compared to the base XGBoost technique. The XGBoost-SSA model shows superior performance compared to previously published works in the literature, offering a reduced system error rate. Although the WFS-to-cement ratio is significant, the WFS replacement percentage has a smaller influence on the compressive strength of concrete. To improve the compressive strength of concrete fabricated with WFS, the simultaneous consideration of the water-to-cement ratio and fineness modulus of WFS is recommended.

• Geomechanics and Engineering
• /
• 제36권3호
• /
• pp.259-276
• /
• 2024

The undrained shear strength is widely acknowledged as a fundamental mechanical property of soil and is considered a critical engineering parameter. In recent years, researchers have employed various methodologies to evaluate the shear strength of soil under undrained conditions. These methods encompass both numerical analyses and empirical techniques, such as the cone penetration test (CPT), to gain insights into the properties and behavior of soil. However, several of these methods rely on correlation assumptions, which can lead to inconsistent accuracy and precision. The study involved the development of innovative methods using extreme gradient boosting (XGB) to predict the pile set-up component "A" based on two distinct data sets. The first data set includes average modified cone point bearing capacity (q_t), average wall friction (f_s), and effective vertical stress (σ_vo), while the second data set comprises plasticity index (PI), soil undrained shear cohesion (S_u), and the over consolidation ratio (OCR). These data sets were utilized to develop XGBoost-based methods for predicting the pile set-up component "A". To optimize the internal hyperparameters of the XGBoost model, four optimization algorithms were employed: Particle Swarm Optimization (PSO), Social Spider Optimization (SSO), Arithmetic Optimization Algorithm (AOA), and Sine Cosine Optimization Algorithm (SCOA). The results from the first data set indicate that the XGBoost model optimized using the Arithmetic Optimization Algorithm (XGB - AOA) achieved the highest accuracy, with R2 values of 0.9962 for the training part and 0.9807 for the testing part. The performance of the developed models was further evaluated using the RMSE, MAE, and VAF indices. The results revealed that the XGBoost model optimized using XGBoost - AOA outperformed other models in terms of accuracy, with RMSE, MAE, and VAF values of 0.0078, 0.0015, and 99.6189 for the training part and 0.0141, 0.0112, and 98.0394 for the testing part, respectively. These findings suggest that XGBoost - AOA is the most accurate model for predicting the pile set-up component.

• Nuclear Engineering and Technology
• /
• 제53권2호
• /
• pp.522-531
• /
• 2021

We describe a new deep learning model - Convolutional eXtreme Gradient Boosting (ConvXGB) for classification problems based on convolutional neural nets and Chen et al.'s XGBoost. As well as image data, ConvXGB also supports the general classification problems, with a data preprocessing module. ConvXGB consists of several stacked convolutional layers to learn the features of the input and is able to learn features automatically, followed by XGBoost in the last layer for predicting the class labels. The ConvXGB model is simplified by reducing the number of parameters under appropriate conditions, since it is not necessary re-adjust the weight values in a back propagation cycle. Experiments on several data sets from UCL Repository, including images and general data sets, showed that our model handled the classification problems, for all the tested data sets, slightly better than CNN and XGBoost alone and was sometimes significantly better.

• 산업경영시스템학회지
• /
• 제45권2호
• /
• pp.20-29
• /
• 2022

This study intends to present a traffic node-based and link-based accident prediction models using XGBoost which is very excellent in performance among machine learning models, and to develop those models with sustainability and scalability. Also, we intend to present those models which predict the number of annual traffic accidents based on road types, weather conditions, and traffic information using XGBoost. To this end, data sets were constructed by collecting and preprocessing traffic accident information, road information, weather information, and traffic information. The SHAP method was used to identify the variables affecting the number of traffic accidents. The five main variables of the traffic node-based accident prediction model were snow cover, precipitation, the number of entering lanes and connected links, and slow speed. Otherwise, those of the traffic link-based accident prediction model were snow cover, precipitation, the number of lanes, road length, and slow speed. As the evaluation results of those models, the RMSE values of those models were each 0.2035 and 0.2107. In this study, only data from Sejong City were used to our models, but ours can be applied to all regions where traffic nodes and links are constructed. Therefore, our prediction models can be extended to a wider range.