• 대한원격탐사학회지
• /
• 제39권6_3호
• /
• pp.1721-1730
• /
• 2023

전 세계적으로 지구온난화와 관련된 문제인식이 대두되면서, 도시지역에서의 탄소중립을 위해 탄소흡수원의 역할이 더욱 강조되고 있다. 정주지 탄소흡수원의 관리를 위해서는 탄소흡수원의 현황 파악이 필요하며, 이를 위해서는 많은 인력과 시간과 이에 따른 예산이 소요되게 된다. 본 연구에서는 서울시를 대상으로 기구축된 수목의 위치정보와 Sentinel-2 위성영상을 이용해 수목의 위치를 예측할 수 있는 지도를 제작했다. 이를 위해 수목 유무 데이터셋을 구축한 뒤 위성영상으로부터 구축한 식생지수 16종 정보를 이용하여 분석에 활용할 정형데이터를 생성했다. 그리고 생성된 정형데이터에 Extreme Gradient Boosting (XGBoost) 모델을 적용하여 학습 후, 수목 예측 지도를 제작했다. 이후 Shapley Additive exPlanations (SHAP) 분석을 통해 모델 학습에서 독립변수와 종속변수 간의 관계를 조사하였다. 서울의 국소 부분에 대해 제작된 지도와 세분류 토지피복지도와의 비교분석을 수행했고, 본 연구에서 제작된 수목 예측 모델의 경우 대로변 주변의 탐지하기 어려운 가로수의 경우에도 수목의 위치로 예측이 된다는 것을 확인했다.

• 한국물환경학회지
• /
• 제37권5호
• /
• pp.335-343
• /
• 2021

Water quality prediction is essential for the proper management of water supply systems. Increased suspended sediment concentration (SSC) has various effects on water supply systems such as increased treatment cost and consequently, there have been various efforts to develop a model for predicting SSC. However, SSC is affected by both the natural and anthropogenic environment, making it challenging to predict SSC. Recently, advanced machine learning models have increasingly been used for water quality prediction. This study developed an ensemble machine learning model to predict SSC using the XGBoost (XGB) algorithm. The observed discharge (Q) and SSC in two fields monitoring stations were used to develop the model. The input variables were clustered in two groups with low and high ranges of Q using the k-means clustering algorithm. Then each group of data was separately used to optimize XGB (Model 1). The model performance was compared with that of the XGB model using the entire data (Model 2). The models were evaluated by mean squared error-ob servation standard deviation ratio (RSR) and root mean squared error. The RSR were 0.51 and 0.57 in the two monitoring stations for Model 2, respectively, while the model performance improved to RSR 0.46 and 0.55, respectively, for Model 1.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.387-390
• /
• 2021

최근 전자 상거래 시장이 급격한 성장을 이루면서 고객들의 급변하는 니즈를 파악하는 것이 기업들의 수익에 직결되는 요소로 인식되고 있다. 이에 기업들은 고객들의 니즈를 신속하고 정확하게 파악하기 위해, 기축적된 고객 관련 각종 데이터를 활용하려는 시도를 강화하고 있다. 기존 시도들은 주로 구매 행동 예측에 중점을 두었으나 고객 행동의 전후 과정을 해석하는데 있어 어려움이 존재했다. 본 연구에서는 고객이 구매한 상품을 확정 또는 환불하는 행동을 취할 때 해당 행동이 발생하는데 있어 어떤 요소들이 작용하였는지를 파악하고, 어떤 고객이 환불할 지를 예측하는 예측 모형을 새롭게 제시한다. 예측 모형 구현에는 트리 기반 앙상블 방법을 사용해 예측력을 높인 XGBoost 기법을 적용하였으며, 고객 의도에 영향을 미치는 요소들을 파악하기 위하여 대표적인 설명가능한 인공지능(XAI) 기법 중 하나인 SHAP 기법을 적용하였다. 이를 통해 특정 고객 행동에 대한 각 요인들의 전반적인 영향 뿐만 아니라, 각 개별 고객에 대해서도 어떤 요소가 환불결정에 영향을 미쳤는지 파악할 수 있었다. 이를 통해 기업은 고객 개개인의 의사 결정에 영향을 미치는 요소를 파악하여 개인화 마케팅에 사용할 수 있을 것으로 기대된다.

• Structural Engineering and Mechanics
• /
• 제84권5호
• /
• pp.605-618
• /
• 2022

Glass fiber reinforced polymer (GFRP) elastic gridshells consist of long continuous GFRP tubes that form elastic deformations. In this paper, a method for the form-finding of gridshell structures is presented based on the interpretable machine learning (ML) approaches. A comparative study is conducted on several ML algorithms, including support vector regression (SVR), K-nearest neighbors (KNN), decision tree (DT), random forest (RF), AdaBoost, XGBoost, category boosting (CatBoost), and light gradient boosting machine (LightGBM). A numerical example is presented using a standard double-hump gridshell considering two characteristics of deformation as objective functions. The combination of the grid search approach and k-fold cross-validation (CV) is implemented for fine-tuning the parameters of ML models. The results of the comparative study indicate that the LightGBM model presents the highest prediction accuracy. Finally, interpretable ML approaches, including Shapely additive explanations (SHAP), partial dependence plot (PDP), and accumulated local effects (ALE), are applied to explain the predictions of the ML model since it is essential to understand the effect of various values of input parameters on objective functions. As a result of interpretability approaches, an optimum gridshell structure is obtained and new opportunities are verified for form-finding investigation of GFRP elastic gridshells during lifting construction.

• 한국전자거래학회지
• /
• 제26권3호
• /
• pp.97-117
• /
• 2021

정기예금 가입 여부 예측은 은행의 대표적인 금융 마케팅 중 하나로, 은행은 다양한 고객 정보를 활용하여 예측 모델을 구성할 수 있다. 정기예금 가입 여부의 분류 정확도를 향상하기 위해, 많은 연구에서 기계학습 기법들을 이용하여 분류 모델들을 개발하였다. 하지만, 이러한 모델들이 만족스러운 성능을 보일지라도 모델의 의사결정 과정에 대한 근거가 적절하게 설명되지 않는다면 산업에서 활용하기가 쉽지 않다. 이러한 문제점을 해결하기 위해, 본 논문은 설명 가능한 정기예금 가입 여부 예측 기법을 제안한다. 먼저, 테이블 형식에서 우수한 성능을 도출하는 의사결정 나무 기반 앙상블 학습 기법인 랜덤 포레스트, GBM, XGBoost, LightGBM을 이용하여 분류 모델들을 개발하고, 10겹 교차검증을 통해 모델들의 분류 성능을 심층 분석한다. 다음으로, 가장 우수한 성능을 도출하는 모델에 설명 가능한 인공지능 기법인 SHAP을 적용하여 고객 정보의 영향도와 의사결정 과정 등을 해석할 수 있는 근거를 제공한다. 제안한 기법의 실용성과 타당성을 입증하기 위해, Kaggle에서 제공한 은행 마케팅 데이터 셋을 대상으로 모의실험을 진행하였으며, 데이터 셋 구성에 따라 GBM과 LightGBM 모델에 SHAP을 각기 적용하여 설명 가능한 정기예금 가입 여부를 위한 분석 및 시각화를 수행하였다.

• 융합보안논문지
• /
• 제23권1호
• /
• pp.89-95
• /
• 2023

자동차보험 사고 환자의 진료비 감소를 위한 대책 마련에 도움을 주기 위해 본 연구에서는 자동차보험 사고 40대~50대 경상 환자들의 진료비에 가장 핵심 요소인 진료 기간을 예측하고 진료 기간에 영향을 미치는 요인을 분석하였다. 이를 위해 Decision Tree 등 5개 알고리즘을 활용한 머신러닝 모델을 생성하고 모델간에 그 성능을 비교·분석하였다. 진료 기간 예측에 정밀도, 재현율, FI 점수 등 3가지 평가 지표에서 좋은 성능을 나타낸 알고리즘은 Decision Tree, Gradient Boosting 및 XGBoost 등 3가지였다. 그리고 진료 기간 예측에 영향을 미치는 요인 분석 결과, 병원의 종류, 진료 지역, 나이, 성별 등으로 나타났다. 본 연구를 통해 AutoML을 활용한 손쉬운 연구 방법을 제시하였으며, 본 연구 결과가 자동차보험 사고 진료비 경감을 위한 정책에 도움이 되기를 기대한다.

• 스마트미디어저널
• /
• 제13권4호
• /
• pp.9-15
• /
• 2024

Tree-based algorithms have been the dominant methods used build a prediction model for tabular data. This also includes personal credit data. However, they are limited to compatibility with categorical and numerical data only, and also do not capture information of the relationship between other features. In this work, we proposed an ensemble model using the Transformer architecture that includes text features and harness the self-attention mechanism to tackle the feature relationships limitation. We describe a text formatter module, that converts the original tabular data into sentence data that is fed into FinBERT along with other text features. Furthermore, we employed FT-Transformer that train with the original tabular data. We evaluate this multi-modal approach with two popular tree-based algorithms known as, Random Forest and Extreme Gradient Boosting, XGBoost and TabTransformer. Our proposed method shows superior Default Recall, F1 score and AUC results across two public data sets. Our results are significant for financial institutions to reduce the risk of financial loss regarding defaulters.

• 한국IT서비스학회지
• /
• 제21권3호
• /
• pp.63-72
• /
• 2022

The extinction crisis of local cities, caused by a population density increase phenomenon in capital regions, directly causes the increase of vacant houses in local cities. According to population and housing census, Gunsan-si has continuously shown increasing trend of vacant houses during 2015 to 2019. In particular, since Gunsan-si is the city which suffers from doughnut effect and industrial decline, problems regrading to vacant house seems to exacerbate. This study aims to provide a foundation of a system which can predict and deal with the building that has high risk of becoming vacant house through implementing a data driven vacant house prediction machine learning model. Methodologically, this study analyzes three types of machine learning model by differing the data components. First model is trained based on building register, individual declared land value, house price and socioeconomic data and second model is trained with the same data as first model but with additional POI(Point of Interest) data. Finally, third model is trained with same data as the second model but with excluding water usage and electricity usage data. As a result, second model shows the best performance based on F1-score. Random Forest, Gradient Boosting Machine, XGBoost and LightGBM which are tree ensemble series, show the best performance as a whole. Additionally, the complexity of the model can be reduced through eliminating independent variables that have correlation coefficient between the variables and vacant house status lower than the 0.1 based on absolute value. Finally, this study suggests XGBoost and LightGBM based machine learning model, which can handle missing values, as final vacant house prediction model.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.17-25
• /
• 2023

The alarming global prevalence of Type 2 Diabetes Mellitus (T2DM) has catalyzed an urgent need for robust, early diagnostic methodologies. This study unveils a pioneering approach to predicting T2DM, employing the Extreme Gradient Boosting (XGBoost) algorithm, renowned for its predictive accuracy and computational efficiency. The investigation harnesses a meticulously curated dataset of 4303 samples, extracted from a comprehensive Chinese research study, scrupulously aligned with the World Health Organization's indicators and standards. The dataset encapsulates a multifaceted spectrum of clinical, demographic, and lifestyle attributes. Through an intricate process of hyperparameter optimization, the XGBoost model exhibited an unparalleled best score, elucidating a distinctive combination of parameters such as a learning rate of 0.1, max depth of 3, 150 estimators, and specific colsample strategies. The model's validation accuracy of 0.957, coupled with a sensitivity of 0.9898 and specificity of 0.8897, underlines its robustness in classifying T2DM. A detailed analysis of the confusion matrix further substantiated the model's diagnostic prowess, with an F1-score of 0.9308, illustrating its balanced performance in true positive and negative classifications. The precision and recall metrics provided nuanced insights into the model's ability to minimize false predictions, thereby enhancing its clinical applicability. The research findings not only underline the remarkable efficacy of XGBoost in T2DM prediction but also contribute to the burgeoning field of machine learning applications in personalized healthcare. By elucidating a novel paradigm that accentuates the synergistic integration of multifaceted clinical parameters, this study fosters a promising avenue for precise early detection, risk stratification, and patient-centric intervention in diabetes care. The research serves as a beacon, inspiring further exploration and innovation in leveraging advanced analytical techniques for transformative impacts on predictive diagnostics and chronic disease management.

• 한국물환경학회지
• /
• 제38권6호
• /
• pp.292-305
• /
• 2022

The Yeongsan River, one of the four largest rivers in South Korea, has been facing difficulties with water quality management with respect to algal bloom. The algal bloom menace has become bigger, especially after the construction of two weirs in the mainstream of the Yeongsan River. Therefore, the prediction and factor analysis of Chlorophyll-a (Chl-a) concentration is needed for effective water quality management. In this study, Chl-a prediction model was developed, and the performance evaluated using machine and deep learning methods, such as Deep Neural Network (DNN), Random Forest (RF), and eXtreme Gradient Boosting (XGBoost). Moreover, the correlation analysis and the feature importance results were compared to identify the major factors affecting the concentration of Chl-a. All models showed high prediction performance with an R² value of 0.9 or higher. In particular, XGBoost showed the highest prediction accuracy of 0.95 in the test data.The results of feature importance suggested that Ammonia (NH₃-N) and Phosphate (PO₄-P) were common major factors for the three models to manage Chl-a concentration. From the results, it was confirmed that three machine learning methods, DNN, RF, and XGBoost are powerful methods for predicting water quality parameters. Also, the comparison between feature importance and correlation analysis would present a more accurate assessment of the important major factors.