• Title/Summary/Keyword: gradient boosting

검색결과 240건 처리시간 0.026초

Water Level Prediction on the Golok River Utilizing Machine Learning Technique to Evaluate Flood Situations

  • Pheeranat Dornpunya;Watanasak Supaking;Hanisah Musor;Oom Thaisawasdi;Wasukree Sae-tia;Theethut Khwankeerati;Watcharaporn Soyjumpa
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.31-31
    • /
    • 2023
  • During December 2022, the northeast monsoon, which dominates the south and the Gulf of Thailand, had significant rainfall that impacted the lower southern region, causing flash floods, landslides, blustery winds, and the river exceeding its bank. The Golok River, located in Narathiwat, divides the border between Thailand and Malaysia was also affected by rainfall. In flood management, instruments for measuring precipitation and water level have become important for assessing and forecasting the trend of situations and areas of risk. However, such regions are international borders, so the installed measuring telemetry system cannot measure the rainfall and water level of the entire area. This study aims to predict 72 hours of water level and evaluate the situation as information to support the government in making water management decisions, publicizing them to relevant agencies, and warning citizens during crisis events. This research is applied to machine learning (ML) for water level prediction of the Golok River, Lan Tu Bridge area, Sungai Golok Subdistrict, Su-ngai Golok District, Narathiwat Province, which is one of the major monitored rivers. The eXtreme Gradient Boosting (XGBoost) algorithm, a tree-based ensemble machine learning algorithm, was exploited to predict hourly water levels through the R programming language. Model training and testing were carried out utilizing observed hourly rainfall from the STH010 station and hourly water level data from the X.119A station between 2020 and 2022 as main prediction inputs. Furthermore, this model applies hourly spatial rainfall forecasting data from Weather Research and Forecasting and Regional Ocean Model System models (WRF-ROMs) provided by Hydro-Informatics Institute (HII) as input, allowing the model to predict the hourly water level in the Golok River. The evaluation of the predicted performances using the statistical performance metrics, delivering an R-square of 0.96 can validate the results as robust forecasting outcomes. The result shows that the predicted water level at the X.119A telemetry station (Golok River) is in a steady decline, which relates to the input data of predicted 72-hour rainfall from WRF-ROMs having decreased. In short, the relationship between input and result can be used to evaluate flood situations. Here, the data is contributed to the Operational support to the Special Water Resources Management Operation Center in Southern Thailand for flood preparedness and response to make intelligent decisions on water management during crisis occurrences, as well as to be prepared and prevent loss and harm to citizens.

  • PDF

앙상블 학습 기반 국내 도서의 해외 판매 굿셀러 예측 및 굿셀러 리뷰 키워드 분석 (Ensemble Learning-Based Prediction of Good Sellers in Overseas Sales of Domestic Books and Keyword Analysis of Reviews of the Good Sellers)

  • 김도영;김나연;김현희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권4호
    • /
    • pp.173-178
    • /
    • 2023
  • 한국 문학이 세계적으로 관심을 받게 됨에 따라 해외 출판시장에서의 수요가 지속적으로 증가하고 있다. 따라서 해외 출판시 도서 판매량의 예측과 과거 해외 독자들의 선호도가 높았던 도서들의 특징을 분석하는 것이 중요하다. 본 논문에서는 최근 5년간 해외 출간된 도서 중에서 굿셀러로 분류되는 누적 5천 부 이상 판매 여부 예측 모델을 제안하고 굿셀러의 요인이 되는 변수들을 분석하였다. 이를 위해, XGBoost, Gradient Boosting, Adaboost, LightGBM, Random Forest의 다섯 개 앙상블 학습 모델과 Support Vector Machine, Logistic Regression, Deep Learning을 적용한 결과, 불균형 데이터 문제 해결에 앙상블 알고리즘이 큰 효과를 보였음을 확인했으며, 그 중에서도 LightGMB 모델이 99.86%의 AUC 값을 얻어 가장 좋은 예측 성능을 보임을 검증하였다. 예측을 위해 사용된 변수 중 가장 중요한 변수는 작가의 해외 출간 횟수로 나타났으며, 평점 평균, 상위 출판 시장 규모를 가진 국가에서 출판 여부와 평점 참여자 수 등이 중요한 변수로 나타났다. 또한, 굿셀러 도서에 대한 독자들의 반응을 분석하기 위해서, 굿셀러 도서 중에서도 가장 많이 판매된 4권의 작품 리뷰에 대해 텍스트 마이닝을 실시하였다. 분석 결과 스토리, 등장인물, 작가 순으로 관심을 둔 리뷰가 많았음을 알 수 있었으며, 평점이 낮은 리뷰로부터 번역 키워드가 도출된 것으로 보아, 번역에 대한 지원을 확대하는 것이 필요할 것으로 보인다.

건강보험 청구 데이터를 활용한 머신러닝 기반유방암 환자의 생존 여부 예측 (The Prediction of Survival of Breast Cancer Patients Based on Machine Learning Using Health Insurance Claim Data)

  • 이덕규;변경근;이형동;신선희
    • 한국산업정보학회논문지
    • /
    • 제28권2호
    • /
    • pp.1-9
    • /
    • 2023
  • 유방암 관련 기존 AI 연구는 보조적인 진단 예측이나 임상적 요인에 따른 진료 결과를 예측하는 주제가 많았다. 또한 연구기관의 코호트 자료나 일부 환자 자료를 이용하는 경우가 대부분이었다. 본 논문에서는 건강보험심사평가원이 보유하고 있는 전 국민 유방암 환자의 전수 데이터를 활용하여 유방암 환자의 40~50대와 다른 연령대 간의 생존 여부 예측과 생존 여부에 미치는 요인의 차이점을 분석했다. 그 결과, 환자들의 생존 여부 예측 정밀도는 40~50대가 평균 0.93으로 60~80대 0.86 보다 높았으며, 요인에 있어서도 40~50대는 치료횟수(46%)가, 60~80대는 나이(32%)의 변수 중요도가 제일 높았다. 기존 연구와 성능 비교 결과, 평균 정밀도가 0.90으로 기존 논문의 정밀도 0.81보다 높았다. 적용 알고리즘별 성능 비교 결과, 의사결정나무(Decision Tree), 랜덤포레스트(Random Forest) 및 그래디언트부스팅(Gradient Boosting)의 전체 평균 정밀도는 0.90, 재현율은 1.0으로 연령대 그룹 내에서 동일하였으며, 다층퍼셉트론(Multi-Layer Perceptron)의 정밀도는 0.89, 재현율은 1.0 이었다. 심평원의 전 국민 심사청구 빅데이터 가치 활용을 제고하기 위해 비전문가용 머신러닝 자동화(Auto ML) 도구를 사용한 더 많은 연구가 진행되기를 바란다.

딥러닝 기반 80대·90대·100대 남녀 대상 폐암 진단 후 사망률 예측에 관한 연구 (A Study on the Prediction of Mortality Rate after Lung Cancer Diagnosis for Men and Women in 80s, 90s, and 100s Based on Deep Learning )

  • 변경근;이덕규;이세영
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권2호
    • /
    • pp.87-96
    • /
    • 2023
  • 최근 의학계에서도 딥러닝 기술을 이용한 질병의 치료결과 예측 연구가 활발하다. 그러나, 소규모 환자 데이터와 특정한 딥러닝 알고리즘을 선택·활용, 연구를 진행하여 특정 조건 아래에서 의미 있는 결과를 보여주었다. 본 연구에서는 연구 결과의 일반화를 위하여 환자 대상을 좀 더 확대·세분화하여 80대·90대·100대 남녀 대상으로 폐암 진단 후 사망률 예측 연구 결과를 도출하였다. 건강보험심사평가원의 대규모 진료 정보와 다종의 딥러닝 알고리즘을 제공하는 AutoML을 이용, 80대·90대·100대 남녀의 폐암 진단 후 84개월간의 사망률 예측을 위해 Decision Tree, Random Forest, Gradient Boosting, XGBoost, Logistic Regression 등 5개 알고리즘별 모델을 생성하고 이를 통해 예측 성능을 비교하고 사망률에 영향을 미치는 요인에 대한 분석도 추진하였다. 연구 결과, 80대와 90대에서 남성이 여성보다 사망 예측률이 더 높았으며 100대에서는 여성의 사망 예측률이 남성보다 높게 나타났다. 그리고 사망률에 가장 큰 영향을 미치는 요인으로는 치료기간으로 분석되었다.

Prediction of Postoperative Lung Function in Lung Cancer Patients Using Machine Learning Models

  • Oh Beom Kwon;Solji Han;Hwa Young Lee;Hye Seon Kang;Sung Kyoung Kim;Ju Sang Kim;Chan Kwon Park;Sang Haak Lee;Seung Joon Kim;Jin Woo Kim;Chang Dong Yeo
    • Tuberculosis and Respiratory Diseases
    • /
    • 제86권3호
    • /
    • pp.203-215
    • /
    • 2023
  • Background: Surgical resection is the standard treatment for early-stage lung cancer. Since postoperative lung function is related to mortality, predicted postoperative lung function is used to determine the treatment modality. The aim of this study was to evaluate the predictive performance of linear regression and machine learning models. Methods: We extracted data from the Clinical Data Warehouse and developed three sets: set I, the linear regression model; set II, machine learning models omitting the missing data: and set III, machine learning models imputing the missing data. Six machine learning models, the least absolute shrinkage and selection operator (LASSO), Ridge regression, ElasticNet, Random Forest, eXtreme gradient boosting (XGBoost), and the light gradient boosting machine (LightGBM) were implemented. The forced expiratory volume in 1 second measured 6 months after surgery was defined as the outcome. Five-fold cross-validation was performed for hyperparameter tuning of the machine learning models. The dataset was split into training and test datasets at a 70:30 ratio. Implementation was done after dataset splitting in set III. Predictive performance was evaluated by R2 and mean squared error (MSE) in the three sets. Results: A total of 1,487 patients were included in sets I and III and 896 patients were included in set II. In set I, the R2 value was 0.27 and in set II, LightGBM was the best model with the highest R2 value of 0.5 and the lowest MSE of 154.95. In set III, LightGBM was the best model with the highest R2 value of 0.56 and the lowest MSE of 174.07. Conclusion: The LightGBM model showed the best performance in predicting postoperative lung function.

기계 학습 모델을 통해 XGBoost 기법을 활용한 부산 컨테이너 물동량 예측 (Forecasting the Busan Container Volume Using XGBoost Approach based on Machine Learning Model)

  • 웬티프엉타인;조규성
    • 사물인터넷융복합논문지
    • /
    • 제10권1호
    • /
    • pp.39-45
    • /
    • 2024
  • 항만 성능에 대한 정확한 평가는 컨테이너 물동량은 매우 중요한 요소이며, 효과적인 항만 개발 및 운영 전략에 대한 정확한 예측이 필수적이다. 하지만 해양 산업의 급격한 변화로 인해 컨테이너 물동량 예측의 정확성이 향상되기는 어렵다. 이를 해결하기 위해 사물인터넷(IoT)을 이용한 항만 성능에 미치는 영향을 분석하여 부산항의 경쟁력과 효율성을 향상시키기 위해 적용이 필요하다. 이에 본 연구에서는 부산항의 미래 컨테이너 물동량을 예측하기 위한 예측 모델을 개발하는 것을 목표로 이를 통해 항만 관리 기관의 개선된 의사 결정과 항만 생산성을 향상시키는 데 초점을 맞추고 있다. 항만 컨테이너 물동량을 예측하기 위해 본 연구에서는 기계 학습 모델의 Extreme Gradient Boosting (XGBoost) 기법을 도입하였다. XGBoost는 다른 알고리즘에 비해 높은 정확도, 빠른 학습 및 예측 속도,과적합을 방지하고 Feature Importance 제공하는 장점이 돋보인다. 특히 XGBoost는 회귀 예측 모델링에 직접 사용할 수 있어 기존 연구에서 제시된 물동량 예측 모델의 정확도 향상에 도움이 된다. 이를 통해 본 연구는 4.3% MAPE (Mean absolute percenture error) 값으로 제안된 방법이 컨테이너 물동량을 정확하고 신뢰성 있게 예측할 수 있다. 본 연구에서 제시한 방법론을 통해서 부산 컨테이너물동량의 정확성을 높일 수 있을 것으로 판단된다.

데이터 불균형 개선에 따른 탁도 예측 앙상블 머신러닝 모형의 성능 특성 (Performance Characteristics of an Ensemble Machine Learning Model for Turbidity Prediction With Improved Data Imbalance)

  • 양현석;박정수
    • Ecology and Resilient Infrastructure
    • /
    • 제10권4호
    • /
    • pp.107-115
    • /
    • 2023
  • 고 탁도의 원수는 정수장 운영 및 수 생태 환경에 부정적인 영향을 줄 수 있어 관리가 필요한 수질 인자이며, 하천의 탁도 예측을 통해 고 탁도의 원수의 효율적 관리를 수행하기 위해 관련분야에 대한 연구가 지속되고 있다. 본 연구에서는 대표적인 앙상블 머신러닝 알고리즘 중 하나인 LightGBM (light gradient boosting machine)을 이용하여 탁도를 예측하는 다중 분류 모형을 구축하였다. 모형의 구축을 위해 입력자료를 탁도값에 따라 탁도가 낮은 경우부터 높은 경우까지 4개의 class로 구분하였으며, class 1 - 4에 속하는 자료수는 각각 945개, 763개, 95개, 25개로 분류되었다. 구축한 모형의 class 1 - 4에 대한 정밀도 (Precision) 각각 0.85, 0.71, 0.26, 0.30 재현율 (Recall)은 각각 0.82, 0.76, 0.19, 0.60로 데이터 수가 적은 소수 class에서 상대적으로 모형이 성능이 낮은 경향을 보였다. 데이터 불균형을 해소하기 위해 over-sampling알고리즘 중 SMOTE를 적용한 결과 개선된 모형의 class 1 - 4에 대한 정밀도 및 재현율은 각각 0.88, 0.71, 0.26, 0.25 및 0.79, 0.76, 0.38, 0.60으로 데이터 불균형 해소를 통해 모형의 재현율이 크게 개선되는 것을 확인할 수 있었다. 또한 데이터 구성비율이 모형성능에 미치는 영향에 대한 확인을 위하여 입력자료의 구성비를 다양하게 하고 각각의 자료로 구축된 모형의 결과를 비교하여 입력자료 구성비에 따른 모형성능의 차이를 분석하였으며, 모형 입력자료의 구성비의 적정한 산정을 통해 모형의 성능을 향상시킬 수 있음을 확인하였다.

식생지수를 활용한 LULUCF 정주지 온실가스 인벤토리 산정을 위한 수목탐지 방법 개발 (Development of Tree Detection Methods for Estimating LULUCF Settlement Greenhouse Gas Inventories Using Vegetation Indices)

  • 이준우;한유한;이정택;박진혁;김근한
    • 대한원격탐사학회지
    • /
    • 제39권6_3호
    • /
    • pp.1721-1730
    • /
    • 2023
  • 전 세계적으로 지구온난화와 관련된 문제인식이 대두되면서, 도시지역에서의 탄소중립을 위해 탄소흡수원의 역할이 더욱 강조되고 있다. 정주지 탄소흡수원의 관리를 위해서는 탄소흡수원의 현황 파악이 필요하며, 이를 위해서는 많은 인력과 시간과 이에 따른 예산이 소요되게 된다. 본 연구에서는 서울시를 대상으로 기구축된 수목의 위치정보와 Sentinel-2 위성영상을 이용해 수목의 위치를 예측할 수 있는 지도를 제작했다. 이를 위해 수목 유무 데이터셋을 구축한 뒤 위성영상으로부터 구축한 식생지수 16종 정보를 이용하여 분석에 활용할 정형데이터를 생성했다. 그리고 생성된 정형데이터에 Extreme Gradient Boosting (XGBoost) 모델을 적용하여 학습 후, 수목 예측 지도를 제작했다. 이후 Shapley Additive exPlanations (SHAP) 분석을 통해 모델 학습에서 독립변수와 종속변수 간의 관계를 조사하였다. 서울의 국소 부분에 대해 제작된 지도와 세분류 토지피복지도와의 비교분석을 수행했고, 본 연구에서 제작된 수목 예측 모델의 경우 대로변 주변의 탐지하기 어려운 가로수의 경우에도 수목의 위치로 예측이 된다는 것을 확인했다.

Low-GloSea6 기상 예측 모델 기반의 비선형 회귀 기법 적용 연구 (A Study on Applying the Nonlinear Regression Schemes to the Low-GloSea6 Weather Prediction Model)

  • 박혜성;조예린;신대영;윤은옥;정성욱
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권6호
    • /
    • pp.489-498
    • /
    • 2023
  • 하드웨어의 성능 및 컴퓨팅 기술의 발전 덕분에 기후환경 변화를 대비하기 위해 기후예측 모델 또한 발전하고 있다. 한국 기상청은 GloSea6를 도입하여 슈퍼컴퓨터를 이용하여 기상 예측을 하고있으며, 각 대학 및 연구 기관에서는 중소규모 서버에서 사용하기 위해 저해상도 결합모델인 Low-GloSea6를 사용하여 기상 연구에 활용하고 있다. 본 논문에서는 중소규모 서버에서의 기상 연구의 원활한 연구를 위해 Low-GloSea6의 Intel VTune Profiler를 사용한 분석을 진행하였으며 1125.987초의 CPU Time을 수행하는 대기모델의 tri_sor_dp_dp 함수를 Hotspot으로 검출하였다. 수치적 연산을 진행하는 기존 함수에 머신러닝 기법의 하나인 비선형 회귀모델을 적용 및 비교하여 머신러닝 적용 가능성을 확인하였다. 기존 tri_sor_dp_dp 함수의 실제 연산되는 값인 1e-3 ~ 1e-20의 범위를 가지는 Output Data인 변수 "Px"를 기준으로 평가하였을때 K-최근접 이웃 회귀 모델은 MAE가 1.3637e-08, SMAPE가 123.2707%로 가장 우수하게 나타났으며 RMSE의 경우 Light Gradient Boosting Machine 회귀 모델이 2.8453e-08로 가장 우수한 성능을 보이는 것으로 측정되었다. 따라서 Low-GloSea6 수행 과정 중 tri_sor_dp_dp 함수의 데이터를 추출 후 비선형 회귀 모델을 적용한 결과로 기존의 tri_sor_dp_dp 함수의 수치적 연산 값과 K-최근접 이웃 회귀 모델을 비교하였을 때 SMAPE가 123.2707%의 오차가 발생하는 것으로 측정되어 기존 모듈의 대체 가능성이 있다는 것을 확인하였다.

한국 지방자치단체의 주민참여예산제도 운영에 관한 연구 - Support Vector Machine 기법을 이용한 유형 구분 (A Study on Korean Local Governments' Operation of Participatory Budgeting System : Classification by Support Vector Machine Technique)

  • 한준현;유재민;배재연;임충혁
    • 문화기술의 융합
    • /
    • 제10권3호
    • /
    • pp.461-466
    • /
    • 2024
  • 한국의 주민참여예산제도는 자치단체별로 자율적으로 운영되도록 하고 있어서, 본 연구는 이들을 몇 개의 유사한 유형들로 구분하여서 각각의 특징들을 살펴보고자 한다. 본 연구는 다양한 머신 러닝 기법들을 활용하여 2022년도 기초 시(市)를 중심으로 운영유형을 분류하였다. 그 결과, 여러 머신 러닝 기법(Neural Network, Rule Induction(CN2), KNN, Decision Tree, Random Forest, Gradient Boosting, SVM, Naïve Bayes) 중에서 SVM 기법이 성능이 가장 좋은 것으로 확인되었다. SVM 기법이 밝혀낸 운영유형은 모두 3개인데, 하나는 위원회 활동은 적게 하지만, 참여예산은 많이 확보하는 클러스터(C1)이고, 다른 하나는 주민참여예산제에 매우 소극적인 도시들의 클러스터(C3)이다. 마지막 클러스터(C2)는 참여예산에 전반적으로 적극적인데, 대다수 지역이 여기에 해당한다. 결론적으로 한국의 대다수 자치단체는 주민참여예산제를 긍정적으로 운영하고 있으며, 오직 소수의 자치단체만 소극적이다. 후속 연구로 지난 10여 년간의 시계열 자료를 분석한다면, 우리는 주민참여예산에 관한 지방자치단체 유형 분류의 신뢰도를 더욱 높일 수 있을 것으로 기대한다.