• 제목/요약/키워드: Gradient boosting

검색결과 240건 처리시간 0.03초

머신러닝 기법을 활용한 토양수분 예측 가능성 연구 (Study on Soil Moisture Predictability using Machine Learning Technique)

  • 조봉준;최완민;김영대;김기성;김종건
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.248-248
    • /
    • 2020
  • 토양수분은 증발산, 유출, 침투 등 물수지 요소들과 밀접한 연관이 있는 주요한 변수 중에 하나이다. 토양수분의 정도는 토양의 특성, 토지이용 형태, 기상 상태 등에 따라 공간적으로 상이하며, 특히 기상 상태에 따라 시간적 변동성을 보이고 있다. 기존 토양수분 측정은 토양시료 채취를 통한 실내 실험 측정과 측정 장비를 통한 현장 조사 방법이 있으나 시간적, 경제적 한계점이 있으며, 원격탐사 기법은 공간적으로 넓은 범위를 포함하지만 시간 해상도가 낮은 단점이 있다. 또한, 모델링을 통한 토양수분 예측 기술은 전문적인 지식이 요구되며, 복잡한 입력자료의 구축이 요구된다. 최근 머신러닝 기법은 수많은 자료 학습을 통해 사용자가 원하는 출력값을 도출하는데 널리 활용되고 있다. 이에 본 연구에서는 토양수분과 연관된 다양한 기상 인자들(강수량, 풍속, 습도 등)을 활용하여 머신러닝기법의 반복학습을 통한 토양수분의 예측 가능성을 분석하고자 한다. 이를 위해 시공간적으로 토양수분 실측 자료가 잘 구축되어 있는 청미천과 설마천 유역을 대상으로 머신러닝 기법을 적용하였다. 두 대상지에서 2008년~2012년 수문자료를 확보하였으며, 기상자료는 기상자료개방포털과 WAMIS를 통해 자료를 확보하였다. 토양수분 자료와 기상자료를 머신러닝 알고리즘을 통해 학습하고 2012년 기상 자료를 바탕으로 토양수분을 예측하였다. 사용되는 머신러닝 기법은 의사결정 나무(Decision Tree), 신경망(Multi Layer Perceptron, MLP), K-최근접 이웃(K-Nearest Neighbors, KNN), 서포트 벡터 머신(Support Vector Machine, SVM), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 (Gradient Boosting)이다. 토양수분과 기상인자 간의 상관관계를 분석하기 위해 히트맵(Heat Map)을 이용하였다. 히트맵 분석 결과 토양수분의 시간적 변동은 다양한 기상 자료 중 강수량과 상대습도가 가장 큰 영향력을 보여주었다. 또한 다양한 기상 인자 기반 머신러닝 기법 적용 결과에서는 두 지역 모두 신경망(MLP) 기법을 제외한 모든 기법이 전반적으로 실측값과 유사한 형태를 보였으며 비교 그래프에서도 실측값과 예측 값이 유사한 추세를 나타냈다. 따라서 상관관계있는 과거 기상자료를 통해 머신러닝 기법 기반 토양수분의 시간적 변동 예측이 가능할 것으로 판단된다.

  • PDF

머신러닝을 통한 잉크 필요량 예측 알고리즘 (Machine Learning Algorithm for Estimating Ink Usage)

  • 권세욱;현영주;태현철
    • 산업경영시스템학회지
    • /
    • 제46권1호
    • /
    • pp.23-31
    • /
    • 2023
  • Research and interest in sustainable printing are increasing in the packaging printing industry. Currently, predicting the amount of ink required for each work is based on the experience and intuition of field workers. Suppose the amount of ink produced is more than necessary. In this case, the rest of the ink cannot be reused and is discarded, adversely affecting the company's productivity and environment. Nowadays, machine learning models can be used to figure out this problem. This study compares the ink usage prediction machine learning models. A simple linear regression model, Multiple Regression Analysis, cannot reflect the nonlinear relationship between the variables required for packaging printing, so there is a limit to accurately predicting the amount of ink needed. This study has established various prediction models which are based on CART (Classification and Regression Tree), such as Decision Tree, Random Forest, Gradient Boosting Machine, and XGBoost. The accuracy of the models is determined by the K-fold cross-validation. Error metrics such as root mean squared error, mean absolute error, and R-squared are employed to evaluate estimation models' correctness. Among these models, XGBoost model has the highest prediction accuracy and can reduce 2134 (g) of wasted ink for each work. Thus, this study motivates machine learning's potential to help advance productivity and protect the environment.

호우 영향예보를 위한 머신러닝 기반의 수문학적 정량강우예측(HQPF) 연구 (A Study on the Hydrological Quantitative Precipitation Forecast(HQPF) based on Machine Learning for Rainfall Impact Forecasting)

  • 추경수;신윤후;김성민;지용근;이영미;강동호;김병식
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.63-63
    • /
    • 2022
  • 기상 예보자료는 발생 가능한 재난의 예방 및 대비 차원에서 매우 중요한 자료로 활용되고 있다. 우리나라 기상청에서는 동네예보를 통해 5km 공간해상도의 1시간 간격 초단기예보와, 6시간 간격 정량강우예보(Quantitative Precipitation Forecast, QPF)의 단기예보 정보를 제공하고 있다. 그러나 이와 같은 예보자료는 강우량의 시·공간변화가 큰 집중호우와 같은 기상자료를 활용한 수문학적인 해석에는 한계가 있다. 예보자료를 수문학에 활용하기 위한 시·공간적 해상도 개선뿐만 아니라 방대한 기상 및 기후 자료의 예측성능을 개선하기 위한 다양한 연구가 진행되고 있다. 본 연구에서는 기상청이 제공하는 지역 앙상블 예측 시스템(Local ENsemble prediction System, LENS)와 종관기상관측시스템(ASOS) 및 방재기상관측시스템(AWS) 관측 데이터 및 동네예보에 기계학습 방법을 적용하여 수문학적 정량적 강수량 예측(Hydrological Quantitative Precipitation Forecast, HQPF) 정보를 생산하였다. 전처리 과정을 통해 모든 데이터의 시간해상도와 공간해상도를 동일한 해상도로 변환하였으며, 예측 변수의 인자 분석을 통해 기계학습의 예측 변수를 도출하였다. 기계학습 방법으로는 처리속도와 확장성을 고려하여 XGBoost(eXtreme Gradient Boosting) 방식을 적용하였으며, 집중호우에서의 예측정확도를 높이기 위해 확률매칭(PM) 방식을 적용하였다. 생산된 HQPF의 성능을 평가하기 위해 2020년에 발생한 14건의 호우 사상을 대상으로 태풍형과 비태풍형으로 구분하여 검증을 수행하였다.

  • PDF

Real-time prediction on the slurry concentration of cutter suction dredgers using an ensemble learning algorithm

  • Han, Shuai;Li, Mingchao;Li, Heng;Tian, Huijing;Qin, Liang;Li, Jinfeng
    • 국제학술발표논문집
    • /
    • The 8th International Conference on Construction Engineering and Project Management
    • /
    • pp.463-481
    • /
    • 2020
  • Cutter suction dredgers (CSDs) are widely used in various dredging constructions such as channel excavation, wharf construction, and reef construction. During a CSD construction, the main operation is to control the swing speed of cutter to keep the slurry concentration in a proper range. However, the slurry concentration cannot be monitored in real-time, i.e., there is a "time-lag effect" in the log of slurry concentration, making it difficult for operators to make the optimal decision on controlling. Concerning this issue, a solution scheme that using real-time monitored indicators to predict current slurry concentration is proposed in this research. The characteristics of the CSD monitoring data are first studied, and a set of preprocessing methods are presented. Then we put forward the concept of "index class" to select the important indices. Finally, an ensemble learning algorithm is set up to fit the relationship between the slurry concentration and the indices of the index classes. In the experiment, log data over seven days of a practical dredging construction is collected. For comparison, the Deep Neural Network (DNN), Long Short Time Memory (LSTM), Support Vector Machine (SVM), Random Forest (RF), Gradient Boosting Decision Tree (GBDT), and the Bayesian Ridge algorithm are tried. The results show that our method has the best performance with an R2 of 0.886 and a mean square error (MSE) of 5.538. This research provides an effective way for real-time predicting the slurry concentration of CSDs and can help to improve the stationarity and production efficiency of dredging construction.

  • PDF

원전 구조물의 경년열화를 고려한 지진응답예측 기계학습 모델의 성능평가 (Performance Evaluation of Machine Learning Model for Seismic Response Prediction of Nuclear Power Plant Structures considering Aging deterioration)

  • 김현수;김유경;이소연;장준수
    • 한국공간구조학회논문집
    • /
    • 제24권3호
    • /
    • pp.43-51
    • /
    • 2024
  • Dynamic responses of nuclear power plant structure subjected to earthquake loads should be carefully investigated for safety. Because nuclear power plant structure are usually constructed by material of reinforced concrete, the aging deterioration of R.C. have no small effect on structural behavior of nuclear power plant structure. Therefore, aging deterioration of R.C. nuclear power plant structure should be considered for exact prediction of seismic responses of the structure. In this study, a machine learning model for seismic response prediction of nuclear power plant structure was developed by considering aging deterioration. The OPR-1000 was selected as an example structure for numerical simulation. The OPR-1000 was originally designated as the Korean Standard Nuclear Power Plant (KSNP), and was re-designated as the OPR-1000 in 2005 for foreign sales. 500 artificial ground motions were generated based on site characteristics of Korea. Elastic modulus, damping ratio, poisson's ratio and density were selected to consider material property variation due to aging deterioration. Six machine learning algorithms such as, Decision Tree (DT), Random Forest (RF), Support Vector Machine (SVM), K-Nearest Neighbor (KNN), Artificial Neural Networks (ANN), eXtreme Gradient Boosting (XGBoost), were used t o construct seispic response prediction model. 13 intensity measures and 4 material properties were used input parameters of the training database. Performance evaluation was performed using metrics like root mean square error, mean square error, mean absolute error, and coefficient of determination. The optimization of hyperparameters was achieved through k-fold cross-validation and grid search techniques. The analysis results show that neural networks present good prediction performance considering aging deterioration.

A generalized explainable approach to predict the hardened properties of self-compacting geopolymer concrete using machine learning techniques

  • Endow Ayar Mazumder;Sanjog Chhetri Sapkota;Sourav Das;Prasenjit Saha;Pijush Samui
    • Computers and Concrete
    • /
    • 제34권3호
    • /
    • pp.279-296
    • /
    • 2024
  • In this study, ensemble machine learning (ML) models are employed to estimate the hardened properties of Self-Compacting Geopolymer Concrete (SCGC). The input variables affecting model development include the content of the SCGC such as the binder material, the age of the specimen, and the ratio of alkaline solution. On the other hand, the output parameters examined includes compressive strength, flexural strength, and split tensile strength. The ensemble machine learning models are trained and validated using a database comprising 396 records compiled from 132 unique mix trials performed in the laboratory. Diverse machine learning techniques, notably K-nearest neighbours (KNN), Random Forest, and Extreme Gradient Boosting (XGBoost), have been employed to construct the models coupled with Bayesian optimisation (BO) for the purpose of hyperparameter tuning. Furthermore, the application of nested cross-validation has been employed in order to mitigate the risk of overfitting. The findings of this study reveal that the BO-XGBoost hybrid model confirms better predictive accuracy in comparison to other models. The R2 values for compressive strength, flexural strength, and split tensile strength are 0.9974, 0.9978, and 0.9937, respectively. Additionally, the BO-XGBoost hybrid model exhibits the lowest RMSE values of 0.8712, 0.0773, and 0.0799 for compressive strength, flexural strength, and split tensile strength, respectively. Furthermore, a SHAP dependency analysis was conducted to ascertain the significance of each parameter. It is observed from this study that GGBS, Flyash, and the age of specimens exhibit a substantial level of influence when predicting the strengths of geopolymers.

위성 자료와 수치모델 자료를 활용한 스태킹 앙상블 기반 SO2 지상농도 추정 (Monitoring Ground-level SO2 Concentrations Based on a Stacking Ensemble Approach Using Satellite Data and Numerical Models)

  • 최현영;강유진;임정호;신민소;박서희;김상민
    • 대한원격탐사학회지
    • /
    • 제36권5_3호
    • /
    • pp.1053-1066
    • /
    • 2020
  • 이산화황(SO2)은 대기 중 화학 반응을 통해 2차 대기오염물질을 생성하는 전구체로, 주로 산업활동이나 주거 및 교통 활동 등을 통해 배출된다. 장기간 노출 시 호흡기 질환이나 심혈관 질환 등을 유발하여 인체 건강에 부정적인 영향을 미칠 수 있기 때문에 이에 대한 지속적인 모니터링이 필요하다. 우리나라에서는 SO2에 대해 관측소 기반의 모니터링이 수행되고 있으나 이는 공간적으로 연속적인 정보를 제공하는 데에 한계가 있다. 따라서, 본 연구에서는 위성자료와 수치모델 자료를 융합하여 일별 13시를 타겟으로 하는 1 km의 고해상도로 공간적으로 연속적인 SO2 지상농도를 산출하였다. 2015년 1월부터 2019년 4월까지의 기간 동안 남한 지역에 대하여 스태킹 앙상블 기법을 이용하여 SO2 지상농도 추정 모델을 개발하였다. 스태킹 앙상블 기법이란 여러가지 기계학습 기법을 두 단계로 쌓는 방식으로 융합하여 단일 모델 대비 더 향상된 성능을 도출하는 방법이다. 본 연구에서는 베이스 모델로는 RF (Random Forest)와 XGB (eXtreme Gradient BOOSTing) 기법이, 메타 모델로는 MLR (Multiple Linear Regression) 기법이 사용되었다. 구축된 모델의 교차검증 결과 메타 모델은 상관계수(R) = 0.69와 root-mean-squared-error(RMSE) = 0.0032 ppm의 결과를 보였으며 이는 베이스 모델의 평균 대비 약 25% 향상된 안정성을 보였다. 또한 모델 구축에 사용되지 않은 기간에 대한 예측 검증을 수행하여 모델의 일반화 가능성을 평가하였다. 구축된 모델을 이용하여 남한 지역의 SO2 지상농도 공간분포를 분석한 결과 일반적인 계절성과 배출원의 변화를 잘 반영하는 패턴을 보임을 확인하였다.

기계학습을 이용한 벼 수발아율 예측 (Predicting the Pre-Harvest Sprouting Rate in Rice Using Machine Learning)

  • 반호영;정재혁;황운하;이현석;양서영;최명구;이충근;이지우;이채영;윤여태;한채민;신서호;이성태
    • 한국농림기상학회지
    • /
    • 제22권4호
    • /
    • pp.239-249
    • /
    • 2020
  • 본 연구는 자연 조건에서 쌀가루용 벼의 수발아율을 예측하기 위한 것으로 기계학습을 이용하여 기상요소들에 따른 수발아율을 간단히 예측할 수 있는 초기 시스템을 개발하기 위해 수행되었다. 이를 위하여 강원도, 충청북도, 경상북도에 위치한 6개 지역에서 쌀가루용 벼 3품종을 재배하였다. 수확 후 수발아율과 출수일을 조사하였으며, 각 지역의 종관기상대의 일평균 기온과 상대 습도, 그리고 강수량 정보를 이용하여 기계학습 모델 중 하나이며, 정확도가 높은 GBM 모델로 수발아율을 예측하였다. 2017년부터 2019년까지 강원과 충북, 그리고 경북의 6개 지역에서 쌀가루 용 벼 3품종에 대해 재배 실험을 수행하였다. 조사 항목은 출수일과 수발아율이었다. 기상자료는 동일한 지역명의 종관기상대를 이용하여 일 평균 기온 및 상대 습도, 그리고 강수량 자료를 수집하였다. 수발아율 예측을 위해 기계학습 모델인 Gradient Boosting Machine (GBM)을 이용하였으며, 학습 투입 변수로는 평균 기온과 상대 습도, 그리고 총 강수량이었다. 또한 수발아 피해 관련 기간을 설정하기 위해 출수 후 몇일 후부터 그 이후의 기간에 대한 실험도 수행하였다. 자료는 수발아 피해 관련 기간의 교정을 위한 training-set과 vali-set, 검증을 위한 test-set으로 구분하였다. training-set과 vali-set으로 교정한 결과, 출수 후 22일 후부터 24일동안에서 가장 높은 score를 나타내었다. test-set으로 검증한 결과는 3.0%보다 낮은 구간에서 수발아율을 약간 높게 예측한 경향이 있었지만, 높은 예측력을 보였다(R2=0.76). 따라서, 기계학습을 이용하여 특정기간동안의 기상요소들로 수발아율을 간단하게 예측할 수 있을 것으로 예상된다. 본 연구의 결과를 종합해 볼 때, 기계학습을 이용하여 특정 기간 동안에 평균 기온과 상대 습도, 그리고 총 강수량으로 높은 수발아율 예측 성능을 보였으며, 이 시스템을 이용하여 일반 농가들을 대상으로 수발아에 관한 피해를 예방할 수 있는 조기 수발아 예측 시스템으로 이용가능 할 것으로 판단된다. 하지만 품종마다 휴면 정도 차이로 인한 수발아 관련 기간에 차이가 있으므로, 다른 쌀가루용 벼 품종에 대해서도 추가로 조사하고, 개별 품종으로 세분화하여 분석한다면 좀 더 정확도 높은 예측 시스템을 개발할 수 있을 것으로 판단된다.

KOMPSAT-3/3A 영상 기반 하천의 탁도 산출 연구 (A Study on the Retrieval of River Turbidity Based on KOMPSAT-3/3A Images)

  • 김다희;원유준;한상명;한향선
    • 대한원격탐사학회지
    • /
    • 제38권6_1호
    • /
    • pp.1285-1300
    • /
    • 2022
  • 탁도는 부유물질에 의한 빛의 산란 또는 흡수로 인한 수체의 흐림을 나타내는 수치로 수질 관리 분야에서 중요 지표로 활용되고 있다. 탁도는 소규모의 하천에서 변동성이 심할 수 있으며, 이는 국가하천의 수질에 직접적으로 영향을 준다. 따라서 고해상도의 탁도 공간정보 산출은 매우 중요하다. 이 연구에서는 Korea Multi-Purpose Satellite-3 및 -3A (KOMPSAT-3/3A) 영상으로부터 한강 수계 하천의 고해상도 탁도 매핑을 위한 eXtreme Gradient Boosting (XGBoost) 알고리즘 기반의 탁도 산출 모델을 개발하였다. 이를 위해 총 24장의 KOMPSAT-3/3A 영상과 150장의 Landsat-8 영상으로부터 계산된 대기 상단(Top Of Atmosphere, TOA) 반사율을 활용하였으며, Landsat-8 TOA 반사율은 KOMPSAT-3/3A의 관측 파장 대역에 적합하도록 교차검보정을 수행하였다. 국가수질자동관측망에서 측정된 탁도를 탁도 산출 모델의 참조자료로 사용하였고, 입력 변수로는 탁도가 실측된 위치에서의 TOA 분광반사율과 탁도 분석에 널리 이용되어 온 분광지수인 정규식생지수, 정규수분지수, 정규탁도지수, 그리고 Moderate Resolution Imaging Spectroradiometer (MODIS)의 대기 산출물(에어로졸 광학 두께, 수증기량, 오존)을 사용하였다. 또한 고탁도와 저탁도에 대한 KOMPSAT-3/3A TOA 분광반사율을 분석하여 탁도를 설명할 수 있는 새로운 정규탁도지수(new normalized difference turbidity index, nNDTI)를 제안하였고, 이를 탁도 산출 모델에 입력 변수로 추가하였다. XGBoost 기반 탁도 산출 모델은 현장관측 탁도와 비교하여 2.70 NTU의 평균 제곱근 오차(root mean square error, RMSE) 및 14.70%의 정규화된 RMSE(normalized RMSE)를 가지는 탁도를 예측하여 우수한 성능을 보였으며, 이 연구에서 새롭게 제안한 nNDTI가 탁도 산출에 있어 가장 중요한 변수로 사용되었다. 개발된 탁도 산출 모델을 KOMPSAT-3/3A 영상에 적용하여 하천 탁도를 고해상도로 매핑하였으며, 탁도의 시공간적 변동에 대한 분석이 가능하였다. 이 연구를 통하여 고해상도의 정확한 탁도 공간정보 산출에 KOMPSAT-3/3A 영상이 매우 유용함을 확인할 수 있었다.

다종 위성자료와 인공지능 기법을 이용한 한반도 주변 해역의 고해상도 해수면온도 자료 생산 (Generation of Daily High-resolution Sea Surface Temperature for the Seas around the Korean Peninsula Using Multi-satellite Data and Artificial Intelligence)

  • 정시훈;추민기;임정호;조동진
    • 대한원격탐사학회지
    • /
    • 제38권5_2호
    • /
    • pp.707-723
    • /
    • 2022
  • 위성기반 해수면온도는 광역 모니터링이 가능한 장점이 있지만, 다양한 환경적 그리고 기계적 이유로 인한 시공간적 자료공백이 발생한다. 자료공백으로 인한 활용성의 한계가 있으므로, 공백이 없는 자료 생산이 필수적이다. 따라서 본 연구에서는 한반도 주변 해역에 대해 극궤도와 정지궤도 위성에서 생산되는 해수면온도 자료를 두 단계의 기계학습을 통해 융합하여 4 km의 공간해상도를 가지는 일별 해수면온도 합성장을 만들었다. 첫번째 복원 단계에서는 Data INterpolate Convolutional AutoEncoder (DINCAE) 모델을 이용하여 다종 위성기반 해수면온도 자료를 합성하여 복원하였고, 두번째 보정 단계에서는 복원된 해수면온도 자료를 현장관측자료에 맞춰 Light Gradient Boosting Machine (LGBM) 모델로 학습시켜 최종적인 일별 해수면온도 합성장을 만들었다. 개발된 모델의 검증을 위해 복원 단계에서 무작위 50일의 자료 중 일부분을 제거하여 복원한 뒤 제거된 영역에 대해 검증하였으며, 보정 단계에서는 Leave One Year Out Cross Validation (LOYOCV) 기법을 이용하여 현장자료와의 정확도를 검증하였다. DINCAE 모델의 해수면온도 복원 결과는 상당히 높은 정확도(R2=0.98, bias=0.27℃, RMSE=0.97℃, MAE=0.73℃)를 보였다. 두번째 단계의 LGBM 보정 모델의 정확도 개선은 표층 뜰개 부이와 계류형 부이 현장자료와의 비교에서 모두 상당한 향상(RMSE=∆0.21-0.29℃, rRMSE=∆0.91-1.65%, MAE=∆0.17-0.24℃)을 보여주었다. 특히, 모든 현장 자료를 이용한 보정 모델의 표층 뜰개 부이와의 정확도는 동일한 현장 자료가 동화된 기존 해수면온도 합성장보다 나은 정확도를 보였다. 또한 LGBM 보정 모델은 랜덤포레스트(random forest)를 사용한 선행연구에서 보고된 과적합의 문제를 상당부분 해결하였다. 보정된 해수면온도는 기존의 초고해상도 해수면온도 합성장들과 유사한 수준으로 수온 전선과 와동 등의 중규모 해양현상을 뚜렷하게 모의하였다. 본 연구는 다종위성 자료와 기계학습 기법을 사용해 시공간적 공백 없는 고해상도 해수면온도 합성장 제작 방법을 제시하였다는 점에서 가치가 있다.