• 제목/요약/키워드: Random forest models

검색결과 385건 처리시간 0.021초

서울 경마 경기 우승마 예측 모형 연구 (Analysis of Horse Races: Prediction of Winning Horses in Horse Races Using Statistical Models)

  • 최혜민;황나영;황찬경;송종우
    • 응용통계연구
    • /
    • 제28권6호
    • /
    • pp.1133-1146
    • /
    • 2015
  • 경마 산업은 국내 합법 사행산업의 대부분을 차지하고 있다. 그러나 사행성 도박이라는 인식 하에 여타 스포츠 산업에 비해 활발한 통계적 분석이 이루어지지 않고 있다. 본 연구의 목적은 다양한 데이터마이닝 기법을 이용하여 우승마를 예측하는 모형 개발에 있다. 모형 적합에 사용한 데이터는 한국 마사회에서 제공하는 자료를 바탕으로 하였으며, 경마 성적표, 경주마 정보, 기수 정보, 조교사 정보 등을 사용하였다. 예측 모형은 크게 두 모형으로 나누어 순위를 기반으로 한 모형과 기록을 기반으로 한 모형으로 적합하였고, 분석 방법으로는 선형회귀분석, 랜덤 포레스트, 로지스틱 회귀 분석을 사용하였다. 그 결과 말 기본 정보와 과거 우승 경력, 기수의 과거 우승 경력 등이 순위 예측에 큰 영향을 미치는 것을 알 수 있었다. 모형 적합에 사용되지 않은 최근 1개월 간 데이터를 이용하여 단승식, 복승식, 삼복승식으로 배팅한 결과 모형 간 큰 차이가 없었고, 모두 양의 수익을 얻을 수 있었다.

자동차 사고 경상환자의 장기입원 예측 모델 개발 (Development of Long-Term Hospitalization Prediction Model for Minor Automobile Accident Patients)

  • 이덕규;남동현;허성필
    • 한국산업정보학회논문지
    • /
    • 제28권6호
    • /
    • pp.11-20
    • /
    • 2023
  • 자동차보험 교통사고 진료비는 매년 증가하고 있다. 본 연구는 교통사고 진료비용 상승의 주요 항목인 경상환자 중 장기입원환자(18일 이상)를 예측하는 모델을 decision tree 등 5개 알고리즘을 이용하여 생성하고, 장기입원에 영향을 미치는 요인을 분석했다. 그 결과, 예측 모델의 정확도는 91.377 ~ 91.451이며 각 모델 사이에 큰 차이점은 없었으나 random forest와 XGBoost 모델이 91.451로 가장 높았다. 설명변수 중요도에 있어서 병원 소재지, 상병명, 병원 종류 등 장기환자군과 비 장기입원 환자군 사이에 모델마다 상당한 차이가 있었다. 모델 평가는 훈련 데이터의 교차검증(10회)한 모델별 평균 정확도와 실험 데이터의 정확도를 상호 비교한 결과로 검정했다. 설명변수 유의성 검증을 위해 범주형 변수는 카이제곱 테스트를 실시하였다. 본 논문의 연구 결과는 경상 환자들의 과잉진료 및 사회적 보험료 비용을 줄이는 진료행태 분석에 도움이 될 것이다.

Improved prediction of soil liquefaction susceptibility using ensemble learning algorithms

  • Satyam Tiwari;Sarat K. Das;Madhumita Mohanty;Prakhar
    • Geomechanics and Engineering
    • /
    • 제37권5호
    • /
    • pp.475-498
    • /
    • 2024
  • The prediction of the susceptibility of soil to liquefaction using a limited set of parameters, particularly when dealing with highly unbalanced databases is a challenging problem. The current study focuses on different ensemble learning classification algorithms using highly unbalanced databases of results from in-situ tests; standard penetration test (SPT), shear wave velocity (Vs) test, and cone penetration test (CPT). The input parameters for these datasets consist of earthquake intensity parameters, strong ground motion parameters, and in-situ soil testing parameters. liquefaction index serving as the binary output parameter. After a rigorous comparison with existing literature, extreme gradient boosting (XGBoost), bagging, and random forest (RF) emerge as the most efficient models for liquefaction instance classification across different datasets. Notably, for SPT and Vs-based models, XGBoost exhibits superior performance, followed by Light gradient boosting machine (LightGBM) and Bagging, while for CPT-based models, Bagging ranks highest, followed by Gradient boosting and random forest, with CPT-based models demonstrating lower Gmean(error), rendering them preferable for soil liquefaction susceptibility prediction. Key parameters influencing model performance include internal friction angle of soil (ϕ) and percentage of fines less than 75 µ (F75) for SPT and Vs data and normalized average cone tip resistance (qc) and peak horizontal ground acceleration (amax) for CPT data. It was also observed that the addition of Vs measurement to SPT data increased the efficiency of the prediction in comparison to only SPT data. Furthermore, to enhance usability, a graphical user interface (GUI) for seamless classification operations based on provided input parameters was proposed.

A generalized explainable approach to predict the hardened properties of self-compacting geopolymer concrete using machine learning techniques

  • Endow Ayar Mazumder;Sanjog Chhetri Sapkota;Sourav Das;Prasenjit Saha;Pijush Samui
    • Computers and Concrete
    • /
    • 제34권3호
    • /
    • pp.279-296
    • /
    • 2024
  • In this study, ensemble machine learning (ML) models are employed to estimate the hardened properties of Self-Compacting Geopolymer Concrete (SCGC). The input variables affecting model development include the content of the SCGC such as the binder material, the age of the specimen, and the ratio of alkaline solution. On the other hand, the output parameters examined includes compressive strength, flexural strength, and split tensile strength. The ensemble machine learning models are trained and validated using a database comprising 396 records compiled from 132 unique mix trials performed in the laboratory. Diverse machine learning techniques, notably K-nearest neighbours (KNN), Random Forest, and Extreme Gradient Boosting (XGBoost), have been employed to construct the models coupled with Bayesian optimisation (BO) for the purpose of hyperparameter tuning. Furthermore, the application of nested cross-validation has been employed in order to mitigate the risk of overfitting. The findings of this study reveal that the BO-XGBoost hybrid model confirms better predictive accuracy in comparison to other models. The R2 values for compressive strength, flexural strength, and split tensile strength are 0.9974, 0.9978, and 0.9937, respectively. Additionally, the BO-XGBoost hybrid model exhibits the lowest RMSE values of 0.8712, 0.0773, and 0.0799 for compressive strength, flexural strength, and split tensile strength, respectively. Furthermore, a SHAP dependency analysis was conducted to ascertain the significance of each parameter. It is observed from this study that GGBS, Flyash, and the age of specimens exhibit a substantial level of influence when predicting the strengths of geopolymers.

머신러닝을 사용한 서리 예측 연구 (A study on frost prediction model using machine learning)

  • 김효정;김삼용
    • 응용통계연구
    • /
    • 제35권4호
    • /
    • pp.543-552
    • /
    • 2022
  • 서리는 표면 근처의 공기의 이슬점 온도가 빙점 이하일 때 수증기가 승화, 응축되어 땅이나 물체에 얼게 되는 작은 얼음 결정체이다. 서리가 내리면 농작물이 직접 피해를 입는다. 농작물이 낮은 온도에 접촉하면 조직이 얼어서 세포막이나 엽록체가 딱딱해지고 파괴되거나 건조한 세포가 죽습니다. 2020년 7월, 세계 최대 커피 생산국인 브라질 미나스제라이스 주에 갑작스러운 영하의 날씨와 서리가 내려 지역 커피 나무의 약 30%가 피해를 입었다. 이로 인해 피해로 커피값이 크게 올랐고, 피해가 심각한 농가는 농작물이 회복되기까지 3년이 걸리기 때문에 2024년에야 커피를 생산할 수 있다. 본 논문에서는 심한 서리가 내리는 것을 방지하기 위해 기상청이 제공하는 서리 발생 데이터와 기상관측 데이터를 이용해 서리를 예측하려고 했다. 관측 지점의 고도 및 풍속, 온도, 습도, 강수량, 흐림 등의 기상 요인을 반영하여 모델을 구축하였다. XGB, SVM, Random Forest, MLP 모델을 사용하여 다양한 하이퍼 파라미터를 학습 데이터로 적용하여 각 모델에 가장 적합한 모델을 선택하였다. 마지막으로, 결과는 테스트 데이터에서 정확도(acc)와 중요 성공 지수(CSI)로 평가되었다. XGB는 90.4%의 acc와 64.4%의 CSI로 다른 모델에 비해 최고의 모델이었고, SVM은 89.7%의 acc와 61.2%의 CSI로 그 뒤를 이었다. 랜덤 포레스트와 MLP는 약 89%의 acc와 약 60%의 CSI로 비슷한 성능을 보였다.

RFE-SHAP을 활용한 온라인 리뷰를 통한 고객 만족도 예측 (Prediction of Customer Satisfaction Using RFE-SHAP Feature Selection Method)

  • 체르냐예바 올가;홍태호
    • 지능정보연구
    • /
    • 제29권4호
    • /
    • pp.325-345
    • /
    • 2023
  • 본 연구는 온라인 리뷰를 이용하여 고객 만족도를 예측하는 새로운 접근 방식을 제안한다. LDA 주제 모델링과 결합된 RFE-SHAP 기능 선택 방법을 활용하여 고객 만족도에 큰 영향을 미치는 주요 기능을 식별하여 예측 분석을 개선했다. 먼저 Random Forest 알고리즘의 경우, 초기 28개 입력변수에서 14개의 변수를 최적 하위 집합으로 추출했다. 제안된 방법에서 Random Forest 모델의 성과는 84%로 확인 되었으며 변수가 많은 모델에서 흔히 발생하는 과적합을 방지하였다. 또한 품질, 착용감, 내구성 등과 같은 리뷰의 특정 요소들이 패션 산업 내에서 소비자 만족도를 증진시키는 중요한 역할을 한다는 사실을 밝혀냈다. 본 연구는 예측 결과를 설명할 때 선택한 각 기능이 고객 만족도에 어떻게 영향을 미치는지에 대한 자세한 설명을 제공하고 고객이 가장 중요하게 생각하는 측면에 대한 세부적인 보기를 제공한다. 본 연구의 공헌도는 다음과 같다. 첫째, 전자상거래 분석 분야 내에서 예측 모델링을 강화하고 특성 중심적인 접근법을 소개함으로써 방법론을 개선하였다. 이는 고객 만족도 예측의 정확도를 높일 뿐만 아니라 예측 모델에서의 변수 선택에 대한 새로운 접근을 제시한다. 둘째, 특히 의류 부문에서 전자상거래 플랫폼에 구체적인 통찰력을 제공한다. 품질, 사이즈, 내구성 등 고객 리뷰의 어떤 부분이 만족도에 가장 큰 영향을 미치는지 강조함으로써, 기업들이 제품과 서비스를 맞춤화 할 수 있는 전략적 방향을 제시한다. 이러한 목표 지향적인 개선은 고객의 쇼핑 경험을 개선하고, 만족도를 향상시키면서 충성도를 이끌어낼 수 있을 것으로 기대한다.

머신러닝 기반의 온실 VPD 예측 모델 비교 (Comparison of Machine Learning-Based Greenhouse VPD Prediction Models)

  • 장경민;이명배;임종현;오한별;신창선;박장우
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권3호
    • /
    • pp.125-132
    • /
    • 2023
  • 본 연구에서는 식물의 영양분 흡수에 따른 식물 성장뿐만 아니라 기공 기능 및 광합성에도 영향을 끼치는 온실의 수증기압차(VPD, Vapor Pressure Deficit)예측을 위한 머신러닝 모델들의 성능을 비교해보았다. VPD 예측을 위해 온실 내·외부 환경요소 및 시계열 데이터의 시간적 요소들과의 상관관계를 확인하고 상관관계가 높은 요소들이 VPD에 어떤 영향을 미치는지 확인하였다. 예측 모델의 성능을 분석하기 전 분석 시계열 데이터의 양(1일, 3일, 7일), 간격(20분, 1시간)이 예측 성능에 미치는 영향을 확인하여 데이터의 양과 간격을 조절하였다. 마지막으로 4개의 머신러닝 예측 모델(XGB Regressor, LGBM Regressor, Random Forest Regressor 등)을 적용하여 모델별 예측 성능을 비교했다. 모델의 예측 결과로 20분 간격의 1일의 데이터를 사용했을 때 LGBM에서 MAE는 0.008, RMSE는 0.011의 가장 높은 예측 성능을 보였다. 또한 20분 후 VPD 예측에 가장 큰 영향을 미치는 요소는 환경적 요인보다는 과거 20분 전의 VPD(VPD_y__71)임을 확인하였다. 본 연구의 결과를 활용하여 VPD 예측을 통해 작물의 생산성을 높이고, 온실의 결로, 병 발생 예방 등이 가능하다. 향후 온실의 환경 데이터 예측뿐만 아니라 더 나아가 생산량 예측, 스마트팜 제어 모델 등 다양한 분야에 활용할 수 있을 것이다.

A sensitivity analysis of machine learning models on fire-induced spalling of concrete: Revealing the impact of data manipulation on accuracy and explainability

  • Mohammad K. al-Bashiti;M.Z. Naser
    • Computers and Concrete
    • /
    • 제33권4호
    • /
    • pp.409-423
    • /
    • 2024
  • Using an extensive database, a sensitivity analysis across fifteen machine learning (ML) classifiers was conducted to evaluate the impact of various data manipulation techniques, evaluation metrics, and explainability tools. The results of this sensitivity analysis reveal that the examined models can achieve an accuracy ranging from 72-93% in predicting the fire-induced spalling of concrete and denote the light gradient boosting machine, extreme gradient boosting, and random forest algorithms as the best-performing models. Among such models, the six key factors influencing spalling were maximum exposure temperature, heating rate, compressive strength of concrete, moisture content, silica fume content, and the quantity of polypropylene fiber. Our analysis also documents some conflicting results observed with the deep learning model. As such, this study highlights the necessity of selecting suitable models and carefully evaluating the presence of possible outcome biases.

랜덤 포레스트를 이용한 한국어 상호참조 해결 (Coreference Resolution for Korean Using Random Forests)

  • 정석원;최맹식;김학수
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.535-540
    • /
    • 2016
  • 상호참조 해결은 문서 내에 존재하는 멘션들을 식별하고, 참조하는 멘션끼리 군집화하는 것으로 정보 추출, 사건 추적, 질의응답과 같은 자연어처리 응용에 필수적인 과정이다. 최근에는 기계학습에 기반한 다양한 상호참조 해결 모델들이 제안되었으며, 잘 알려진 것처럼 이런 기계학습 기반 모델들은 상호참조 멘션 태그들이 수동으로 부착된 대량의 학습 데이터를 필요로 한다. 그러나 한국어에서는 기계학습 모델들을 학습할 가용한 공개 데이터가 존재하지 않는다. 그러므로 본 논문에서는 다른 기계학습 모델보다 적은 학습 데이터를 필요로 하는 효율적인 상호참조 해결 모델을 제안한다. 제안 모델은 시브-가이드 자질 기반의 랜덤 포레스트를 사용하여 상호참조하는 멘션들을 구분한다. 야구 뉴스 기사를 이용한 실험에서 제안 모델은 다른 기계학습 모델보다 높은 0.6678의 CoNLL F1-점수를 보였다.

Identifying the Optimal Machine Learning Algorithm for Breast Cancer Prediction

  • ByungJoo Kim
    • International journal of advanced smart convergence
    • /
    • 제13권3호
    • /
    • pp.80-88
    • /
    • 2024
  • Breast cancer remains a significant global health burden, necessitating accurate and timely detection for improved patient outcomes. Machine learning techniques have demonstrated remarkable potential in assisting breast cancer diagnosis by learning complex patterns from multi-modal patient data. This study comprehensively evaluates several popular machine learning models, including logistic regression, decision trees, random forests, support vector machines (SVMs), naive Bayes, k-nearest neighbors (KNN), XGBoost, and ensemble methods for breast cancer prediction using the Wisconsin Breast Cancer Dataset (WBCD). Through rigorous benchmarking across metrics like accuracy, precision, recall, F1-score, and area under the ROC curve (AUC), we identify the naive Bayes classifier as the top-performing model, achieving an accuracy of 0.974, F1-score of 0.979, and highest AUC of 0.988. Other strong performers include logistic regression, random forests, and XGBoost, with AUC values exceeding 0.95. Our findings showcase the significant potential of machine learning, particularly the robust naive Bayes algorithm, to provide highly accurate and reliable breast cancer screening from fine needle aspirate (FNA) samples, ultimately enabling earlier intervention and optimized treatment strategies.