• 제목/요약/키워드: ensemble machine learning

검색결과 231건 처리시간 0.023초

빅데이터 기반 2형 당뇨 예측 알고리즘 개발 (Development of Type 2 Prediction Prediction Based on Big Data)

  • 심현;김현욱
    • 한국전자통신학회논문지
    • /
    • 제18권5호
    • /
    • pp.999-1008
    • /
    • 2023
  • 당뇨병과 같은 만성 질환의 조기 예측은 중요한 이슈이며, 그중에서도 당뇨 예측의 정확도 향상은 매우 중요하다. 당뇨 예측을 위한 다양한 기계 학습 및 딥 러닝 기반 방법론을 도입하고 있으나, 이러한 기술들은 다른 방법론보다 더 우수한 성능을 위해 대량의 데이터를 필요로 하며, 복잡한 데이터 모델 때문에 학습 비용이 높다. 본 연구에서는 pima 데이터셋과 k-fold 교차 검증을 사용한 DNN이 당뇨 진단 모델의 효율성을 감소시킨다는 주장을 검증하고자 한다. 의사 결정 트리, SVM, 랜덤 포레스트, 로지스틱 회귀, KNN 및 다양한 앙상블 기법과 같은 기계 학습 분류 방법을 사용하여 어떤 알고리즘이 최상의 예측 결과를 내는지 결정하였다. 모든 분류 모델에 대한 훈련 및 테스트 후 제안된 시스템은 ADASYN 방법과 함께 XGBoost 분류기에서 최상의 결과를 제공하였으며, 정확도는 81%, F1 계수는 0.81, AUC는 0.84였다. 또한 도메인 적응 방법이 제안된 시스템의 다양성을 보여주기 위해 구현되었다. LIME 및 SHAP 프레임워크를 사용한 설명 가능한 AI 접근 방식이 모델이 최종 결과를 어떻게 예측하는지 이해하기 위해 구현되었다.

Analyzing Machine Learning Techniques for Fault Prediction Using Web Applications

  • Malhotra, Ruchika;Sharma, Anjali
    • Journal of Information Processing Systems
    • /
    • 제14권3호
    • /
    • pp.751-770
    • /
    • 2018
  • Web applications are indispensable in the software industry and continuously evolve either meeting a newer criteria and/or including new functionalities. However, despite assuring quality via testing, what hinders a straightforward development is the presence of defects. Several factors contribute to defects and are often minimized at high expense in terms of man-hours. Thus, detection of fault proneness in early phases of software development is important. Therefore, a fault prediction model for identifying fault-prone classes in a web application is highly desired. In this work, we compare 14 machine learning techniques to analyse the relationship between object oriented metrics and fault prediction in web applications. The study is carried out using various releases of Apache Click and Apache Rave datasets. En-route to the predictive analysis, the input basis set for each release is first optimized using filter based correlation feature selection (CFS) method. It is found that the LCOM3, WMC, NPM and DAM metrics are the most significant predictors. The statistical analysis of these metrics also finds good conformity with the CFS evaluation and affirms the role of these metrics in the defect prediction of web applications. The overall predictive ability of different fault prediction models is first ranked using Friedman technique and then statistically compared using Nemenyi post-hoc analysis. The results not only upholds the predictive capability of machine learning models for faulty classes using web applications, but also finds that ensemble algorithms are most appropriate for defect prediction in Apache datasets. Further, we also derive a consensus between the metrics selected by the CFS technique and the statistical analysis of the datasets.

Classifying Social Media Users' Stance: Exploring Diverse Feature Sets Using Machine Learning Algorithms

  • Kashif Ayyub;Muhammad Wasif Nisar;Ehsan Ullah Munir;Muhammad Ramzan
    • International Journal of Computer Science & Network Security
    • /
    • 제24권2호
    • /
    • pp.79-88
    • /
    • 2024
  • The use of the social media has become part of our daily life activities. The social web channels provide the content generation facility to its users who can share their views, opinions and experiences towards certain topics. The researchers are using the social media content for various research areas. Sentiment analysis, one of the most active research areas in last decade, is the process to extract reviews, opinions and sentiments of people. Sentiment analysis is applied in diverse sub-areas such as subjectivity analysis, polarity detection, and emotion detection. Stance classification has emerged as a new and interesting research area as it aims to determine whether the content writer is in favor, against or neutral towards the target topic or issue. Stance classification is significant as it has many research applications like rumor stance classifications, stance classification towards public forums, claim stance classification, neural attention stance classification, online debate stance classification, dialogic properties stance classification etc. This research study explores different feature sets such as lexical, sentiment-specific, dialog-based which have been extracted using the standard datasets in the relevant area. Supervised learning approaches of generative algorithms such as Naïve Bayes and discriminative machine learning algorithms such as Support Vector Machine, Naïve Bayes, Decision Tree and k-Nearest Neighbor have been applied and then ensemble-based algorithms like Random Forest and AdaBoost have been applied. The empirical based results have been evaluated using the standard performance measures of Accuracy, Precision, Recall, and F-measures.

XGboost 기반의 WiFi 신호를 이용한 실내 측위 기법 (Indoor positioning method using WiFi signal based on XGboost)

  • 황치곤;윤창표;김대진
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.70-75
    • /
    • 2022
  • 위치를 정확하게 측정하는 것은 다양한 서비스를 제공하는 데 필요하다. 실내 측위를 위한 데이터는 스마트 폰의 앱을 통해 WiFi 장치로부터 RSSI 값을 측정한다. 이렇게 측정된 데이터는 기계학습의 원시 데이터가 된다. 특징 데이터는 측정된 RSSI 값이고, 레이블은 측정한 위치에 대한 공간의 이름으로 한다. 이를 위한 기계학습 기법은 분류에 효율적인 기법을 적용하여 WiFi 신호만으로 정확한 위치를 예측하는 기법을 연구하고자 한다. 앙상블은 하나의 모델보다 다양한 모델을 통하여 더 정확한 예측값을 구하는 기법으로, bagging과 boosting이 있다. 이 중 Boosting은 샘플링한 데이터를 바탕으로 모델링한 결과를 통해 모델의 가중치를 조정하는 기법으로, 다양한 알고리즘이 있다. 본 연구는 위 기법 중 XGboost를 이용하고, 다른 앙상블 기법과 이용한 수행결과를 바탕으로 성능을 평가한다.

머신러닝 CatBoost 다중 분류 알고리즘을 이용한 조류 발생 예측 모형 성능 평가 연구 (Evaluation of Multi-classification Model Performance for Algal Bloom Prediction Using CatBoost)

  • 김준오;박정수
    • 한국물환경학회지
    • /
    • 제39권1호
    • /
    • pp.1-8
    • /
    • 2023
  • Monitoring and prediction of water quality are essential for effective river pollution prevention and water quality management. In this study, a multi-classification model was developed to predict chlorophyll-a (Chl-a) level in rivers. A model was developed using CatBoost, a novel ensemble machine learning algorithm. The model was developed using hourly field monitoring data collected from January 1 to December 31, 2015. For model development, chl-a was classified into class 1 (Chl-a≤10 ㎍/L), class 2 (10<Chl-a≤50 ㎍/L), and class 3 (Chl-a>50 ㎍/L), where the number of data used for the model training were 27,192, 11,031, and 511, respectively. The macro averages of precision, recall, and F1-score for the three classes were 0.58, 0.58, and 0.58, respectively, while the weighted averages were 0.89, 0.90, and 0.89, for precision, recall, and F1-score, respectively. The model showed relatively poor performance for class 3 where the number of observations was much smaller compared to the other two classes. The imbalance of data distribution among the three classes was resolved by using the synthetic minority over-sampling technique (SMOTE) algorithm, where the number of data used for model training was evenly distributed as 26,868 for each class. The model performance was improved with the macro averages of precision, rcall, and F1-score of the three classes as 0.58, 0.70, and 0.59, respectively, while the weighted averages were 0.88, 0.84, and 0.86 after SMOTE application.

통합적인 인공 신경망 모델을 이용한 발틱운임지수 예측 (Predicting the Baltic Dry Bulk Freight Index Using an Ensemble Neural Network Model)

  • 소막
    • 무역학회지
    • /
    • 제48권2호
    • /
    • pp.27-43
    • /
    • 2023
  • 해양 산업은 글로벌 경제 성장에 매우 중요한 역할을 하고 있다. 특히 벌크운임지수인 BDI는 글로벌 상품 가격과 매우 밀접한 상관 관계를 지니고 있기 때문에 BDI 예측 연구의 중요성이 증가하고 있다. 본연구에서는 글로벌 시장 상황 불안정성으로 인한 정확한 BDI 예측 어려움을 해결하고자 머신러닝 전략을 도입하였다. CNN과 LSTM의 이점을 결합한 예측 모델을 설정하였고, 모델 적합도를 위해 27년간의 일일 BDI 데이터를 수집하였다. 연구 결과, CNN을 통해 추출된 BDI 특징을 기반으로 LSTM이 BDI를 R2 값 94.7%로 정확하게 예측할 수 있었다. 본 연구는 해운 경제지표 연구 분야에서 새로운 머신 러닝 통합 접근법을 적용했을 뿐만 아니라 해운 관련기관과 금융 투자 분야의 위험 관리 의사결정에 대한 시사점을 제공한다는 점에서 그 의의가 있다.

앙상블 Voting 기법을 활용한 배추 가격 예측에 관한 연구 (A Study on the Prediction of Cabbage Price Using Ensemble Voting Techniques)

  • 이창민;송성광;정성욱
    • 융합정보논문지
    • /
    • 제12권3호
    • /
    • pp.1-10
    • /
    • 2022
  • 배추와 같은 채소류는 자연재해의 영향을 많이 받기 때문에 폭우나 병해와 같은 재해로 인해 가격 변동이 심해져 농가 경제에 영향을 미치게 된다. 이러한 문제를 해결하기 위해서 농산물 가격 예측을 위한 다양한 노력이 행해졌지만 극심한 가격 예측 변동을 예측하기는 어렵다. 본 연구에서는 단일 분류기를 결합하여 다양한 여러 개의 분류기를 통해 최종 예측 결과를 결정하는 방식인 앙상블 Voting 기법으로 배추 가격을 분석하였다. 또한 시계 열 분석 방법인 LSTM과 부스팅 기법인 XGBoost와 RandomForest로 결과 비교를 하였다. 가격 데이터는 일별 데이터를 사용하였고 배추 가격에 영향을 주는 기상정보와 물가지수 등을 사용하였다. 연구 결과로는 실제값과 예측값의 차이를 보여주는 RMSE 값이 약 236 수준이다. 이 연구를 활용하여 농산물 가격 예측과 같은 다른 시계 열 분석 연구 모델 선정에 활용할 수 있을 것으로 기대된다.

Metaheuristic models for the prediction of bearing capacity of pile foundation

  • Kumar, Manish;Biswas, Rahul;Kumar, Divesh Ranjan;T., Pradeep;Samui, Pijush
    • Geomechanics and Engineering
    • /
    • 제31권2호
    • /
    • pp.129-147
    • /
    • 2022
  • The properties of soil are naturally highly variable and thus, to ensure proper safety and reliability, we need to test a large number of samples across the length and depth. In pile foundations, conducting field tests are highly expensive and the traditional empirical relations too have been proven to be poor in performance. The study proposes a state-of-art Particle Swarm Optimization (PSO) hybridized Artificial Neural Network (ANN), Extreme Learning Machine (ELM) and Adaptive Neuro Fuzzy Inference System (ANFIS); and comparative analysis of metaheuristic models (ANN-PSO, ELM-PSO, ANFIS-PSO) for prediction of bearing capacity of pile foundation trained and tested on dataset of nearly 300 dynamic pile tests from the literature. A novel ensemble model of three hybrid models is constructed to combine and enhance the predictions of the individual models effectively. The authenticity of the dataset is confirmed using descriptive statistics, correlation matrix and sensitivity analysis. Ram weight and diameter of pile are found to be most influential input parameter. The comparative analysis reveals that ANFIS-PSO is the best performing model in testing phase (R2 = 0.85, RMSE = 0.01) while ELM-PSO performs best in training phase (R2 = 0.88, RMSE = 0.08); while the ensemble provided overall best performance based on the rank score. The performance of ANN-PSO is least satisfactory compared to the other two models. The findings were confirmed using Taylor diagram, error matrix and uncertainty analysis. Based on the results ELM-PSO and ANFIS-PSO is proposed to be used for the prediction of bearing capacity of piles and ensemble learning method of joining the outputs of individual models should be encouraged. The study possesses the potential to assist geotechnical engineers in the design phase of civil engineering projects.

머신러닝 기법과 TBM 시공정보를 활용한 토압식 쉴드TBM 굴진율 예측 연구 (A Study on Prediction of EPB shield TBM Advance Rate using Machine Learning Technique and TBM Construction Information)

  • 강태호;최순욱;이철호;장수호
    • 터널과지하공간
    • /
    • 제30권6호
    • /
    • pp.540-550
    • /
    • 2020
  • 최근 AI 기술의 발전과 정립으로 자동화 분야에서 머신러닝 기법의 활용이 활발하게 이루어지고 있다. 머신러닝 기법의 활용에 있어 중요한 점은 데이터 특성에 따라 적합한 알고리즘이 존재한다는 점이며, 머신러닝 기법 적용을 위한 데이터세트의 분석이 필요하다. 본 연구에서는 다양한 머신러닝 기법을 기반으로 하천 하부의 토사지반을 통과하는 토압식 쉴드TBM 터널 구간의 지반정보와 굴진정보를 사용하여 토압식 쉴드TBM의 굴진율을 예측하였다. 선형회귀모델에서 모델의 통계적인 유의성과 다중공선성에서는 문제가 없었으나 결정계수가 0.76으로 나타났고 앙상블 모델과 서포트 벡터 머신에서는 0.88이상의 예측성능을 보여, 분석한 데이터세트에서 토압식 쉴드TBM 굴진성능예측에 적합한 모델은 서포트 벡터 머신임을 알 수 있었다. 현재 도출된 결과로 볼 때, 토압식 쉴드TBM의 기계데이터와 지반정보가 포함된 데이터를 활용한 굴진성능 예측 모델의 적합성은 높다고 판단된다. 추가적으로 지반조건의 다양성과 데이터양을 늘리는 연구가 필요한 것으로 판단된다.

쉴드 TBM 데이터와 머신러닝 분류 알고리즘을 이용한 암반 분류 예측에 관한 연구 (A Study on the Prediction of Rock Classification Using Shield TBM Data and Machine Learning Classification Algorithms)

  • 강태호;최순욱;이철호;장수호
    • 터널과지하공간
    • /
    • 제31권6호
    • /
    • pp.494-507
    • /
    • 2021
  • TBM의 활용이 증가하면서 최근 국내에서도 머신러닝 기법으로 TBM 데이터를 분석하여 TBM 전방의 지반을 예측하고 디스크커터의 교환주기 예측 및 굴진율을 예측하는 연구가 수행되고 있다. 본 연구에서는 TBM 굴진 시 기계 데이터를 대상으로 전통적 암반에 대한 분류 기법과 최근에 다양한 분야에서 널리 사용되고 있는 머신러닝 기법들을 접목하여 슬러리 쉴드 TBM 현장의 암반 특성에 대한 분류 예측을 하였다. 암반 특성 분류 기준 항목을 RQD, 일축압축강도, 탄성파속도로 설정하고 항목별 암반상태를 클래스 0(양호),1(보통),2(불량)의 3개 클래스로 구분한 다음, 6개의 분류 알고리즘에 대한 기계학습을 수행하였다. 그 결과, 앙상블 계열의 모델이 좋은 성능을 보여주었고 특히 학습성능과 더불어 학습속도에서 우수한 결과를 보인 LigthtGBM 모델이 대상 현장 지반에서 최적인 것으로 나타났다. 본 연구에서 설정한 3가지 암반 특성에 대한 분류 모델을 활용하면 지반정보가 제공되지 않은 구간에 대한 암반 상태를 제공할 수 있어 굴착작업 시 도움을 줄 수 있을 것으로 판단된다.