• 제목/요약/키워드: ensemble machine learning

검색결과 235건 처리시간 0.027초

앙상블 머신러닝 기법과 블록체인 정보를 활용한 이더리움 엉클 블록 예측 분석 (Predictive Analysis of Ethereum Uncle Block using Ensemble Machine Learning Technique and Blockchain Information)

  • 김한민
    • 디지털융복합연구
    • /
    • 제18권11호
    • /
    • pp.129-136
    • /
    • 2020
  • 블록체인의 장점들은 다양한 분야에서 블록체인의 필요성을 제시한다. 하지만 블록체인에는 몇 가지 단점들이 존재한다. 그 중 엉클블록 문제는 블록체인의 가치와 활용을 크게 저해할 수 있는 문제 중 하나다. 엉클블록 문제로 인해 블록체인의 가치가 저하 될 수 있음에도 불구하고 이전의 연구들은 엉클블록에 대한 연구에 크게 주목하지 않았다. 따라서 본 연구의 목적은 블록체인의 엉클 블록 문제를 예측하고 대비할 수 있도록 엉클블록의 발생을 예측 하고자 한다. 본 연구는 엉클 블록 발생의 정확한 예측을 위해서 새로운 변수와 앙상블 분석 기법 도입의 타당성을 검증한다. 연구 방법으로 엉클블록 문제가 실제로 발생하는 이더리움의 엉클블록을 대상으로 보팅, 배깅, 스태킹 앙상블 분석 기법을 활용하였다. 분석 데이터로는 이더리움과 비트코인 블록체인 정보를 활용하였다. 연구 결과, 이더리움 블록체인 정보만을 활용하여 보팅, 스태킹 앙상블 기법을 적용할 경우 가장 높은 예측 결과가 나타난다는 사실을 발견하였다. 본 연구의 결과는 엉클블록의 발생을 보다 정확하게 예측하여 블록체인의 엉클블록 문제에 대비할 수 있도록 기여한다.

호우 영향예보를 위한 수문학적 정량강우예측(HQPF) 개선 연구 (An Improvement Study on the Hydrological Quantitative Precipitation Forecast (HQPF) for Rainfall Impact Forecasting)

  • 신윤후;김성민;지용근;이영미;김병식
    • 한국방재안전학회논문집
    • /
    • 제15권4호
    • /
    • pp.87-98
    • /
    • 2022
  • 최근 짧은 시간 동안 많은 강우가 내리는 국지성 집중호우가 빈번히 발생하고 이로 인한 침수피해가 증가하고 있다. 국지성 집중호우로 인한 피해를 예방하기 위하여 기상청이 제공하는 지역 앙상블 예측시스템(Local ENsemble prediction System, LENS)과 관측자료와 동네예보 자료를 활용한 기계학습과 확률 매칭(Probability Matching, PM) 기법을 이용하여 수문학적 정량강우예측정보(Hydrological Quantative Precipitation Forecast, HQPF)을 개발하였다. 국지성 집중호우로 인한 침수피해 대비를 위한 호우 영향정보로 HQPF를 생산하고 있지만, 낮은 강우강도에 대하여 과대예측하는 경향이 나타났다. 본 연구에서는 HQPF의 예측정확도 향상과 과대예측 성향을 개선하기 위하여 머신러닝 학습자료 기간확대, 앙상블 기법 분석 및 확률매칭(PM) 기법 프로세스 변경을 통하여 HQPF 개선하였다. 개선된 HQPF의 예측성능을 평가하기 위해 2021년 8월 27일 ~ 2021년 9월 3일 장마전선으로 인한 호우 사례를 대상으로 예측성능 검증을 수행하였다. 10 mm 이하의 강우에 대하여 예측정확도가 크게 향상되었고, 관측과 유사한 발생가능성 및 강우영역을 예측하는 등 과대예측 성향이 개선되었음을 확인하였다.

불균형 데이터 처리를 위한 과표본화 기반 앙상블 학습 기법 (Oversampling-Based Ensemble Learning Methods for Imbalanced Data)

  • 김경민;장하영;장병탁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권10호
    • /
    • pp.549-554
    • /
    • 2014
  • 필기체 낱글자 인식을 위해서 사용되는 데이터는 일반적으로 다수의 사용자들로부터 수집된 자연언어 문장들을 이용하기 때문에 해당 언어의 언어적 특성에 따라서 낱글자의 종류별 개수 차이가 매우 큰 특징이 있다. 일반적인 기계학습 문제에서 학습데이터의 불균형 문제는 성능을 저하시키는 중요한 요인으로 작용하지만, 필기체 인식에서는 데이터 자체의 높은 분산과 비슷한 모양의 낱글자 등이 성능 저하의 주요인이라 생각하기 때문에 이를 크게 고려하지 않고 있다. 본 논문에서는 이러한 데이터의 불균형 문제를 고려하여 필기체 인식기의 성능을 향상시킬 수 있는 과표본화 기반의 앙상블 학습 기법을 제안한다. 제안한 방법은 데이터의 불균형 문제를 고려하지 않은 방법보다 전체적으로 향상된 성능을 보일 뿐만 아니라 데이터의 개수가 부족한 낱글자들의 분류성능에 있어서도 향상된 결과를 보여준다.

Real-time prediction on the slurry concentration of cutter suction dredgers using an ensemble learning algorithm

  • Han, Shuai;Li, Mingchao;Li, Heng;Tian, Huijing;Qin, Liang;Li, Jinfeng
    • 국제학술발표논문집
    • /
    • The 8th International Conference on Construction Engineering and Project Management
    • /
    • pp.463-481
    • /
    • 2020
  • Cutter suction dredgers (CSDs) are widely used in various dredging constructions such as channel excavation, wharf construction, and reef construction. During a CSD construction, the main operation is to control the swing speed of cutter to keep the slurry concentration in a proper range. However, the slurry concentration cannot be monitored in real-time, i.e., there is a "time-lag effect" in the log of slurry concentration, making it difficult for operators to make the optimal decision on controlling. Concerning this issue, a solution scheme that using real-time monitored indicators to predict current slurry concentration is proposed in this research. The characteristics of the CSD monitoring data are first studied, and a set of preprocessing methods are presented. Then we put forward the concept of "index class" to select the important indices. Finally, an ensemble learning algorithm is set up to fit the relationship between the slurry concentration and the indices of the index classes. In the experiment, log data over seven days of a practical dredging construction is collected. For comparison, the Deep Neural Network (DNN), Long Short Time Memory (LSTM), Support Vector Machine (SVM), Random Forest (RF), Gradient Boosting Decision Tree (GBDT), and the Bayesian Ridge algorithm are tried. The results show that our method has the best performance with an R2 of 0.886 and a mean square error (MSE) of 5.538. This research provides an effective way for real-time predicting the slurry concentration of CSDs and can help to improve the stationarity and production efficiency of dredging construction.

  • PDF

인공지능 기반 빈집 추정 및 주요 특성 분석 (Vacant House Prediction and Important Features Exploration through Artificial Intelligence: In Case of Gunsan)

  • 임규건;노종화;이현태;안재익
    • 한국IT서비스학회지
    • /
    • 제21권3호
    • /
    • pp.63-72
    • /
    • 2022
  • The extinction crisis of local cities, caused by a population density increase phenomenon in capital regions, directly causes the increase of vacant houses in local cities. According to population and housing census, Gunsan-si has continuously shown increasing trend of vacant houses during 2015 to 2019. In particular, since Gunsan-si is the city which suffers from doughnut effect and industrial decline, problems regrading to vacant house seems to exacerbate. This study aims to provide a foundation of a system which can predict and deal with the building that has high risk of becoming vacant house through implementing a data driven vacant house prediction machine learning model. Methodologically, this study analyzes three types of machine learning model by differing the data components. First model is trained based on building register, individual declared land value, house price and socioeconomic data and second model is trained with the same data as first model but with additional POI(Point of Interest) data. Finally, third model is trained with same data as the second model but with excluding water usage and electricity usage data. As a result, second model shows the best performance based on F1-score. Random Forest, Gradient Boosting Machine, XGBoost and LightGBM which are tree ensemble series, show the best performance as a whole. Additionally, the complexity of the model can be reduced through eliminating independent variables that have correlation coefficient between the variables and vacant house status lower than the 0.1 based on absolute value. Finally, this study suggests XGBoost and LightGBM based machine learning model, which can handle missing values, as final vacant house prediction model.

회사채 신용등급 예측을 위한 SVM 앙상블학습 (Ensemble Learning with Support Vector Machines for Bond Rating)

  • 김명종
    • 지능정보연구
    • /
    • 제18권2호
    • /
    • pp.29-45
    • /
    • 2012
  • 회사채 신용등급은 투자자의 입장에서는 수익률 결정의 중요한 요소이며 기업의 입장에서는 자본비용 및 기업 가치와 관련된 중요한 재무의사결정사항으로 정교한 신용등급 예측 모형의 개발은 재무 및 회계 분야에서 오랫동안 전통적인 연구 주제가 되어왔다. 그러나, 회사채 신용등급 예측 모형의 성과와 관련된 가장 중요한 문제는 등급별 데이터의 불균형 문제이다. 예측 문제에 있어서 데이터 불균형(Data imbalance) 은 사용되는 표본이 특정 범주에 편중되었을 때 나타난다. 데이터 불균형이 심화됨에 따라 범주 사이의 분류경계영역이 왜곡되므로 분류자의 학습성과가 저하되게 된다. 본 연구에서는 데이터 불균형 문제가 존재하는 다분류 문제를 효과적으로 해결하기 위한 다분류 기하평균 부스팅 기법 (Multiclass Geometric Mean-based Boosting MGM-Boost)을 제안하고자 한다. MGM-Boost 알고리즘은 부스팅 알고리즘에 기하평균 개념을 도입한 것으로 오분류된 표본에 대한 학습을 강화할 수 있으며 불균형 분포를 보이는 각 범주의 예측정확도를 동시에 고려한 학습이 가능하다는 장점이 있다. 회사채 신용등급 예측문제를 활용하여 MGM-Boost의 성과를 검증한 결과 SVM 및 AdaBoost 기법과 비교하여 통계적으로 유의적인 성과개선 효과를 보여주었으며 데이터 불균형 하에서도 벤치마킹 모형과 비교하여 견고한 학습성과를 나타냈다.

의약품 콜드체인 유통 수요 예측을 위한 AI 모델에 관한 연구 (A Study on the AI Model for Prediction of Demand for Cold Chain Distribution of Drugs)

  • 김희영;류기환;근재;손현곤
    • 문화기술의 융합
    • /
    • 제9권3호
    • /
    • pp.763-768
    • /
    • 2023
  • 본 논문에서는 의약품 유통량 예측을 위해 기존의 통계 방식(ARIMA)과 머신러닝 방식(Informer)을 개발하고 비교하였다. 일별 데이터의 예측에서는 머신러닝 기반의 모델이 유리하며, 월별 예측에서는 ARIMA를 활용하고 데이터가 증가하면서 Informer로 전환하는 것이 효과적임을 발견하였다. 예측 에러율(RMSE)은 기존 방식 대비 26.6% 낮아졌으며, 예측 정확도도 13% 개선되어 86.2%의 결과를 보였다. 본 논문을 통해 통계적 방법과 머신러닝 방법을 앙상블하여 최상의 결과를 얻을 수 있다는 장점을 발견하였다. 또한 머신러닝 기반의 AI 모델은 불규칙한 상황에서도 딥러닝 연산을 통해 최선의 결과를 도출할 수 있으며, 상용화 이후에는 데이터양이 증가함에 따라 성능이 향상될 것으로 기대된다.

Transfer Learning based DNN-SVM Hybrid Model for Breast Cancer Classification

  • Gui Rae Jo;Beomsu Baek;Young Soon Kim;Dong Hoon Lim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권11호
    • /
    • pp.1-11
    • /
    • 2023
  • 유방암은 전 세계적으로 여성들 대다수에게 가장 두려워하는 질환이다. 오늘날 데이터의 증가와 컴퓨팅 기술의 향상으로 머신러닝(machine learning)의 효율성이 증대되어 암 검출 및 진단 등에 중요한 역할을 하고 있다. 딥러닝(deep learning)은 인공신경망(artificial neural network, ANN)을 기반으로 하는 머신러닝 기술의 한 분야로 최근 여러 분야에서 성능이 급속도로 개선되어 활용 범위가 확대되고 있다. 본 연구에서는 유방암 분류를 위해 전이학습(transfer learning) 기반 DNN(Deep Neural Network)과 SVM(support vector machine)의 구조를 결합한 DNN-SVM Hybrid 모형을 제안한다. 전이학습 기반 제안된 모형은 적은 학습 데이터에도 효과적이고, 학습 속도도 빠르며, 단일모형, 즉 DNN과 SVM이 가지는 장점을 모두 활용 가능토록 결합함으로써 모형 성능이 개선되었다. 제안된 DNN-SVM Hybrid 모형의 성능평가를 위해 UCI 머신러닝 저장소에서 제공하는 WOBC와 WDBC 유방암 자료를 가지고 성능실험 결과, 제안된 모형은 여러 가지 성능 척도 면에서 단일모형인 로지스틱회귀 모형, DNN, SVM 그리고 앙상블 모형인 랜덤 포레스트보다 우수함을 보였다.

Data Correction For Enhancing Classification Accuracy By Unknown Deep Neural Network Classifiers

  • Kwon, Hyun;Yoon, Hyunsoo;Choi, Daeseon
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권9호
    • /
    • pp.3243-3257
    • /
    • 2021
  • Deep neural networks provide excellent performance in pattern recognition, audio classification, and image recognition. It is important that they accurately recognize input data, particularly when they are used in autonomous vehicles or for medical services. In this study, we propose a data correction method for increasing the accuracy of an unknown classifier by modifying the input data without changing the classifier. This method modifies the input data slightly so that the unknown classifier will correctly recognize the input data. It is an ensemble method that has the characteristic of transferability to an unknown classifier by generating corrected data that are correctly recognized by several classifiers that are known in advance. We tested our method using MNIST and CIFAR-10 as experimental data. The experimental results exhibit that the accuracy of the unknown classifier is a 100% correct recognition rate owing to the data correction generated by the proposed method, which minimizes data distortion to maintain the data's recognizability by humans.

부스팅 인공신경망을 활용한 부실예측모형의 성과개선 (Boosting neural networks with an application to bankruptcy prediction)

  • 김명종;강대기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2009년도 춘계학술대회
    • /
    • pp.872-875
    • /
    • 2009
  • In a bankruptcy prediction model, the accuracy is one of crucial performance measures due to its significant economic impacts. Ensemble is one of widely used methods for improving the performance of classification and prediction models. Two popular ensemble methods, Bagging and Boosting, have been applied with great success to various machine learning problems using mostly decision trees as base classifiers. In this paper, we analyze the performance of boosted neural networks for improving the performance of traditional neural networks on bankruptcy prediction tasks. Experimental results on Korean firms indicated that the boosted neural networks showed the improved performance over traditional neural networks.

  • PDF