• 제목/요약/키워드: ensemble prediction

검색결과 368건 처리시간 0.024초

앙상블 머신러닝 모형을 이용한 하천 녹조발생 예측모형의 입력변수 특성에 따른 성능 영향 (Effect of input variable characteristics on the performance of an ensemble machine learning model for algal bloom prediction)

  • 강병구;박정수
    • 상하수도학회지
    • /
    • 제35권6호
    • /
    • pp.417-424
    • /
    • 2021
  • Algal bloom is an ongoing issue in the management of freshwater systems for drinking water supply, and the chlorophyll-a concentration is commonly used to represent the status of algal bloom. Thus, the prediction of chlorophyll-a concentration is essential for the proper management of water quality. However, the chlorophyll-a concentration is affected by various water quality and environmental factors, so the prediction of its concentration is not an easy task. In recent years, many advanced machine learning algorithms have increasingly been used for the development of surrogate models to prediction the chlorophyll-a concentration in freshwater systems such as rivers or reservoirs. This study used a light gradient boosting machine(LightGBM), a gradient boosting decision tree algorithm, to develop an ensemble machine learning model to predict chlorophyll-a concentration. The field water quality data observed at Daecheong Lake, obtained from the real-time water information system in Korea, were used for the development of the model. The data include temperature, pH, electric conductivity, dissolved oxygen, total organic carbon, total nitrogen, total phosphorus, and chlorophyll-a. First, a LightGBM model was developed to predict the chlorophyll-a concentration by using the other seven items as independent input variables. Second, the time-lagged values of all the input variables were added as input variables to understand the effect of time lag of input variables on model performance. The time lag (i) ranges from 1 to 50 days. The model performance was evaluated using three indices, root mean squared error-observation standard deviation ration (RSR), Nash-Sutcliffe coefficient of efficiency (NSE) and mean absolute error (MAE). The model showed the best performance by adding a dataset with a one-day time lag (i=1) where RSR, NSE, and MAE were 0.359, 0.871 and 1.510, respectively. The improvement of model performance was observed when a dataset with a time lag up of about 15 days (i=15) was added.

앙상블 모델과 SHAP Value를 활용한 국내 중고차 가격 예측 모델에 관한 연구: 차종 특성을 중심으로 (A Study on the Prediction Models of Used Car Prices Using Ensemble Model And SHAP Value: Focus on Feature of the Vehicle Type)

  • 임승준;이정호;류춘호
    • 서비스연구
    • /
    • 제14권1호
    • /
    • pp.27-43
    • /
    • 2024
  • 중고차 시장에서 온라인 플랫폼 서비스의 시장 점유율은 지속적으로 증가하고 있다. 또한 중고차 온라인 플랫폼 서비스는 서비스 이용자에게 차량의 제원, 사고 이력, 점검 내역, 세부 옵션, 그리고 중고차의 가격 등을 공개하고 있다. 2023년 현재 국내 자동차 시장에서 SUV 차종의 신차 점유율은 50% 이상으로 확대되었으며, 하이브리드 차종은 신차 판매량이 지난해에 비해 두 배 이상 증가하였다. 이에 따라 이들 차종은 국내 중고차 시장에서도 인기를 끌고 있다. 기존 연구는 전체 차량 또는 브랜드별 차량을 대상으로 머신러닝 모델을 실행하여 중고차 가격 예측 모델을 제안하였다. 반면 국내 자동차 시장에서 SUV와 하이브리드 차종의 인기는 매년 상승하고 있으나, 이들 차종을 대상으로 중고차 가격 예측 모델을 제안한 연구는 찾기 어려웠다. 본 연구는 국내 시장에서 자국 브랜드가 생산한 세단, SUV, 그리고 하이브리드 차종을 대상으로 차량 제원과 옵션, 총 72개의 특성을 활용하여 이들 차종별 가장 우수한 중고차 가격 예측 모델을 선정하였다. 이를 위해 특성 선택으로 Lasso 회귀 모델을 활용하여 특성을 선별한 후 동일 샘플링으로 앙상블 모델을 실행하였다. 그 결과 모든 차종에서 최우수 모델은 CBR 모델로 선정되었으며, 차종별 최우수 모델을 대상으로 Tree SHAP Value의 시각화를 실행하여 특성의 기여도 및 방향성을 확인하였다. 본 연구의 시사점으로 온라인 플랫폼 서비스를 이용하는 매매관계자에게 차종별 중고차 가격 예측 모델을 제안하고 특성의 기여 수준과 방향성을 확인함으로써 이들 간 정보의 비대칭으로 야기된 문제 해결에 지원이 될 것으로 기대한다.

Deep Neural Network 기반 프로야구 일일 관중 수 예측 : 광주-기아 챔피언스 필드를 중심으로 (Deep Neural Network Based Prediction of Daily Spectators for Korean Baseball League : Focused on Gwangju-KIA Champions Field)

  • 박동주;김병우;정영선;안창욱
    • 스마트미디어저널
    • /
    • 제7권1호
    • /
    • pp.16-23
    • /
    • 2018
  • 본 연구는 Deep Neural Network(DNN)을 이용하여 광주-기아 챔피언스 필드의 일일 관중 수를 예측함으로써 이를 통해 구단과 관련기업의 마케팅 자료제공 및 구장 내 부대시설의 재고관리에 자료로 쓰임을 목적으로 수행 되었다. 본 연구에서는 Artificial Neural Network(ANN)의 종류인 DNN 모델을 이용하였으며 DNN 모델의 과적합을 막기 위해 Dropout과 Batch normalization 적용한 모델을 바탕으로 총 4종류를 설계하였다. 각각 10개의 DNN을 만들어 예측값의 Root Mean Square Error(RMSE)와 Mean Absolute Percentage Error(MAPE)의 평균값을 낸 모델과 예측값의 평균으로 RMSE와 MAPE를 평가한 Ensemble 모델을 만들었다. 모델의 학습 데이터는 2008년부터 2017년까지의 관중 수 데이터를 수집하여 수집된 데이터의 80%를 무작위로 선정하였으며, 나머지 20%는 테스트 데이터로 사용하였다. 총 100회의 데이터 선정, 모델구성 그리고 학습 및 예측을 한 결과 Ensemble 모델은 DNN 모델의 예측력이 가장 우수하게 나왔으며, 다중선형회귀 모델 대비 RMSE는 15.17%, MAPE는 14.34% 높은 예측력을 보이고 있다.

앙상블 딥러닝을 이용한 초음파 영상의 간병변증 분류 알고리즘 (Classification Algorithm for Liver Lesions of Ultrasound Images using Ensemble Deep Learning)

  • 조영복
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권4호
    • /
    • pp.101-106
    • /
    • 2020
  • 현재 의료 현장에서 초음파 진단은 과거 청진기와 같다고 할 수 있다. 그러나 초음파의 특성상 검사자의 숙련도에 따라 결과 예측이 불확실하다는 단점을 가진다. 따라서 본 논문에서는 이런 문제를 해결하기 위해 딥러닝 기술을 기반으로 초음파 검사 중 간병변 탐지의 정확도를 높이고자 한다. 제안 논문에서는 CNN 모델과 앙상블 모델을 이용해 병변 분류의 정확도 비교 실험하였다. 실험결과 CNN 모델에서 분류 정확도는 평균 82.33%에서 앙상블모델의 경우 평균 89.9%로 약 7% 높은 것을 확인하였다. 또한 앙상블 모델이 평균 ROC커브에서도 0.97로 CNN모델보다 약 0.4정도 높은 것을 확인하였다.

An Ensemble Approach to Detect Fake News Spreaders on Twitter

  • Sarwar, Muhammad Nabeel;UlAmin, Riaz;Jabeen, Sidra
    • International Journal of Computer Science & Network Security
    • /
    • 제22권5호
    • /
    • pp.294-302
    • /
    • 2022
  • Detection of fake news is a complex and a challenging task. Generation of fake news is very hard to stop, only steps to control its circulation may help in minimizing its impacts. Humans tend to believe in misleading false information. Researcher started with social media sites to categorize in terms of real or fake news. False information misleads any individual or an organization that may cause of big failure and any financial loss. Automatic system for detection of false information circulating on social media is an emerging area of research. It is gaining attention of both industry and academia since US presidential elections 2016. Fake news has negative and severe effects on individuals and organizations elongating its hostile effects on the society. Prediction of fake news in timely manner is important. This research focuses on detection of fake news spreaders. In this context, overall, 6 models are developed during this research, trained and tested with dataset of PAN 2020. Four approaches N-gram based; user statistics-based models are trained with different values of hyper parameters. Extensive grid search with cross validation is applied in each machine learning model. In N-gram based models, out of numerous machine learning models this research focused on better results yielding algorithms, assessed by deep reading of state-of-the-art related work in the field. For better accuracy, author aimed at developing models using Random Forest, Logistic Regression, SVM, and XGBoost. All four machine learning algorithms were trained with cross validated grid search hyper parameters. Advantages of this research over previous work is user statistics-based model and then ensemble learning model. Which were designed in a way to help classifying Twitter users as fake news spreader or not with highest reliability. User statistical model used 17 features, on the basis of which it categorized a Twitter user as malicious. New dataset based on predictions of machine learning models was constructed. And then Three techniques of simple mean, logistic regression and random forest in combination with ensemble model is applied. Logistic regression combined in ensemble model gave best training and testing results, achieving an accuracy of 72%.

시간 연속성을 고려한 딥러닝 기반 레이더 강우예측 (Radar rainfall prediction based on deep learning considering temporal consistency)

  • 신홍준;윤성심;최재민
    • 한국수자원학회논문집
    • /
    • 제54권5호
    • /
    • pp.301-309
    • /
    • 2021
  • 본 연구에서는 시계열 순서의 의미가 희석될 수 있는 기존의 U-net 기반 딥러닝 강우예측 모델의 성능을 개선하고자 하였다. 이를 위해서 데이터의 연속성을 고려한 ConvLSTM2D U-Net 신경망 구조를 갖는 모델을 적용하고, RainNet 모델 및 외삽 기반의 이류모델을 이용하여 예측정확도 개선 정도를 평가하였다. 또한 신경망 기반 모델 학습과정에서의 불확실성을 개선하기 위해 단일 모델뿐만 아니라 10개의 앙상블 모델로 학습을 수행하였다. 학습된 신경망 강우예측모델은 현재를 기준으로 과거 30분 전까지의 연속된 4개의 자료를 이용하여 10분 선행 예측자료를 생성하는데 최적화되었다. 최적화된 딥러닝 강우예측모델을 이용하여 강우예측을 수행한 결과, ConvLSTM2D U-Net을 사용하였을 때 예측 오차의 크기가 가장 작고, 강우 이동 위치를 상대적으로 정확히 구현하였다. 특히, 앙상블 ConvLSTM2D U-Net이 타 예측모델에 비해 높은 CSI와 낮은 MAE를 보이며, 상대적으로 정확하게 강우를 예측하였으며, 좁은 오차범위로 안정적인 예측성능을 보여주었다. 다만, 특정 지점만을 대상으로 한 예측성능은 전체 강우 영역에 대한 예측성능에 비해 낮게 나타나, 상세한 영역의 강우예측에 대한 딥러닝 강우예측모델의 한계도 확인하였다. 본 연구를 통해 시간의 변화를 고려하기 위한 ConvLSTM2D U-Net 신경망 구조가 예측정확도를 높일 수 있었으나, 여전히 강한 강우영역이나 상세한 강우예측에는 공간 평활로 인한 합성곱 신경망 모델의 한계가 있음을 확인하였다.

Sequence driven features for prediction of subcellular localization of proteins

  • Kim, Jong-Kyoung;Bang, Sung-Yang;Choi, Seung-Jin
    • 한국생물정보학회:학술대회논문집
    • /
    • 한국생물정보시스템생물학회 2005년도 BIOINFO 2005
    • /
    • pp.237-242
    • /
    • 2005
  • Predicting the cellular location of an unknown protein gives a valuable information for inferring the possible function of the protein. For more accurate prediction system, we need a good feature extraction method that transforms the raw sequence data into the numerical feature vector, minimizing information loss. In this paper, we propose new methods of extracting underlying features only from the sequence data by computing pairwise sequence alignment scores. In addition, we use composition based features to improve prediction accuracy. To construct an SVM ensemble from separately trained SVM classifiers, we propose specificity based weighted majority voting. The overall prediction accuracy evaluated by the 5-fold cross-validation reached 88.53% for the eukaryotic animal data set. By comparing the prediction accuracy of various feature extraction methods, we could get the biological insight on the location of targeting information. Our numerical experiments confirm that our new feature extraction methods are very useful for predicting subcellular localization of proteins.

  • PDF

앙상블 Support Vector Machine과 하이브리드 SOM을 이용한 동적 웹 정보 추천 시스템 (Dynamic Recommendation System of Web Information Using Ensemble Support Vector Machine and Hybrid SOM)

  • 윤경배;최준혁
    • 한국지능시스템학회논문지
    • /
    • 제13권4호
    • /
    • pp.433-438
    • /
    • 2003
  • 최근, 인터넷 쇼핑몰과 같은 웹 사이트를 대상으로 각 사용자에게 가장 필요한 정보를 제공하기 위한 웹 정보 추천 시스템에 대한 연구가 활발히 진행되고 있다. 사용자 프로파일과 명시적 피드백에 의존하는 대부분의 웹 정보 추천 시스템의 경우 사용자의 다양하고 정확한 정보를 필요로 하지만 실세계의 문제에 있어 이러한 연관 정보를 얻기란 쉽지 않다. 본 논문에서는 사용자의 명시적 피드백과 프로파일에 의존하지 않는 웹 정보 서비스를 위한 정보 예측 기법을 제안한다. 이를 위해 앙상블 Support Vector Machine과 하이브리드 SOM을 설계하고 적용하여 웹 로그 데이터의 희소성 문제를 해결하면서 대용량 웹 데이터로부터 사용자에게 꼭 필요하고 유용한 정보를 추천할 수 있는 동적 웹 정보 예측 시스템을 설계하고 구현한다.

강우앙상블자료 편의보정에 따른 단기강우예측모델의 적용성 분석 (Application Analysis of Short-term Rainfall Forecasting Model according to Bias Correlation in Rainfall Ensemble Data)

  • 이상협;성연정;쉬크샤 바스톨라;추인교;정영훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.119-119
    • /
    • 2019
  • 최근 기후변화와 이상기후의 영향으로 국지성 호우 및 가뭄, 홍수, 태풍 등 재해 발생 규모가 커지고 그 빈도 또한 많아지고 있다. 이러한 자연재해 및 이상현상에 대한 피해를 예방하고 빠르게 대처하기 위해서는 정확한 강우량 추정 및 강우의 시간적 예측이 필요하다. 이러한 강우의 불확실성을 해결하기 위해서 기상청 등에서는 단일 수치예보가 가지는 결정론적인 예측의 한계를 보완한 초기조건, 물리과정, 경계조건 등이 다른 여러 개의 모델을 수행하여, 확률적으로 미래를 예측하는 앙상블 예측 시스템을 예보기술에 응용하고 있으며 기존 수치모델의 정보와 예보 불확실성에 대한 정보를 동시에 제공하고 있다. 그러나 다양한 자연조건에 대한 불완전한 물리적 이해와 연산 능력 등의 한계로 높은 불확실성이 내포되어 있으므로 불확실성을 최소화하기 위한 편의보정이 수행될 필요가 있다. 강우분석의 적용 이전에 해당 자료의 타당성과 신뢰도의 분석이 필요하다. 본 연구에서는 LENS(Local ENsemble prediction System) 예측값과 시강우 관측값을 단기예측모델에 맞추어 3시간 누적하여 비교하였다. 비교 기간은 호우가 집중되는 2016년 10월로 선정하였으며 대상지역은 울산중구로 선정하였다. LENS를 대상 지역의 관측소 지점값과 행정구역 면적값을 따로 추출한 후, 불확실성을 최소화하기 위해 활용되고 있는 CF 기법과 QM 기법을 이용하여 LENS 모델을 재가공하고 이에 따른 편의보정 기법에 따른 LENS 모델을 과거의 실제강우 관측값과의 비교분석을 이용해 적용성을 검토 및 평가하였다.

  • PDF

기계학습을 활용한 모바일 반도체 제조 공정에서 동작 전압 예측 (Operating Voltage Prediction in Mobile Semiconductor Manufacturing Process Using Machine Learning)

  • 백인환;장승우;김광수
    • 반도체디스플레이기술학회지
    • /
    • 제22권1호
    • /
    • pp.124-128
    • /
    • 2023
  • 반도체 양산을 진행하며 얻어지는 여러 공정 데이터들로 사용 전압을 예측하여 에너지 효율적인 제품을 위한 목적으로 연구를 시작했다. 각각의 feature들 단독으로 전압을 예측하기 어려웠던 문제를 머신 러닝을 통해, 특히 Ensemble model을 이용함으로써 단일 모델보다 정확한 예측을 할 수 있었다. 더욱 중요한 시사점으로는 feature importance 분석을 통해 모델 예측에 영향이 큰 feature와 작은 feature에 대한 분석이다. 영향도가 높은 feature를 통해 비슷한 계열의 측정값을 늘리고, 낮은 feature 들의 문제점을 개선함으로써 차세대 제품에서 더욱 정확도 높은 모델을 위한 발판을 마련할 수 있었다.

  • PDF