• 제목/요약/키워드: Ensemble Techniques

검색결과 175건 처리시간 0.026초

Development of the Expert Seasonal Prediction System: an Application for the Seasonal Outlook in Korea

  • Kim, WonMoo;Yeo, Sae-Rim;Kim, Yoojin
    • Asia-Pacific Journal of Atmospheric Sciences
    • /
    • 제54권4호
    • /
    • pp.563-573
    • /
    • 2018
  • An Expert Seasonal Prediction System for operational Seasonal Outlook (ESPreSSO) is developed based on the APEC Climate Center (APCC) Multi-Model Ensemble (MME) dynamical prediction and expert-guided statistical downscaling techniques. Dynamical models have improved to provide meaningful seasonal prediction, and their prediction skills are further improved by various ensemble and downscaling techniques. However, experienced scientists and forecasters make subjective correction for the operational seasonal outlook due to limited prediction skills and biases of dynamical models. Here, a hybrid seasonal prediction system that grafts experts' knowledge and understanding onto dynamical MME prediction is developed to guide operational seasonal outlook in Korea. The basis dynamical prediction is based on the APCC MME, which are statistically mapped onto the station-based observations by experienced experts. Their subjective selection undergoes objective screening and quality control to generate final seasonal outlook products after physical ensemble averaging. The prediction system is constructed based on 23-year training period of 1983-2005, and its performance and stability are assessed for the independent 11-year prediction period of 2006-2016. The results show that the ESPreSSO has reliable and stable prediction skill suitable for operational use.

앙상블 기법을 활용한 RNA-Sequencing 데이터의 폐암 예측 연구 (A Study on Predicting Lung Cancer Using RNA-Sequencing Data with Ensemble Learning)

  • Geon AN;JooYong PARK
    • Journal of Korea Artificial Intelligence Association
    • /
    • 제2권1호
    • /
    • pp.7-14
    • /
    • 2024
  • In this paper, we explore the application of RNA-sequencing data and ensemble machine learning to predict lung cancer and treatment strategies for lung cancer, a leading cause of cancer mortality worldwide. The research utilizes Random Forest, XGBoost, and LightGBM models to analyze gene expression profiles from extensive datasets, aiming to enhance predictive accuracy for lung cancer prognosis. The methodology focuses on preprocessing RNA-seq data to standardize expression levels across samples and applying ensemble algorithms to maximize prediction stability and reduce model overfitting. Key findings indicate that ensemble models, especially XGBoost, substantially outperform traditional predictive models. Significant genetic markers such as ADGRF5 is identified as crucial for predicting lung cancer outcomes. In conclusion, ensemble learning using RNA-seq data proves highly effective in predicting lung cancer, suggesting a potential shift towards more precise and personalized treatment approaches. The results advocate for further integration of molecular and clinical data to refine diagnostic models and improve clinical outcomes, underscoring the critical role of advanced molecular diagnostics in enhancing patient survival rates and quality of life. This study lays the groundwork for future research in the application of RNA-sequencing data and ensemble machine learning techniques in clinical settings.

부도 예측을 위한 앙상블 분류기 개발 (Developing an Ensemble Classifier for Bankruptcy Prediction)

  • 민성환
    • 한국산업정보학회논문지
    • /
    • 제17권7호
    • /
    • pp.139-148
    • /
    • 2012
  • 분류기의 앙상블 학습은 여러 개의 서로 다른 분류기들의 조합을 통해 만들어진다. 앙상블 학습은 기계학습 분야에서 많은 관심을 끌고 있는 중요한 연구주제이며 대부분의 경우에 있어서 앙상블 모형은 개별 기저 분류기보다 더 좋은 성과를 내는 것으로 알려져 있다. 본 연구는 부도 예측 모형의 성능개선에 관한 연구이다. 이를 위해 본 연구에서는 단일 모형으로 그 우수성을 인정받고 있는 SVM을 기저 분류기로 사용하는 앙상블 모형에 대해 고찰하였다. SVM 모형의 성능 개선을 위해 bagging과 random subspace 모형을 부도 예측 문제에 적용해 보았으며 bagging 모형과 random subspace 모형의 성과 개선을 위해 bagging과 random subspace의 통합 모형을 제안하였다. 제안한 모형의 성과를 검증하기 위해 실제 기업의 부도 예측 데이터를 사용하여 실험하였고, 실험 결과 본 연구에서 제안한 새로운 형태의 통합 모형이 가장 좋은 성과를 보임을 알 수 있었다.

Classification for Imbalanced Breast Cancer Dataset Using Resampling Methods

  • Hana Babiker, Nassar
    • International Journal of Computer Science & Network Security
    • /
    • 제23권1호
    • /
    • pp.89-95
    • /
    • 2023
  • Analyzing breast cancer patient files is becoming an exciting area of medical information analysis, especially with the increasing number of patient files. In this paper, breast cancer data is collected from Khartoum state hospital, and the dataset is classified into recurrence and no recurrence. The data is imbalanced, meaning that one of the two classes have more sample than the other. Many pre-processing techniques are applied to classify this imbalanced data, resampling, attribute selection, and handling missing values, and then different classifiers models are built. In the first experiment, five classifiers (ANN, REP TREE, SVM, and J48) are used, and in the second experiment, meta-learning algorithms (Bagging, Boosting, and Random subspace). Finally, the ensemble model is used. The best result was obtained from the ensemble model (Boosting with J48) with the highest accuracy 95.2797% among all the algorithms, followed by Bagging with J48(90.559%) and random subspace with J48(84.2657%). The breast cancer imbalanced dataset was classified into recurrence, and no recurrence with different classified algorithms and the best result was obtained from the ensemble model.

실시간 앙상블 가뭄전망정보 생산 체계 구축 및 평가 (Development & Evaluation of Real-time Ensemble Drought Prediction System)

  • 배덕효;안중배;김현경;김헌애;손경환;조세라;정의석
    • 대기
    • /
    • 제23권1호
    • /
    • pp.113-121
    • /
    • 2013
  • The objective of this study is to develop and evaluate the system to produce the real-time ensemble drought prediction data. Ensemble drought prediction consists of 3 processes (meteorological outlook using the multi-initial conditions, hydrological analysis and drought index calculation) therefore, more processing time and data is required than that of single member. For ensemble drought prediction, data process time is optimized and hardware of existing system is upgraded. Ensemble drought data is estimated for year 2012 and to evaluate the accuracy of drought prediction data by using ROC (Relative Operating Characteristics) analysis. We obtained 5 ensembles as optimal number and predicted drought condition for every tenth day i.e. 5th, 15th and 25th of each month. The drought indices used are SPI (Standard Precipitation Index), SRI (Standard Runoff Index), SSI (Standard Soil moisture Index). Drought conditions were determined based on results obtained for each ensemble member. Overall the results showed higher accuracy using ensemble members as compared to single. The ROC score of SRI and SSI showed significant improvement in drought period however SPI was higher in the demise period. The proposed ensemble drought prediction system can be contributed to drought forecasting techniques in Korea.

부도예측을 위한 KNN 앙상블 모형의 동시 최적화 (Investigating Dynamic Mutation Process of Issues Using Unstructured Text Analysis)

  • 민성환
    • 지능정보연구
    • /
    • 제22권1호
    • /
    • pp.139-157
    • /
    • 2016
  • 앙상블 분류기란 개별 분류기보다 더 좋은 성과를 내기 위해 다수의 분류기를 결합하는 것을 의미한다. 이와 같은 앙상블 분류기는 단일 분류기의 일반화 성능을 향상시키는데 매우 유용한 것으로 알려져 있다. 랜덤 서브스페이스 앙상블 기법은 각각의 기저 분류기들을 위해 원 입력 변수 집합으로부터 랜덤하게 입력 변수 집합을 선택하며 이를 통해 기저 분류기들을 다양화 시키는 기법이다. k-최근접 이웃(KNN: k nearest neighbor)을 기저 분류기로 하는 랜덤 서브스페이스 앙상블 모형의 성과는 단일 모형의 성과를 개선시키는 데 효과적인 것으로 알려져 있으며, 이와 같은 랜덤 서브스페이스 앙상블의 성과는 각 기저 분류기를 위해 랜덤하게 선택된 입력 변수 집합과 KNN의 파라미터 k의 값이 중요한 영향을 미친다. 하지만, 단일 모형을 위한 k의 최적 선택이나 단일 모형을 위한 입력 변수 집합의 최적 선택에 관한 연구는 있었지만 KNN을 기저 분류기로 하는 앙상블 모형에서 이들의 최적화와 관련된 연구는 없는 것이 현실이다. 이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해 각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 성과가 나올 수 있도록 각각의 기저 분류기가 사용할 파라미터 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다. 제안한 모형의 검증을 위해 국내 기업의 부도 예측 관련 데이터를 가지고 다양한 실험을 하였으며, 실험 결과 제안한 모형이 기존의 앙상블 모형보다 기저 분류기의 다양화와 예측 성과 개선에 효과적임을 알 수 있었다.

호우 영향예보를 위한 수문학적 정량강우예측(HQPF) 개선 연구 (An Improvement Study on the Hydrological Quantitative Precipitation Forecast (HQPF) for Rainfall Impact Forecasting)

  • 신윤후;김성민;지용근;이영미;김병식
    • 한국방재안전학회논문집
    • /
    • 제15권4호
    • /
    • pp.87-98
    • /
    • 2022
  • 최근 짧은 시간 동안 많은 강우가 내리는 국지성 집중호우가 빈번히 발생하고 이로 인한 침수피해가 증가하고 있다. 국지성 집중호우로 인한 피해를 예방하기 위하여 기상청이 제공하는 지역 앙상블 예측시스템(Local ENsemble prediction System, LENS)과 관측자료와 동네예보 자료를 활용한 기계학습과 확률 매칭(Probability Matching, PM) 기법을 이용하여 수문학적 정량강우예측정보(Hydrological Quantative Precipitation Forecast, HQPF)을 개발하였다. 국지성 집중호우로 인한 침수피해 대비를 위한 호우 영향정보로 HQPF를 생산하고 있지만, 낮은 강우강도에 대하여 과대예측하는 경향이 나타났다. 본 연구에서는 HQPF의 예측정확도 향상과 과대예측 성향을 개선하기 위하여 머신러닝 학습자료 기간확대, 앙상블 기법 분석 및 확률매칭(PM) 기법 프로세스 변경을 통하여 HQPF 개선하였다. 개선된 HQPF의 예측성능을 평가하기 위해 2021년 8월 27일 ~ 2021년 9월 3일 장마전선으로 인한 호우 사례를 대상으로 예측성능 검증을 수행하였다. 10 mm 이하의 강우에 대하여 예측정확도가 크게 향상되었고, 관측과 유사한 발생가능성 및 강우영역을 예측하는 등 과대예측 성향이 개선되었음을 확인하였다.

앙상블 SVM 모형을 이용한 기업 부도 예측 (Bankruptcy prediction using ensemble SVM model)

  • 최하나;임동훈
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권6호
    • /
    • pp.1113-1125
    • /
    • 2013
  • 기업의 부도를 예측하는 것은 회계나 재무 분야에서 중요한 연구주제이다. 지금까지 기업 부도예측을 위해 여러 가지 데이터마이닝 기법들이 적용되었으나 주로 단일 모형을 사용함으로서 복잡한 분류 문제에의 적용에 한계를 갖고 있었다. 본 논문에서는 최근에 각광받고 있는 SVM (support vector machine) 모형들을 결합한 앙상블 SVM 모형 (ensemble SVM model)을 부도예측에 사용하고자 한다. 제안된 앙상블 모형은 v-조각 교차 타당성 (v-fold cross-validation)에 의해 얻어진 여러 가지 모형 중에서 성능이 좋은 상위 k개의 단일 모형으로 구성하고 과반수 투표 방식 (majority voting)을 사용하여 미지의 클래스를 분류한다. 본 논문에서 제안된 앙상블 SVM 모형의 성능을 평가하기 위해 실제 기업의 재무비율 자료와 모의실험자료를 가지고 실험하였고, 실험결과 제안된 앙상블 모형이 여러 가지 평가척도 하에서 단일 SVM 모형들보다 좋은 성능을 보임을 알 수 있었다.

앙상블을 이용한 기계학습 기법의 설계: 뜰개 이동경로 예측을 통한 실험적 검증 (Ensemble Design of Machine Learning Technigues: Experimental Verification by Prediction of Drifter Trajectory)

  • 이찬재;김용혁
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제8권3호
    • /
    • pp.57-67
    • /
    • 2018
  • 앙상블 기법은 기계학습에서 다수의 알고리즘을 사용하여 더 좋은 성능을 내기 위해 사용하는 방법이다. 본 논문에서는 앙상블 기법에서 많이 사용되는 부스팅과 배깅에 대해 소개를 하고, 서포트벡터 회귀, 방사기저함수 네트워크, 가우시안 프로세스, 다층 퍼셉트론을 이용하여 설계한다. 추가적으로 순환신경망과 MOHID 수치모델을 추가하여 실험을 진행한다. 실험적 검증를 위해 사용하는 뜰개 데이터는 7 개의 지역에서 관측된 683 개의 관측 자료다. 뜰개 관측 자료를 이용하여 6 개의 알고리즘과의 비교를 통해 앙상블 기법의 성능을 검증한다. 검증 방법으로는 평균절대오차를 사용한다. 실험 방법은 배깅, 부스팅, 기계학습을 이용한 앙상블 모델을 이용하여 진행한다. 각 앙상블 모델마다 동일한 가중치를 부여한 방법, 차등한 가중치를 부여한 방법을 이용하여 오류율을 계산한다. 가장 좋은 오류율을 나타낸 방법은 기계학습을 이용한 앙상블 모델로서 6 개의 기계학습의 평균에 비해 61.7%가 개선된 결과를 보였다.

높은 정확도를 위한 이미지 전처리와 앙상블 기법을 결합한 이미지 기반 악성코드 분류 시스템에 관한 연구 (A Study on the Image-Based Malware Classification System that Combines Image Preprocessing and Ensemble Techniques for High Accuracy)

  • 김해수;김미희
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권7호
    • /
    • pp.225-232
    • /
    • 2022
  • 최근 정보통신 기술의 발전이 많은 이에게 이점이 되고 있지만, 그와 동시에 새로운 프로그램의 취약점을 통해 악의적 공격 시도 또한 증가하고 있다. 악의적 공격 중 악성코드는 다양한 방식으로 동작하며 매번 새로운 방식으로 사람들에게 유포되고 이러한 악성코드들을 해결하기 위해 발견된 악성코드를 빠르게 분석하여 방어기법을 제공해야 한다. 새로운 악성코드를 기존 악성코드와 동일한 종류로 분류할 수 있다면 동작의 유사성을 가진 악성코드들의 분석된 특징을 이용해 새로운 악성코드의 방어기법을 제공할 수 있다. 따라서 악성코드를 정확하고 빠르게 분류하는 방법이 있어야 한다. 또한, 분석된 악성코드들의 패밀리 마다 데이터의 개수가 균일하지 않을 수 있으므로 이에 대한 해결방안이 필요하다. 본 논문에서는 이미지 전처리 기법과 앙상블 기법을 결합하여 개수가 균일하지 않은 데이터에서 정확도를 높이는 시스템을 제안한다.