• 제목/요약/키워드: Ensemble Method

검색결과 507건 처리시간 0.029초

Gaussian noise addition approaches for ensemble optimal interpolation implementation in a distributed hydrological model

  • Manoj Khaniya;Yasuto Tachikawa;Kodai Yamamoto;Takahiro Sayama;Sunmin Kim
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.25-25
    • /
    • 2023
  • The ensemble optimal interpolation (EnOI) scheme is a sub-optimal alternative to the ensemble Kalman filter (EnKF) with a reduced computational demand making it potentially more suitable for operational applications. Since only one model is integrated forward instead of an ensemble of model realizations, online estimation of the background error covariance matrix is not possible in the EnOI scheme. In this study, we investigate two Gaussian noise based ensemble generation strategies to produce dynamic covariance matrices for assimilation of water level observations into a distributed hydrological model. In the first approach, spatially correlated noise, sampled from a normal distribution with a fixed fractional error parameter (which controls its standard deviation), is added to the model forecast state vector to prepare the ensembles. In the second method, we use an adaptive error estimation technique based on the innovation diagnostics to estimate this error parameter within the assimilation framework. The results from a real and a set of synthetic experiments indicate that the EnOI scheme can provide better results when an optimal EnKF is not identified, but performs worse than the ensemble filter when the true error characteristics are known. Furthermore, while the adaptive approach is able to reduce the sensitivity to the fractional error parameter affecting the first (non-adaptive) approach, results are usually worse at ungauged locations with the former.

  • PDF

Uncertainty investigation and mitigation in flood forecasting

  • Nguyen, Hoang-Minh;Bae, Deg-Hyo
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2018년도 학술발표회
    • /
    • pp.155-155
    • /
    • 2018
  • Uncertainty in flood forecasting using a coupled meteorological and hydrological model is arisen from various sources, especially the uncertainty comes from the inaccuracy of Quantitative Precipitation Forecasts (QPFs). In order to improve the capability of flood forecast, the uncertainty estimation and mitigation are required to perform. This study is conducted to investigate and reduce such uncertainty. First, ensemble QPFs are generated by using Monte - Carlo simulation, then each ensemble member is forced as input for a hydrological model to obtain ensemble streamflow prediction. Likelihood measures are evaluated to identify feasible member. These members are retained to define upper and lower limits of the uncertainty interval and assess the uncertainty. To mitigate the uncertainty for very short lead time, a blending method, which merges the ensemble QPFs with radar-based rainfall prediction considering both qualitative and quantitative skills, is proposed. Finally, blending bias ratios, which are estimated from previous time step, are used to update the members over total lead time. The proposed method is verified for the two flood events in 2013 and 2016 in the Yeonguol and Soyang watersheds that are located in the Han River basin, South Korea. The uncertainty in flood forecasting using a coupled Local Data Assimilation and Prediction System (LDAPS) and Sejong University Rainfall - Runoff (SURR) model is investigated and then mitigated by blending the generated ensemble LDAPS members with radar-based rainfall prediction that uses McGill algorithm for precipitation nowcasting by Lagrangian extrapolation (MAPLE). The results show that the uncertainty of flood forecasting using the coupled model increases when the lead time is longer. The mitigation method indicates its effectiveness for mitigating the uncertainty with the increases of the percentage of feasible member (POFM) and the ratio of the number of observations that fall into the uncertainty interval (p-factor).

  • PDF

Noise Correction of Remote Sensing Imageries: Application to KOMPSAT/OSMI Data

  • Kang, Y.Q.;Ahn, Y.H.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.694-696
    • /
    • 2003
  • The KOMPSAT/OSMI remote sending data of 800 km swath are collected by whisk broom method employing 96 charge coupled devices (CCDs). The stripping noise in the OSMI imageries, which arise mainly due to the non-uniform sensitivities of 96 CCDs, are the major hindrance for oceanographic applications of the OSMI data. The OSMI images are corrected by 'Ensemble Smoothness' method which is based on an assumption that the series of the averages and variances of digital numbers in each line should vary smoothly. The data of each line are corrected by linear regression model of which coefficients are obtained by Ensemble Smoothness method. Our algorithm can be applied not only to OSMI data but also for other remote sensing date collected by whisk broom or push broom.

  • PDF

앙상블 SVM 모형을 이용한 기업 부도 예측 (Bankruptcy prediction using ensemble SVM model)

  • 최하나;임동훈
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권6호
    • /
    • pp.1113-1125
    • /
    • 2013
  • 기업의 부도를 예측하는 것은 회계나 재무 분야에서 중요한 연구주제이다. 지금까지 기업 부도예측을 위해 여러 가지 데이터마이닝 기법들이 적용되었으나 주로 단일 모형을 사용함으로서 복잡한 분류 문제에의 적용에 한계를 갖고 있었다. 본 논문에서는 최근에 각광받고 있는 SVM (support vector machine) 모형들을 결합한 앙상블 SVM 모형 (ensemble SVM model)을 부도예측에 사용하고자 한다. 제안된 앙상블 모형은 v-조각 교차 타당성 (v-fold cross-validation)에 의해 얻어진 여러 가지 모형 중에서 성능이 좋은 상위 k개의 단일 모형으로 구성하고 과반수 투표 방식 (majority voting)을 사용하여 미지의 클래스를 분류한다. 본 논문에서 제안된 앙상블 SVM 모형의 성능을 평가하기 위해 실제 기업의 재무비율 자료와 모의실험자료를 가지고 실험하였고, 실험결과 제안된 앙상블 모형이 여러 가지 평가척도 하에서 단일 SVM 모형들보다 좋은 성능을 보임을 알 수 있었다.

부트스트랩 샘플링 최적화를 통한 앙상블 모형의 성능 개선 (Improving an Ensemble Model by Optimizing Bootstrap Sampling)

  • 민성환
    • 인터넷정보학회논문지
    • /
    • 제17권2호
    • /
    • pp.49-57
    • /
    • 2016
  • 앙상블 학습 기법은 개별 모형보다 더 좋은 예측 성과를 얻기 위해 다수의 분류기를 결합하는 것으로 예측 성과를 향상시키는데에 매우 유용한 것으로 알려져 있다. 배깅은 단일 분류기의 예측 성과를 향상시키는 대표적인 앙상블 기법중의 하나이다. 배깅은 원 학습 데이터로부터 부트스트랩 샘플링 방법을 통해 서로 다른 학습 데이터를 추출하고, 각각의 부트스트랩 샘플에 대해 학습 알고리즘을 적용하여 서로 다른 다수의 기저 분류기들을 생성시키게 되며, 최종적으로 서로 다른 분류기로부터 나온 결과를 결합하게 된다. 배깅에서 부트스트랩 샘플은 원 학습 데이터로부터 램덤하게 추출한 샘플로 각각의 부트스트랩 샘플이 동일한 정보를 가지고 있지는 않으며 이로 인해 배깅 모형의 성과는 편차가 발생하게 된다. 본 논문에서는 이와 같은 부트스트랩 샘플을 최적화함으로써 표준 배깅 앙상블의 성과를 개선시키는 새로운 방법을 제안하였다. 제안한 모형에서는 앙상블 모형의 성과를 개선시키기 위해 부트스트랩 샘플링을 최적화하였으며 이를 위해 유전자 알고리즘이 활용되었다. 본 논문에서는 제안한 모형을 국내 부도 예측 문제에 적용해 보았으며, 실험 결과 제안한 모형이 우수한 성과를 보였다.

앙상블을 이용한 기계학습 기법의 설계: 뜰개 이동경로 예측을 통한 실험적 검증 (Ensemble Design of Machine Learning Technigues: Experimental Verification by Prediction of Drifter Trajectory)

  • 이찬재;김용혁
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제8권3호
    • /
    • pp.57-67
    • /
    • 2018
  • 앙상블 기법은 기계학습에서 다수의 알고리즘을 사용하여 더 좋은 성능을 내기 위해 사용하는 방법이다. 본 논문에서는 앙상블 기법에서 많이 사용되는 부스팅과 배깅에 대해 소개를 하고, 서포트벡터 회귀, 방사기저함수 네트워크, 가우시안 프로세스, 다층 퍼셉트론을 이용하여 설계한다. 추가적으로 순환신경망과 MOHID 수치모델을 추가하여 실험을 진행한다. 실험적 검증를 위해 사용하는 뜰개 데이터는 7 개의 지역에서 관측된 683 개의 관측 자료다. 뜰개 관측 자료를 이용하여 6 개의 알고리즘과의 비교를 통해 앙상블 기법의 성능을 검증한다. 검증 방법으로는 평균절대오차를 사용한다. 실험 방법은 배깅, 부스팅, 기계학습을 이용한 앙상블 모델을 이용하여 진행한다. 각 앙상블 모델마다 동일한 가중치를 부여한 방법, 차등한 가중치를 부여한 방법을 이용하여 오류율을 계산한다. 가장 좋은 오류율을 나타낸 방법은 기계학습을 이용한 앙상블 모델로서 6 개의 기계학습의 평균에 비해 61.7%가 개선된 결과를 보였다.

Ensemble Downscaling of Soil Moisture Data Using BMA and ATPRK

  • Youn, Youjeong;Kim, Kwangjin;Chung, Chu-Yong;Park, No-Wook;Lee, Yangwon
    • 대한원격탐사학회지
    • /
    • 제36권4호
    • /
    • pp.587-607
    • /
    • 2020
  • Soil moisture is essential information for meteorological and hydrological analyses. To date, many efforts have been made to achieve the two goals for soil moisture data, i.e., the improvement of accuracy and resolution, which is very challenging. We presented an ensemble downscaling method for quality improvement of gridded soil moisture data in terms of the accuracy and the spatial resolution by the integration of BMA (Bayesian model averaging) and ATPRK (area-to-point regression kriging). In the experiments, the BMA ensemble showed a 22% better accuracy than the data sets from ESA CCI (European Space Agency-Climate Change Initiative), ERA5 (ECMWF Reanalysis 5), and GLDAS (Global Land Data Assimilation System) in terms of RMSE (root mean square error). Also, the ATPRK downscaling could enhance the spatial resolution from 0.25° to 0.05° while preserving the improved accuracy and the spatial pattern of the BMA ensemble, without under- or over-estimation. The quality-improved data sets can contribute to a variety of local and regional applications related to soil moisture, such as agriculture, forest, hydrology, and meteorology. Because the ensemble downscaling method can be applied to the other land surface variables such as temperature, humidity, precipitation, and evapotranspiration, it can be a viable option to complement the accuracy and the spatial resolution of satellite images and numerical models.

Shot Noise Process 기반 강우-유출 모형을 이용한 유출 앙상블 멤버 생성 (Generation of runoff ensemble members using the shot noise process based rainfall-runoff model)

  • 강민석;조은샘;유철상
    • 한국수자원학회논문집
    • /
    • 제52권9호
    • /
    • pp.603-613
    • /
    • 2019
  • 본 연구에서는 shot noise process 기반 강우-유출 모형(이하 강우-유출 모형)을 이용하여 유출 앙상블 멤버를 생성하는 방법을 제안하였다. 아울러 제안된 방법을 적용하여 대림 2, 구로 1, 중동 빗물펌프장 등 3개 배수유역에 대한 유출 앙상블 멤버를 생성하고, 이를 관측 유출량과 비교해 보았다. 강우-유출 모형의 매개변수는 Kerby 공식, Kraven II 공식, Russel 공식 및 수정합리식의 개념을 이용하여 추정하였다. 강우-유출 모형 매개변수의 난수 발생을 위해서는 감마분포와 지수분포를 이용하였다. 특히, 감마분포의 경우에는 평균과 표준편차의 관계를 어떻게 설정하느냐에 따라 다양한 난수 발생이 가능함을 확인하였다. 생성된 유출 앙상블과 관측 유출량과의 비교 결과, 표준편차가 평균의 두 배인 감마 분포를 이용하여 만든 유출 앙상블이 관측 유출량을 가장 적절히 포괄함을 확인하였다.

분류 성능 향상을 위한 다양성 기반 앙상블 유전자 프로그래밍 (Diversity based Ensemble Genetic Programming for Improving Classification Performance)

  • 홍진혁;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권12호
    • /
    • pp.1229-1237
    • /
    • 2005
  • 분류 성능을 향상시키기 위해서 다수의 분류기들을 결합하는 연구가 활발히 진행되고 있다. 우수한 앙상블 분류기를 회득하기 위해서는 정확하고 다양한 개별 분류기를 구축해야 한다. 기존에는 Bagging이나 Boosting 등의 앙상블 학습 기법을 이용하거나 획득된 개별 분류기의 학습 데이타에 대한 다양성을 측정하였지만 유전 발현 데이타와 같이 학습 데이타가 적은 경우 한계가 있다. 본 논문에서는 유전자 프로그래밍으로부터 획득된 규칙의 구조적 다양성을 분석하여 결합하는 앙상블 기법을 제안한다. 유전자 프로그래밍으로 해석 가능한 분류 규칙을 생성하고 그들 사이의 다양성을 측정한 뒤, 이들 중 다양한 규칙의 집합을 결합하여 분류를 수행한다. 유전 발현 데이타로부터 림프종 암, 폐 암, 난소 암 등을 분류하는 문제를 대상으로 실험하여 제안하는 방법의 유용성을 검증하였다. 앙상블 시 분류 규칙 사이의 다양성을 분석하여 결합한 결과, 다양성을 고려하지 않을 때보다 높은 분류 성능을 획득하였고, 개별 분류 규칙들 사이의 다양성에 따라서 정분류율이 증가하는 것도 확인하였다.

Path Loss Prediction Using an Ensemble Learning Approach

  • Beom Kwon;Eonsu Noh
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권2호
    • /
    • pp.1-12
    • /
    • 2024
  • 경로 손실(Path Loss)을 예측하는 것은 셀룰러 네트워크(Cellular Network)에서 기지국(Base Station) 의 설치 위치 선정 등 무선망 설계에 중요한 요인 중 하나다. 기존에는 기지국의 최적 설치 위치를 결정하기 위해 수많은 현장 테스트(Field Tests)를 통해 경로 손실 값을 측정했다. 따라서 측정에 많은 시간이 소요된다는 단점이 있었다. 이러한 문제를 해결하기 위해 본 연구에서는 머신러닝(Machine Learning, ML) 기반의 경로 손실 예측 방법을 제안한다. 특히, 경로 손실 예측 성능을 향상시키기 위해서 앙상블 학습(Ensemble Learning) 접근법을 적용하였다. 부트스트랩 데이터 세트(Bootstrap Dataset)을 활용하여 서로 다른 하이퍼파라미터(Hyperparameter) 구성을 갖는 모델들을 얻고, 이 모델들을 앙상블하여 최종 모델을 구축했다. 인터넷상에 공개된 경로 손실 데이터 세트를 활용하여 제안하는 앙상블 기반 경로 손실 예측 방법과 다양한 ML 기반 방법들의 성능을 평가 및 비교했다. 실험 결과, 제안하는 방법이 기존 방법들보다 우수한 성능을 달성하였으며, 경로 손실 값을 가장 정확하게 예측할 수 있다는 것을 입증하였다.