• 제목/요약/키워드: Model Ensemble

검색결과 638건 처리시간 0.023초

호우 영향예보를 위한 머신러닝 기반의 수문학적 정량강우예측(HQPF) 최적화 방안 (Optimizing Hydrological Quantitative Precipitation Forecast (HQPF) based on Machine Learning for Rainfall Impact Forecasting)

  • 이한수;지용근;이영미;김병식
    • 한국환경과학회지
    • /
    • 제30권12호
    • /
    • pp.1053-1065
    • /
    • 2021
  • In this study, the prediction technology of Hydrological Quantitative Precipitation Forecast (HQPF) was improved by optimizing the weather predictors used as input data for machine learning. Results comparison was conducted using bias and Root Mean Square Error (RMSE), which are predictive accuracy verification indicators, based on the heavy rain case on August 21, 2021. By comparing the rainfall simulated using the improved HQPF and the observed accumulated rainfall, it was revealed that all HQPFs (conventional HQPF and improved HQPF 1 and HQPF 2) showed a decrease in rainfall as the lead time increased for the entire grid region. Hence, the difference from the observed rainfall increased. In the accumulated rainfall evaluation due to the reduction of input factors, compared to the existing HQPF, improved HQPF 1 and 2 predicted a larger accumulated rainfall. Furthermore, HQPF 2 used the lowest number of input factors and simulated more accumulated rainfall than that projected by conventional HQPF and HQPF 1. By improving the performance of conventional machine learning despite using lesser variables, the preprocessing period and model execution time can be reduced, thereby contributing to model optimization. As an additional advanced method of HQPF 1 and 2 mentioned above, a simulated analysis of the Local ENsemble prediction System (LENS) ensemble member and low pressure, one of the observed meteorological factors, was analyzed. Based on the results of this study, if we select for the positively performing ensemble members based on the heavy rain characteristics of Korea or apply additional weights differently for each ensemble member, the prediction accuracy is expected to increase.

장마 강수를 위한 앙상블 통계 예측 모델 개발 (The Development of Ensemble Statistical Prediction Model for Changma Precipitation)

  • 김진용;서경환
    • 대기
    • /
    • 제24권4호
    • /
    • pp.533-540
    • /
    • 2014
  • Statistical forecast models for the prediction of the summertime Changma precipitation have been developed in this study. As effective predictors for the Changma precipitation, the springtime sea surface temperature (SST) anomalies over the North Atlantic (NA1), the North Pacific (NPC) and the tropical Pacific Ocean (CNINO) has been suggested in Lee and Seo (2013). To further improve the performance of the statistical prediction scheme, we select other potential predictors and construct 2 additional statistical models. The selected predictors are the Northern Indian Ocean (NIO) and the Bering Sea (BS) SST anomalies, and the spring Eurasian snow cover anomaly (EUSC). Then, using the total three statistical prediction models, a simple ensemble-mean prediction is performed. The resulting correlation skill score reaches as high as ~0.90 for the last 21 years, which is ~16% increase in the skill compared to the prediction model by Lee and Seo (2013). The EUSC and BS predictors are related to a strengthening of the Okhotsk high, leading to an enhancement of the Changma front. The NIO predictor induces the cyclonic anomalies to the southwest of the Korean peninsula and southeasterly flows toward the peninsula, giving rise to an increase in the Changma precipitation.

머신러닝 스태킹 앙상블을 이용한 자율주행 자동차 RADAR 성능 향상 (Enhancing Autonomous Vehicle RADAR Performance Prediction Model Using Stacking Ensemble)

  • 장시연;최혜림;오윤주
    • 인터넷정보학회논문지
    • /
    • 제25권2호
    • /
    • pp.21-28
    • /
    • 2024
  • 레이다는 자율주행 차에 있어 필수적인 센서 부품으로, 레이다가 활용되는 시장은 점차 커지고 있으며 제품 종류도 다양해지고 있다. 본 연구에서는 평가 공정에서부터 레이다의 불량 여부를 예측해 자율주행의 안정성과 효율성을 높일 수 있도록 성능 예측 모델을 구축하고 평가하였다. 레이더 공정 과정의 39607개 입력 데이터로 모델을 학습하였으며, 결과적으로 17개 모델을 스태킹 앙상블했을 때 Meta Ridge 모델이 가장 높은 학습률을 나타내는 것을 확인하였다. 이러한 연구 결과가 제품의 불량을 공정 단계에서 우선 예측해 수율을 극대화하고 불량으로 인한 제품 폐기 비용을 감축하는 데 도움이 될 것으로 기대 한다.

개념적 강우유출 모형의 유량구간별 적합성 평가 및 앙상블 모델 구축 (Evaluation of conceptual rainfall-runoff models for different flow regimes and development of ensemble model)

  • 유재웅;박문형;김진국;권현한
    • 한국수자원학회논문집
    • /
    • 제54권2호
    • /
    • pp.105-119
    • /
    • 2021
  • 최근 우리나라의 계절적 강우변동폭이 점점 커져 홍수 및 가뭄의 발생빈도와 심도가 증가하고 있다. 특히, 도시화에 따른 토지이용변화, 산업구조변화 등은 수자원의 수요량 및 공급량 불균형으로 이어져 수자원 관리에서 제약조건으로 작용하고 있다. 유역 내의 물순환 평가에 있어서 물수지 모델 구축과 함께 정확한 강우-유출 분석은 매우 중요한 분석단계라 할 수 있다. 이러한 점에서 본 연구에서는 국내외 주요 연속강우-유출모형의 특성을 파악하고 소양강댐 유역에 대해서 적합성을 평가하였다. 미계측유역의 불확실성을 고려한 유량 시나리오를 제시하기 위하여 다수의 모형을 활용하는 앙상블 개념을 도입하였으며, 향후 미계측유역에 대한 적용을 위한 모형의 확장성을 고려하여 매개변수 개수 및 관측 유량에 대한 재현능력 특성 등을 종합적으로 평가하였다. 본 연구에서는 40개 이상의 국내외 연속강우-유출모형을 소양강댐에 적용하였으며, 통계적 지표를 이용하여 9개의 모형을 1차적으로 선정하였다. 선정된 모형을 대상으로 매개변수의 개수 및 저유량, 중간유량, 고유량으로 분리하여 재현성을 평가하고 최종적으로 앙상블모형을 제시하였으며, 단일 모형에 비해 개선된 관측유량 재현효과를 확인할 수 있었다.

Proper Noun Embedding Model for the Korean Dependency Parsing

  • Nam, Gyu-Hyeon;Lee, Hyun-Young;Kang, Seung-Shik
    • Journal of Multimedia Information System
    • /
    • 제9권2호
    • /
    • pp.93-102
    • /
    • 2022
  • Dependency parsing is a decision problem of the syntactic relation between words in a sentence. Recently, deep learning models are used for dependency parsing based on the word representations in a continuous vector space. However, it causes a mislabeled tagging problem for the proper nouns that rarely appear in the training corpus because it is difficult to express out-of-vocabulary (OOV) words in a continuous vector space. To solve the OOV problem in dependency parsing, we explored the proper noun embedding method according to the embedding unit. Before representing words in a continuous vector space, we replace the proper nouns with a special token and train them for the contextual features by using the multi-layer bidirectional LSTM. Two models of the syllable-based and morpheme-based unit are proposed for proper noun embedding and the performance of the dependency parsing is more improved in the ensemble model than each syllable and morpheme embedding model. The experimental results showed that our ensemble model improved 1.69%p in UAS and 2.17%p in LAS than the same arc-eager approach-based Malt parser.

다양한 앙상블 알고리즘을 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing Using Various Ensemble Models)

  • 조경철;김주완;김균엽;박성진;강상우
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.543-545
    • /
    • 2019
  • 본 논문은 최신 한국어 의존 구문 분석 모델(Korean dependency parsing model)들과 다양한 앙상블 모델(ensemble model)들을 결합하여 그 성능을 분석한다. 단어 표현은 미리 학습된 워드 임베딩 모델(word embedding model)과 ELMo(Embedding from Language Model), Bert(Bidirectional Encoder Representations from Transformer) 그리고 다양한 추가 자질들을 사용한다. 또한 사용된 의존 구문 분석 모델로는 Stack Pointer Network Model, Deep Biaffine Attention Parser와 Left to Right Pointer Parser를 이용한다. 최종적으로 각 모델의 분석 결과를 앙상블 모델인 Bagging 기법과 XGBoost(Extreme Gradient Boosting) 이용하여 최적의 모델을 제안한다.

  • PDF

머신러닝 기반 기업부도위험 예측모델 검증 및 정책적 제언: 스태킹 앙상블 모델을 통한 개선을 중심으로 (Machine learning-based corporate default risk prediction model verification and policy recommendation: Focusing on improvement through stacking ensemble model)

  • 엄하늘;김재성;최상옥
    • 지능정보연구
    • /
    • 제26권2호
    • /
    • pp.105-129
    • /
    • 2020
  • 본 연구는 부도위험 예측을 위해 K-IFRS가 본격적으로 적용된 2012년부터 2018년까지의 기업데이터를 이용한다. 부도위험의 학습을 위해, 기존의 대부분 선행연구들이 부도발생 여부를 기준으로 사용했던 것과 다르게, 본 연구에서는 머튼 모형을 토대로 각 기업의 시가총액과 주가 변동성을 이용하여 부도위험을 산정했으며, 이를 통해 기존 방법론의 한계로 지적되어오던 부도사건 희소성에 따른 데이터 불균형 문제와 정상기업 내에서 존재하는 부도위험 차이 반영 문제를 해소할 수 있도록 하였다. 또한, 시장의 평가가 반영된 시가총액 및 주가 변동성을 기반으로 부도위험을 도출하되, 부도위험과 매칭될 입력데이터로는 비상장 기업에서 활용될 수 있는 기업 정보만을 활용하여 학습을 수행함으로써, 포스트 팬데믹 시대에서 주가 정보가 존재하지 않는 비상장 기업에게도 시장의 판단을 모사하여 부도위험을 적절하게 도출할 수 있도록 하였다. 기업의 부도위험 정보가 시장에서 매우 광범위하게 활용되고 있고, 부도위험 차이에 대한 민감도가 높다는 점에서 부도위험 산출 시 안정적이고 신뢰성 높은 평가방법론이 요구된다. 최근 머신러닝을 활용하여 기업의 부도위험을 예측하는 연구가 활발하게 이루어지고 있으나, 대부분 단일 모델을 기반으로 예측을 수행한다는 점에서 필연적인 모델 편향 문제가 존재하고, 이는 실무에서 활용하기 어려운 요인으로 작용하고 있다. 이에, 본 연구에서는 다양한 머신러닝 모델을 서브모델로 하는 스태킹 앙상블 기법을 활용하여 개별 모델이 갖는 편향을 경감시킬 수 있도록 하였다. 이를 통해 부도위험과 다양한 기업정보들 간의 복잡한 비선형적 관계들을 포착할 수 있으며, 산출에 소요되는 시간이 적다는 머신러닝 기반 부도위험 예측모델의 장점을 극대화할 수 있다. 본 연구가 기존 머신러닝 기반 모델의 한계를 극복 및 개선함으로써 실무에서의 활용도를 높일 수 있는 자료로 활용되기를 바라며, 머신러닝 기반 부도위험 예측 모형의 도입 기준 정립 및 정책적 활용에도 기여할 수 있기를 희망한다.

딥러닝과 앙상블 머신러닝 모형의 하천 탁도 예측 특성 비교 연구 (Comparative characteristic of ensemble machine learning and deep learning models for turbidity prediction in a river)

  • 박정수
    • 상하수도학회지
    • /
    • 제35권1호
    • /
    • pp.83-91
    • /
    • 2021
  • The increased turbidity in rivers during flood events has various effects on water environmental management, including drinking water supply systems. Thus, prediction of turbid water is essential for water environmental management. Recently, various advanced machine learning algorithms have been increasingly used in water environmental management. Ensemble machine learning algorithms such as random forest (RF) and gradient boosting decision tree (GBDT) are some of the most popular machine learning algorithms used for water environmental management, along with deep learning algorithms such as recurrent neural networks. In this study GBDT, an ensemble machine learning algorithm, and gated recurrent unit (GRU), a recurrent neural networks algorithm, are used for model development to predict turbidity in a river. The observation frequencies of input data used for the model were 2, 4, 8, 24, 48, 120 and 168 h. The root-mean-square error-observations standard deviation ratio (RSR) of GRU and GBDT ranges between 0.182~0.766 and 0.400~0.683, respectively. Both models show similar prediction accuracy with RSR of 0.682 for GRU and 0.683 for GBDT. The GRU shows better prediction accuracy when the observation frequency is relatively short (i.e., 2, 4, and 8 h) where GBDT shows better prediction accuracy when the observation frequency is relatively long (i.e. 48, 120, 160 h). The results suggest that the characteristics of input data should be considered to develop an appropriate model to predict turbidity.

A Study on Traffic Vulnerable Detection Using Object Detection-Based Ensemble and YOLOv5

  • Hyun-Do Lee;Sun-Gu Kim;Seung-Chae Na;Ji-Yul Ham;Chanhee Kwak
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권1호
    • /
    • pp.61-68
    • /
    • 2024
  • 횡단보도에서 발생하는 교통사고를 해결하기 위한 시도가 계속되고 있지만, 교통사고는 끊임 없이 일어나는 상황이다. 특히 노인, 장애인 등의 교통약자들은 교통사고에 노출될 위험이 더 크다. 이에 대한 문제점을 주의 깊게 볼 필요가 있다. 본 논문은 교통 약자 중 휠체어, 목발과 같은 보조 기구를 이용하는 보행자를 위해 YOLO v5 모델을 활용한 객체 탐지 기술을 제안한다. 휠체어, 목발 사용자 그리고 보행자의 이미지 크롤링, Roboflow와 Mobibity Aids 데이터를 수집하였다. 일반화 성능을 높이기 위해 데이터 증강 기법을 활용하였다. 더하여 Type 2 error를 줄이기 위해 앙상블 기법을 이용하여 Recall이 96%인 높은 성능 수치를 얻었다. 이를 통해 교통약자를 목표로 YOLO 내 단일 모델을 앙상블 할 시, 객체를 놓치지 않고 정확한 탐지 성능을 보여준다는 것을 입증하였다.

앙상블 칼만필터를 연계한 추계학적 연속형 저류함수모형 (I) : - 모형 개발 - (Stochastic Continuous Storage Function Model with Ensemble Kalman Filtering (I) : Model Development)

  • 배덕효;이병주
    • 한국수자원학회논문집
    • /
    • 제42권11호
    • /
    • pp.953-961
    • /
    • 2009
  • 본 연구의 목적은 현재 국내 홍수예경보 시스템의 유출해석모형으로 이용되고 있으며 단일 호우사상에 대해 적용이 가능한 유역 및 하도 저류함수모형을 추계학적 연속형 저류함수모형으로 개발하고자 하는데 있다. 이를 위해 기존 저류함수모형에 토양수분 산정 컴포넌트를 추가하고 지표면유출, 중간유출, 지하수유출 및 실제증발산량을 토양수분의 함수로 나타내어 각 수문성분에 대한 연속적인 모의가 가능하도록 하였다. 또한 실시간 관측유량자료 동화를 위해 앙상블 칼만 필터 기법을 도입하여 확정론적 모형을 추계학적 모형으로 개선하였다. 따라서 본 연구에서 개발된 추계학적 연속형 저류함수모형은 장기간의 연속적인 유출해석이 가능할 뿐만 아니라 관측자료 동화를 통해 기존 저류함수 모형보다 신뢰성 있는 결과를 제시할 수 있을 것으로 판단된다.