• 제목/요약/키워드: Model Ensemble

검색결과 638건 처리시간 0.024초

동특성 앙상블 학습 기반 구조물 진단 모니터링 분산처리 시스템 (Decentralized Structural Diagnosis and Monitoring System for Ensemble Learning on Dynamic Characteristics)

  • 신윤수;민경원
    • 한국전산구조공학회논문집
    • /
    • 제34권4호
    • /
    • pp.183-189
    • /
    • 2021
  • 구조물에 장기적으로 발생하는 노후화를 정량적으로 파악하기 위해 상시진동 데이터를 활용한 일반화된 모니터링 시스템에 관한 연구가 세계적으로 활발히 수행중이다. 본 연구에서는 구조물에서 장기적으로 취득되는 동특성을 앙상블 학습에 활용하여 구조물의 이상을 감지하기 위한 보급형 엣지 컴퓨팅 시스템을 구축하였다. 시스템의 하드웨어는 라즈베리파이와 보급형 가속도계, 기울기센서, GPS RTK 모듈, 로라 모듈로 구성됐다. 실험실 규모의 구조물 모형 진동실험을 통해 동특성을 활용한 앙상블 학습의 구조물 이상감지를 검증하였으며, 실험을 기반으로 한 실시간 동특성 추출 분산처리 알고리즘을 라즈베리파이에 탑재하였다. 구축된 시스템을 하우징하고 포항시 행정복지센터에 설치하여 데이터를 취득함으로써 개발된 시스템의 현장 적용성을 검증하였다.

airGRdatassim을 이용한 앙상블 기반 수문자료동화 기법의 비교 및 불확실성 평가 (Comparative assessment and uncertainty analysis of ensemble-based hydrologic data assimilation using airGRdatassim)

  • 이가림;이송희;김보미;우동국;노성진
    • 한국수자원학회논문집
    • /
    • 제55권10호
    • /
    • pp.761-774
    • /
    • 2022
  • 가뭄과 홍수의 예측, 기후변화가 유역 유출량, 더 나아가 수질 및 생태계에 미치는 영향의 정확한 분석을 위해서는 수문 모의 과정의 불확실성을 정량화하고 최소화하기 위한 노력이 필요하다. 수문자료동화는 수문모형의 상태량이나 매개변수를 갱신(update)하여 모의 초기 조건의 가장 가능성 있는 추정치를 생성하는 기법으로, 실시간 관측 정보를 이용하여 예측 정확도를 향상시킬 수 있는 방법이다. 본 연구에서는 airGRdatassim 모형을 이용하여 앙상블 기반 순차 자료동화 기법인 앙상블 칼만 필터와 파티클 필터로 용담댐 유역에 대해 일 유출을 모의하고, 자료동화 기법별 특성을 비교 및 분석하였다. 모의 결과, Kling-Gupta efficiency (KGE) 지표가 자료동화 적용 전 0.799에서 앙상블 칼만 필터와 파티클 필터 적용시 각각 0.826, 0.933으로 향상되었다. 또한 기상 강제력 노이즈의 범위, 갱신 대상 상태량 설정, 앙상블 수 등 수문자료동화의 설정과 관련된 하이퍼-매개변수(hyper-parameter)의 불확실성이 모의 예측 성능에 미치는 영향을 분석하였다. 강수 및 잠재 증발산 강제력의 오차 범위에 대한 민감도 분석 결과, 모든 모의 범위에서 파티클 필터가 앙상블 칼만 필터보다 예측 성능이 우수하였다. 파티클 필터는 기상 강제력 오차 크기가 작을수록 모의 성능이 향상되었으며, 앙상블 칼만 필터는 상대적으로 오차가 큰 경우 최적 성능이 확인되었다. 한편, 자료동화시 갱신되는 상태량의 종류를 줄일수록 자료동화에 의한 모의 성능은 감소하였다. 본 연구의 모의 실험 결과는 앙상블 자료동화를 이용하여 일 유출 모의 정확도 향상이 가능하지만, 최적 성능을 발휘하기 위해서는 수문자료동화 기법별 하이퍼-매개변수의 적정한 조정이 필요함을 함의한다.

앙상블 머신러닝 모형을 이용한 하천 녹조발생 예측모형의 입력변수 특성에 따른 성능 영향 (Effect of input variable characteristics on the performance of an ensemble machine learning model for algal bloom prediction)

  • 강병구;박정수
    • 상하수도학회지
    • /
    • 제35권6호
    • /
    • pp.417-424
    • /
    • 2021
  • Algal bloom is an ongoing issue in the management of freshwater systems for drinking water supply, and the chlorophyll-a concentration is commonly used to represent the status of algal bloom. Thus, the prediction of chlorophyll-a concentration is essential for the proper management of water quality. However, the chlorophyll-a concentration is affected by various water quality and environmental factors, so the prediction of its concentration is not an easy task. In recent years, many advanced machine learning algorithms have increasingly been used for the development of surrogate models to prediction the chlorophyll-a concentration in freshwater systems such as rivers or reservoirs. This study used a light gradient boosting machine(LightGBM), a gradient boosting decision tree algorithm, to develop an ensemble machine learning model to predict chlorophyll-a concentration. The field water quality data observed at Daecheong Lake, obtained from the real-time water information system in Korea, were used for the development of the model. The data include temperature, pH, electric conductivity, dissolved oxygen, total organic carbon, total nitrogen, total phosphorus, and chlorophyll-a. First, a LightGBM model was developed to predict the chlorophyll-a concentration by using the other seven items as independent input variables. Second, the time-lagged values of all the input variables were added as input variables to understand the effect of time lag of input variables on model performance. The time lag (i) ranges from 1 to 50 days. The model performance was evaluated using three indices, root mean squared error-observation standard deviation ration (RSR), Nash-Sutcliffe coefficient of efficiency (NSE) and mean absolute error (MAE). The model showed the best performance by adding a dataset with a one-day time lag (i=1) where RSR, NSE, and MAE were 0.359, 0.871 and 1.510, respectively. The improvement of model performance was observed when a dataset with a time lag up of about 15 days (i=15) was added.

확률론적 방법론을 이용한 레이더 강우 앙상블 생성 (Generation of radar rainfall ensemble using probabilistic approach)

  • 강나래;주홍준;이명진;김형수
    • 한국수자원학회논문집
    • /
    • 제50권3호
    • /
    • pp.155-167
    • /
    • 2017
  • 수문분석에 있어 정확한 강우량 추정 및 강우 자료의 품질은 매우 중요한 요소로 특히, 홍수유출 결과에 큰 영향을 미친다. 따라서 보다 신뢰성 높은 홍수분석을 위해서는 강우자료에 내포된 오차 또는 불확실성을 확인하는 과정이 필요하다고 할 수 있다. 본 연구에서는 임의의 값을 추정하는데 있어 하나의 값이 아닌 가능한 값들의 범위를 정의하거나 확률분포를 표시할 수 있는 확률론적인 방법을 제시하고 이를 레이더 강우에 적용하여 그 활용성을 평가하고자 하였다. 2012년 태풍 '산바'로 인해 남강댐 유역에 발생한 호우 사상에, 확률론적 방법을 적용하여 레이더 강우의 앙상블을 생성하였다. 생성된 강우 앙상블은 레이더 강우의 전체적인 편의보정뿐만 아니라 지상강우의 패턴을 잘 모의하고 있는 것으로 나타났으며, 레이더에 의해 추정한 강우의 불확실성을 잘 표현하고 있는 것으로 확인되었다. 확률론적 기법에 의한 강우 앙상블 생성 방법은 발생 가능한 다양한 강우 시나리오를 제공할 수 있으며 홍수예경보와 같은 의사 결정에 유용한 정보를 제공할 수 있을 것으로 판단된다.

머신러닝 CatBoost 다중 분류 알고리즘을 이용한 조류 발생 예측 모형 성능 평가 연구 (Evaluation of Multi-classification Model Performance for Algal Bloom Prediction Using CatBoost)

  • 김준오;박정수
    • 한국물환경학회지
    • /
    • 제39권1호
    • /
    • pp.1-8
    • /
    • 2023
  • Monitoring and prediction of water quality are essential for effective river pollution prevention and water quality management. In this study, a multi-classification model was developed to predict chlorophyll-a (Chl-a) level in rivers. A model was developed using CatBoost, a novel ensemble machine learning algorithm. The model was developed using hourly field monitoring data collected from January 1 to December 31, 2015. For model development, chl-a was classified into class 1 (Chl-a≤10 ㎍/L), class 2 (10<Chl-a≤50 ㎍/L), and class 3 (Chl-a>50 ㎍/L), where the number of data used for the model training were 27,192, 11,031, and 511, respectively. The macro averages of precision, recall, and F1-score for the three classes were 0.58, 0.58, and 0.58, respectively, while the weighted averages were 0.89, 0.90, and 0.89, for precision, recall, and F1-score, respectively. The model showed relatively poor performance for class 3 where the number of observations was much smaller compared to the other two classes. The imbalance of data distribution among the three classes was resolved by using the synthetic minority over-sampling technique (SMOTE) algorithm, where the number of data used for model training was evenly distributed as 26,868 for each class. The model performance was improved with the macro averages of precision, rcall, and F1-score of the three classes as 0.58, 0.70, and 0.59, respectively, while the weighted averages were 0.88, 0.84, and 0.86 after SMOTE application.

엔드밀 공정에서의 신호처리에 따른 제어모델에 관한 연구 (Study on Control Model Based on Signal Processing In End-Milling Process)

  • 양우석;이건복
    • 한국공작기계학회:학술대회논문집
    • /
    • 한국공작기계학회 2001년도 춘계학술대회 논문집(한국공작기계학회)
    • /
    • pp.192-196
    • /
    • 2001
  • This work describes the modeling of cutting process for feedback control based on signal processing in end-milling. Here, cutting force is used to design control model by a variety of schemes which are moving average, ensemble average, peak value, root mean square and analog low-pass filtering. It is expected that each model offers its own peculiar advantage in following cutting force control.

  • PDF

기후 인자와 관련된 육상 탄소 순환 변동: 탄소추적시스템과 CMIP5 모델 결과 비교 (Response of Terrestrial Carbon Cycle: Climate Variability in CarbonTracker and CMIP5 Earth System Models)

  • 선민아;김영미;이조한;부경온;변영화;조천호
    • 대기
    • /
    • 제27권3호
    • /
    • pp.301-316
    • /
    • 2017
  • This study analyzes the spatio-temporal variability of terrestrial carbon flux and the response of land carbon sink with climate factors to improve of understanding of the variability of land-atmosphere carbon exchanges accurately. The coupled carbon-climate models of CMIP5 (the fifth phase of the Coupled Model Intercomparison Project) and CT (CarbonTracker) are used. The CMIP5 multi-model ensemble mean overestimated the NEP (Net Ecosystem Production) compares to CT and GCP (Global Carbon Project) estimates over the period 2001~2012. Variation of NEP in the CMIP5 ensemble mean is similar to CT, but a couple of models which have fire module without nitrogen cycle module strongly simulate carbon sink in the Africa, Southeast Asia, South America, and some areas of the United States. Result in comparison with climate factor, the NEP is highly affected by temperature and solar radiation in both of CT and CMIP5. Partial correlation between temperature and NEP indicates that the temperature is affecting NEP positively at higher than mid-latitudes in the Northern Hemisphere, but opposite correlation represents at other latitudes in CT and most CMIP5 models. The CMIP5 models except for few models show positive correlation with precipitation at $30^{\circ}N{\sim}90^{\circ}N$, but higher percentage of negative correlation represented at $60^{\circ}S{\sim}30^{\circ}N$ compare to CT. For each season, the correlation between temperature (solar radiation) and NEP in the CMIP5 ensemble mean is similar to that of CT, but overestimated.

지역 기후 앙상블 예측을 활용한 한반도 풍력 에너지의 시·공간적 변동성 연구 (Variability of Wind Energy in Korea Using Regional Climate Model Ensemble Projection)

  • 김유미;김연희;김나윤;임윤진;김백조
    • 대기
    • /
    • 제26권3호
    • /
    • pp.373-386
    • /
    • 2016
  • The future variability of Wind Energy Density (WED) over the Korean Peninsula under RCP climate change scenario is projected using ensemble analysis. As for the projection of the future WED, changes between the historical period (1981~2005) and the future projection (2021~2050) are examined by analyzing annual and seasonal mean, and Coefficient of Variation (CV) of WED. The annual mean of WED in the future is expected to decrease compared to the past ones in RCP 4.5 and RCP 8.5 respectively. However, the CV is expected to increase in RCP 8.5. WEDs in spring and summer are expected to increase in both scenarios RCP 4.5 and RCP 8.5. In particular, it is predicted that the variation of CV for WED in winter is larger than other seasons. The time series of WED for three major wind farms in Korea exhibit a decrease trend over the future period (2021~2050) in Gochang for autumn, in Daegwanryeong for spring, and in Jeju for autumn. Through analyses of the relationship between changes in wind energy and pressure gradients, the fact that changes in pressure gradients would affect changes in WED is identified. Our results can be used as a background data for devising a plan to develop and operate wind farm over the Korean Peninsula.

전력소비행위 변화를 위한 전력소비패턴 분석 및 적용 (Analysis and Application of Power Consumption Patterns for Changing the Power Consumption Behaviors)

  • 장민석;남광우;이연식
    • 한국정보통신학회논문지
    • /
    • 제25권4호
    • /
    • pp.603-610
    • /
    • 2021
  • 본 논문에서는 사용자의 전력소비패턴을 추출하고 사용자의 환경 및 감성을 적용한 최적 소비패턴을 모델링한 후, 이 두 가지의 패턴을 비교 적용하여 사용자의 전력소비행위 변화를 통한 전력의 효율적 사용 방법을 제시한다. 유의미한 소비패턴을 추출하기 위하여 벡터 표준화 및 이진 데이터 변환방법을 사용하고, k-평균 군집화를 적용한 앙상블의 합집합에 대한 학습과 k값에 따른 지지도를 적용하였으며, 최적 전력소비패턴 모델은 상대적 평균 소비량이 적은 앙상블 합집합에 대한 학습 결과를 기준으로 강제 및 감성 제어를 적용하여 생성하였다. 실험을 통하여 전력소비행위 변화 유도대상 추출 시 클러스터의 수와 일치율 간의 상관관계를 파악함으로써, 사용자의 의도에 따라 강제 및 감성 기반의 제어가 가능하도록 클러스터의 수나 크기 조절을 통한 다양한 윈도우에 적용할 수 있음을 검증하였다.

앙상블 머신러닝 모델 기반 유튜브 스팸 댓글 탐지 (Ensemble Machine Learning Model Based YouTube Spam Comment Detection)

  • 정민철;이지현;오하영
    • 한국정보통신학회논문지
    • /
    • 제24권5호
    • /
    • pp.576-583
    • /
    • 2020
  • 이 논문은 최근 엄청난 성장을 하고 있는 유튜브의 댓글 중 스팸 댓글을 판별하는 기법을 제안한다. 유튜브에서는 광고를 통한 수익 창출이 가능하기 때문에 인기 동영상에서 자신의 채널이나 동영상을 홍보하거나 영상과 관련 없는 댓글을 남기는 스패머(spammer)들이 나타났다. 유튜브에서는 자체적으로 스팸 댓글을 차단하는 시스템을 운영하고 있지만 여전히 제대로 차단하지 못한 스팸 댓글들이 있다. 따라서, 유튜브 스팸 댓글 판별에 대한 관련 연구들을 살펴 보고 인기 동영상인 싸이, 케이티 페리, LMFAO, 에미넴, 샤키라의 뮤직비디오 댓글 데이터에 6가지 머신러닝 기법(의사결정나무, 로지스틱 회귀분석, 베르누이 나이브 베이즈, 랜덤 포레스트, 선형 커널을 이용한 서포트 벡터 머신, 가우시안 커널을 이용한 서포트 벡터 머신)과 이들을 결합한 앙상블 모델로 스팸 탐지 실험을 진행하였다.