• 제목/요약/키워드: Model Ensemble

검색결과 638건 처리시간 0.029초

외환거래에서 의사결정나무와 그래디언트 부스팅을 이용한 수익 모형 연구 (The study of foreign exchange trading revenue model using decision tree and gradient boosting)

  • 정지현;민대기
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권1호
    • /
    • pp.161-170
    • /
    • 2013
  • 외환차액거래는 국제외환 시장에서 외국의 통화를 거래하는 것으로 현물시장에서 이뤄지는 장외 통화선물 거래를 의미한다. 외환차액거래 데이터를 이용하여 의사결정나무와 그래디언트 부스팅 방법을 이용한 수익모델을 비교하였다. 금융시장의 예측을 위해 사용되고 있는 시계열분석과 같은 방법들은 장기간의 예측 모형을 설명하기에 장점이 있지만, 파동이많고 짧은 시간에 가격이 급변하는 외환시장을 예측하기에는 한계가 있다. 따라서 본 논문에서는 단기간 즉 1, 3, 5분에서 외환시장의 수익구조를 의사결정나무와 앙상블기법의 하나인 그래디언트 부스팅으로 비교하여 매수, 매도거래 시 수익을 만들기 위한 규칙을 연구하였다.

Development of a software framework for sequential data assimilation and its applications in Japan

  • Noh, Seong-Jin;Tachikawa, Yasuto;Shiiba, Michiharu;Kim, Sun-Min;Yorozu, Kazuaki
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2012년도 학술발표회
    • /
    • pp.39-39
    • /
    • 2012
  • Data assimilation techniques have received growing attention due to their capability to improve prediction in various areas. Despite of their potentials, applicable software frameworks to probabilistic approaches and data assimilation are still limited because the most of hydrologic modelling software are based on a deterministic approach. In this study, we developed a hydrological modelling framework for sequential data assimilation, namely MPI-OHyMoS. MPI-OHyMoS allows user to develop his/her own element models and to easily build a total simulation system model for hydrological simulations. Unlike process-based modelling framework, this software framework benefits from its object-oriented feature to flexibly represent hydrological processes without any change of the main library. In this software framework, sequential data assimilation based on the particle filters is available for any hydrologic models considering various sources of uncertainty originated from input forcing, parameters and observations. The particle filters are a Bayesian learning process in which the propagation of all uncertainties is carried out by a suitable selection of randomly generated particles without any assumptions about the nature of the distributions. In MPI-OHyMoS, ensemble simulations are parallelized, which can take advantage of high performance computing (HPC) system. We applied this software framework for several catchments in Japan using a distributed hydrologic model. Uncertainty of model parameters and radar rainfall estimates is assessed simultaneously in sequential data assimilation.

  • PDF

불확실성을 고려한 논벼 증발산량 기후변화 영향 평가 (Assessing the Climate Change Impacts on Paddy Rice Evapotranspiration Considering Uncertainty)

  • 최순군;정재학;조재필;허승오;최동호;김민경
    • 한국기후변화학회지
    • /
    • 제9권2호
    • /
    • pp.143-156
    • /
    • 2018
  • Evapotranspiration is a key element in designing and operating agricultural hydraulic structures. The profound effect of climate change to local agro-hydrological systems makes it inevitable to study the potential variability in evapotranspiration rate in order to develop policies on future agricultural water management as well as to evaluate changes in agricultural environment. The APEX-Paddy model was used to simulate local evapotranspiration responses to climate change scenarios. Nine Global Climate Models(GCMs) downscaled using a non-parametric quantile mapping method and a Multi?Model Ensemble method(MME) were used for an uncertainty analysis in the climate scenarios. Results indicate that APEX-Paddy and the downscaled 9 GCMs reproduce evapotranspiration accurately for historical period(1976~2005). For future periods, simulated evapotranspiration rate under the RCP 4.5 scenario showed increasing trends by -1.31%, 2.21% and 4.32% for 2025s(2011~2040), 2055s(2041~2070) and 2085s(2071~2100), respectively, compared with historical(441.6 mm). Similar trends were found under the RCP 8.5 scenario with the rates of increase by 0.00%, 4.67%, and 7.41% for the near?term, mid?term, and long?term periods. Monthly evapotranspiration was predicted to be the highest in August, July was the month having a strong upward trend while. September and October were the months showing downward trends in evapotranspiration are mainly resulted from the shortening of the growth period of paddy rice due to temperature increase and stomatal closer as ambient $CO_2$ concentration increases in the future.

리튬이온 배터리 수명추정을 위한 용량예측 머신러닝 모델의 성능 비교 (Comparison of the Machine Learning Models Predicting Lithium-ion Battery Capacity for Remaining Useful Life Estimation)

  • 유상우;신용범;신동일
    • 한국가스학회지
    • /
    • 제24권6호
    • /
    • pp.91-97
    • /
    • 2020
  • 리튬이온 배터리(LIB)는 다른 배터리에 비해 수명이 길고, 에너지 밀도가 높으며, 자체 방전율이 낮아, 에너지 저장장치(ESS)로 선호되고 있다. 하지만, 2017~2019년 기간 동안 국내에서만도 28건의 화재사고가 발생하였으며, LIB의 운영 중 안전성 및 신뢰성을 보장하기 위해 LIB의 정확한 용량추정은 필수요소이다. 본 연구에서는 LIB의 충방전 cycle에 따른 용량변화를 예측하는 기계학습 기반 모델의 설계에 있어 중요한 요소인 최적 머신러닝 모델의 선정을 위해, Decision Tree, 앙상블학습법, Support Vector Regression, Gaussian Process Regression (GPR) 각각을 이용한 예측모델을 구현하고 성능비교를 실시하였다. 학습을 위해 NASA에서 제공하는 시험데이터를 사용하였으며, GPR이 가장 좋은 예측성능을 보였다. 이를 바탕으로 추가 시험데이터 학습을 통해 개선된 LIB 용량예측과 잔여 수명추정 모델을 개발하여, 운영 중 이상 감지 및 모니터링 성능을 높여, 보다 안전하고 안정된 ESS 운용에 활용하고자 한다.

오토인코더를 이용한 요인 강화 HAR 모형 (Autoencoder factor augmented heterogeneous autoregressive model)

  • 박민수;백창룡
    • 응용통계연구
    • /
    • 제35권1호
    • /
    • pp.49-62
    • /
    • 2022
  • 실현 변동성은 강한 종속성을 가짐이 잘 알려져 있으며, 글로벌 금융 시장과 유기적으로 연관이 되어 있을 뿐만 아니라 환율, 유가, 이자율 등의 거시적인 지표와도 밀접한 관계가 있다. 본 논문은 이러한 실현 변동성의 효과적인 예측을 위해서 오토인코더를 이용한 FAHAR (autoencoder factor-augmented heterogeneous autoregressive, AE-FAHAR) 모형을 제안한다. AE-FAHAR 모형은 강한 종속성을 HAR 구조로 반영하고, 외부 효과에 대한 영향을 오토인코더를 사용하여 몇 개의 요인으로 추출하여 이를 반영한다. 오토인코더는 비선형 방법으로 요인을 추정하기에 많은 계산 시간이 필요하지만 복잡하고 비정상성을 가질 수 있는 고차원 시계열 자료의 요약에 더 적합하다. 이는 곧 실증 자료 분석을 통해 AE-FAHAR 모형이 예측 오차를 줄임을 확인할 수 있었다. 또한 계산 시간을 줄이고 추정 오차를 줄이기 위해 오토인코더에 사전학습 및 앙상블을 적용하는 등의 방법에 대해서도 논의하였다.

Hot Keyword Extraction of Sci-tech Periodicals Based on the Improved BERT Model

  • Liu, Bing;Lv, Zhijun;Zhu, Nan;Chang, Dongyu;Lu, Mengxin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권6호
    • /
    • pp.1800-1817
    • /
    • 2022
  • With the development of the economy and the improvement of living standards, the hot issues in the subject area have become the main research direction, and the mining of the hot issues in the subject currently has problems such as a large amount of data and a complex algorithm structure. Therefore, in response to this problem, this study proposes a method for extracting hot keywords in scientific journals based on the improved BERT model.It can also provide reference for researchers,and the research method improves the overall similarity measure of the ensemble,introducing compound keyword word density, combining word segmentation, word sense set distance, and density clustering to construct an improved BERT framework, establish a composite keyword heat analysis model based on I-BERT framework.Taking the 14420 articles published in 21 kinds of social science management periodicals collected by CNKI(China National Knowledge Infrastructure) in 2017-2019 as the experimental data, the superiority of the proposed method is verified by the data of word spacing, class spacing, extraction accuracy and recall of hot keywords. In the experimental process of this research, it can be found that the method proposed in this paper has a higher accuracy than other methods in extracting hot keywords, which can ensure the timeliness and accuracy of scientific journals in capturing hot topics in the discipline, and finally pass Use information technology to master popular key words.

산업제어시스템의 이상 탐지 성능 개선을 위한 데이터 보정 방안 연구 (Research on Data Tuning Methods to Improve the Anomaly Detection Performance of Industrial Control Systems)

  • 전상수;이경호
    • 정보보호학회논문지
    • /
    • 제32권4호
    • /
    • pp.691-708
    • /
    • 2022
  • 머신러닝과 딥러닝의 기술이 보편화되면서 산업제어시스템의 이상(비정상) 탐지 연구에도 적용이 되기 시작하였다. 국내에서는 산업제어시스템의 이상 탐지를 위한 인공지능 연구를 활성화시키기 위하여 HAI 데이터셋을 개발하여 공개하였고, 산업제어시스템 보안위협 탐지 AI 경진대회를 시행하고 있다. 이상 탐지 연구들은 대개 기존의 딥러닝 학습 알고리즘을 변형하거나 다른 알고리즘과 함께 적용하는 앙상블 학습 모델의 방법을 통해 향상된 성능의 학습 모델을 만드는 연구가 대부분 이었다. 본 연구에서는 학습 모델과 데이터 전처리(pre-processing)의 개선을 통한 방법이 아니라, 비정상 데이터를 탐지하여 라벨링 한 결과를 보정하는 후처리(post-processing) 방법으로 이상 탐지의 성능을 개선시키는 연구를 진행하였고, 그 결과 기존 모델의 이상 탐지 성능 대비 약 10%이상의 향상된 결과를 확인하였다.

XAI 기반 기업부도예측 분류모델 연구 (A Study on Classification Models for Predicting Bankruptcy Based on XAI)

  • 김지홍;문남미
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.333-340
    • /
    • 2023
  • 기업 부도의 효율적인 예측은 금융기관의 적절한 대출 결정과 여신 부실률 감소 측면에서 중요한 부분이다. 많은 연구에서 인공지능 기술을 활용한 분류모델 연구를 진행하였다. 금융 산업 특성상 새로운 예측 모델의 성능이 우수하더라도 어떤 근거로 결과를 출력했는지 직관적인 설명이 수반되어야 한다. 최근 미국, EU, 한국 등 에서는 공통적으로 알고리즘의 설명요구권을 제시하고 있어 금융권 AI 활용에 투명성을 확보하여야 한다. 본 논문에서는 외부에 오픈된 기업부도 데이터를 활용하여 인공지능 기반의 해석 가능한 분류 예측 모델을 제안하였다. 먼저 데이터 전처리 작업, 5겹 교차검증 등을 수행하고 로지스틱 회귀, SVM, XGBoost, LightGBM 등 10가지 지도학습 분류모델 최적화를 통해 분류 성능을 비교하였다. 그 결과 LightGBM이 가장 우수한 모델로 확인되었고, 설명 가능한 인공지능 기법인 SHAP을 적용하여 부도예측 과정에 대한 사후 설명을 제공하였다.

WRF-Hydro와 DART를 이용한 분포형 수문모형의 자료동화 (Ensemble data assimilation using WRF-Hydro and DART)

  • 노성진;최현진;김보미;이가림;이송희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.392-392
    • /
    • 2021
  • 자료동화(data assimilation) 기법은 관측 자료와 예측 모형의 정보를 동시에 활용, 모형의 상태량(state variables)이나 매개변수(model parameters)를 실시간으로 업데이트하는 Bayesian 필터링 이론에 근거한 방법으로, 최근 이를 활용한 수문 모의 정확도 향상 기술이 빠르게 발전하고 있다. 본 연구에서는 앙상블 자료동화의 정확성을 향상시키기 위한 세부 방법인 along-the-stream localization과 inflation 기법의 분포형 수문 모형에 대한 적용성을 대규모 지역 단위(regional-scale) 모의를 통해 검토한다. 분포형 수문모형과 자료동화 framework로는 WRF-Hydro(Weather Research and Forecasting Model Hydrological Modeling System)와 DART(Data Assimilation Research Testbed)를 각각 적용한다. WRF-Hydro는 미국의 전 대륙지역(CONUS; continental United States)에 대한 수문 모델링 framework인 National Water Model의 핵심엔진이고, DART는 미국 National Center for Atmospheric Research(NCAR) 연구소에서 개발한 범용 자료동화 도구이다. 본 연구에서는 지표수 수문모형의 자료동화를 위해 개발된 기법인 along-the-stream localization과 inflation 기법이 하도 추적에 미치는 영향을 분석한다. along-the stream localization 기법은 공간적 근접도 외에 하도의 수문학적 연관관계를 고려하는 localization 기법으로, 상대적으로 수문학적 상관도가 떨어지는 하도에 대한 과도한 자료동화를 줄여줄 수 있다. inflation 기법은 앙상블의 다양성을 증가시키는 기법으로, 칼만 필터(Kalman filter)에 의한 업데이트의 이전이나 이후 적용하여 앙상블 예측의 정확도를 추가적으로 향상시킬 수 있다. 본 고에서는 앙상블 자료동화 기법을 지표수 수문 모의에 적용할 경우 남아 있는 난제와 적용 가능한 방법에 대해 중점적으로 논의한다.

  • PDF

The evaluation of Spectral Vegetation Indices for Classification of Nutritional Deficiency in Rice Using Machine Learning Method

  • Jaekyeong Baek;Wan-Gyu Sang;Dongwon Kwon;Sungyul Chanag;Hyeojin Bak;Ho-young Ban;Jung-Il Cho
    • 한국작물학회:학술대회논문집
    • /
    • 한국작물학회 2022년도 추계학술대회
    • /
    • pp.88-88
    • /
    • 2022
  • Detection of stress responses in crops is important to diagnose crop growth and evaluate yield. Also, the multi-spectral sensor is effectively known to evaluate stress caused by nutrient and moisture in crops or biological agents such as weeds or diseases. Therefore, in this experiment, multispectral images were taken by an unmanned aerial vehicle(UAV) under field condition. The experiment was conducted in the long-term fertilizer field in the National Institute of Crop Science, and experiment area was divided into different status of NPK(Control, N-deficiency, P-deficiency, K-deficiency, Non-fertilizer). Total 11 vegetation indices were created with RGB and NIR reflectance values using python. Variations in nutrient content in plants affect the amount of light reflected or absorbed for each wavelength band. Therefore, the objective of this experiment was to evaluate vegetation indices derived from multispectral reflectance data as input into machine learning algorithm for the classification of nutritional deficiency in rice. RandomForest model was used as a representative ensemble model, and parameters were adjusted through hyperparameter tuning such as RandomSearchCV. As a result, training accuracy was 0.95 and test accuracy was 0.80, and IPCA, NDRE, and EVI were included in the top three indices for feature importance. Also, precision, recall, and f1-score, which are indicators for evaluating the performance of the classification model, showed a distribution of 0.7-0.9 for each class.

  • PDF