• Title/Summary/Keyword: 머신러닝

Search Result 1,402, Processing Time 0.04 seconds

Development and Evaluation of Machine Learning-based Prediction Models for Wastewater Treatment Plant (머신러닝 기반의 하수처리장 예측 모델 평가 및 개발)

  • Kyu Dae Shim;Hyo Sang Kim;Geun Soo Chang;Dong Kyun Kim;Young Mo Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.499-499
    • /
    • 2023
  • 최근 컴퓨터 성능 향상과 새로운 머신러닝 알고리즘 개발됨에 따라, 각 분야별 연구자들이 이를 활용한 연구를 다양하게 수행하고 있으며, 하수처리시설의 경우에는 막대한 양의 운영자료가 축척됨에 따라 머신러닝을 활용한 다양한 연구가 가속화 되고 있다. 기존 하수처리장의 물리학적 모델은 적용된 영향 인자에 여러 가지 가정이 고려되어 모델 정확도가 부정확해지는 경향이 있었으며, 이러한 문제점을 보완하기 위해 하수처리장의 수집된 운영자료 및 머신러닝 기반의 예측 모델을 활용하여 예측 모델 정확도를 향상하는 선행 연구들이 진행되고 있다. A 하수처리장의 부지 내에 설치된 센서를 통하여 운영자료가 중앙제어실 서버에 실시간으로 저장되는 자료를 활용하여 NN (Neural Network), SVM (Support Vector Machine), RF (Random Forest) 등과 같은 다양한 머신러닝 모델을 적용하였고, 하수처리장 운영자료를 적용할 경우 어느 모델이 가장 높은 성능이 나타나는지 인사이트를 도출하고자 하였다. 금회 연구는 A 하수처리장을 대상으로 여러 머신러닝 기반 예측 모델을 개발하고, 각 모델의 예측정확도를 서로 평가함으로써, 머신러닝 모델 최적화를 수행할 수 있었다. 이번 연구에서 도출된 결과를 활용하여 하수처리장 예측 모델 최적화를 진행할 경우, 향후 비교적 짧은 시간에 하수처리장 머신러닝 기반 예측 모델 개발이 가능하다는 점에 의의가 있다.

  • PDF

Prediction of Snow Damage Using Machine Learning Technique (머신러닝 기법을 이용한 대설피해 예측 및 적합성 검토)

  • Lee, Hyeong Joo;Chung, Gunhui
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.192-192
    • /
    • 2020
  • 취약성 분석의 결과로 폭설에 의한 기후노출은 현재에는 강원권이 가장 취약한 것으로 나타났다. 그러나 미래에는 강원권, 충청권, 호남권을 연결하는 축으로 취약지역이 확대될 것으로 전망된다. 본 연구에서는 다양한 머신러닝 기법을 이용하여 대설피해 예측을 실시하였다. 머신러닝 기법으로는 로지스틱회귀모형, 서포트벡터 머신, 의사결정트리 모형을 적용하였다. 종속변수로 대설피해액 자료를 이용하였고, 독립변수로 기상관측자료, 사회·경제적 요소를 사용하였다. 결과적으로 기존에 사용했던 다중회귀모형과 머신러닝 기법으로 예측한 예측력을 비교 및 분석하였고, 예측력이 가장 높은 머신러닝 기법을 제시하였다. 본 연구에서 대설피해 예측을 위해 사용된 예측력이 가장 높은 기법을 활용하여 대설피해를 예측한다면, 미래에 전국적으로 확대될 대설피해에 대해 효과적으로 대비할 수 있을 것으로 기대된다.

  • PDF

머신러닝 기반 보안데이터 분석 연구

  • Lee, Seek;Kim, DongHoon;Cho, YoungHun;Myung, JoonWoo;Moon, DaMin;Lee, JaeKoo;Yoon, MyungKeun
    • Review of KIISC
    • /
    • v.29 no.3
    • /
    • pp.6-13
    • /
    • 2019
  • 최근 머신러닝 기술이 비약적으로 발전하고 있다. 하드웨어 성능이 향상되고 머신러닝 활용 도구가 오픈소스로 사용 편리하게 개발되어 대중화됨으로써 보안데이터 분석 분야에서도 머신러닝을 이용한 기술 개발이 활발히 진행되고 있다. 본 논문에서는 보안 분야의 악성코드 데이터와 보안관제 로그 데이터를 주요 대상으로 머신러닝 기술을 적용할 때 고려되어야 할 기술적 사항들과 최신 연구 동향, 데이터 셋 특징, 그리고 머신러닝 기반의 보안데이터 분석 기술의 기대 효과 및 현재 기술의 한계점 등을 다루도록 한다.

Parameters Optimization of Rainfall-Outflow Model Using Machine Learning (머신러닝을 활용한 강우-유출 모형의 매개변수 최적화 연구)

  • Jun, Kyung Soo;Sunwoo, Wooyeon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.299-299
    • /
    • 2021
  • 본 연구에서는 강우-유출 모형의 매개변수를 최적화하기 위해 머신러닝 기법을 활용하였다. 강우-유출 모형의 종류가 검토되었으며 이를 통해 선정된 강우-유출 모형의 매개변수 특성과 유출량 선정과의 관계성이 검토되었다. 이를 위해 다년간의 유출 측정 자료가 있는 연구지역이 선정되었다. 또한 매개변수 최적화를 위한 머신러닝 기법이 검토되었으며, 매개변수 최적화와 유출량 산정 정확성을 비교, 분석함으로써 관계성을 검토하였다. 본 연구의 결과를 요악하면 다음과 같다. (1) 여름 장마의 지속성은 매개변수 최적화 정확성에 영향을 주며 이 둘은 비선형적인 관계를 나타낸다. (2) 매개변수 최적화가 강우 심도에 따라 다른 결과를 나타내며 최적의 강우 심도는 연구 지역마다 차이가 있기 때문에 유역 특성을 반영한 머신러닝 기법 활용이 가능하다. 이를 통해 강우-유출 모형의 매개변수 최적화를 위한 머신러닝 기법의 활용 가능성을 확대하고, 모형의 정확도 개선을 기대 할 수 있다.

  • PDF

Development and evaluation of watershed hybrid model using machine learning (머신러닝을 활용한 유역단위 하이브리드모델 개발 및 평가)

  • Sang Joon Bak;Gwan Jae Lee;Seo Ro Lee;Yeon Ji Jeong;Dong Hyuk Kum;Ji Chul Ryu;Woon JI Park;Kyoung Jae Lim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.212-212
    • /
    • 2023
  • 비점오염원관리와 같이 장기적인 유역 관리 계획에서 유역 내 오염원 평가는 정말 중요하다. 유역 내 오염원 평가는 강우 유출에 의한 비점오염 발생원이 어디서 얼마나 발생시키는지에 대한 정량적인 조사가 필요하다. 유역 내의 오염원에 대한 정량적인 조사는 많은 비용과 시간이 필요하다. 이러한 비용과 시간을 줄이기 위해 유역단위 수리 수문 모델을 사용하고 있다. 유역단위 수리수문 모델은 HSPF (Hydrological Simulation Program in Fortran), SWAT (Soil and Water Assessment Tool), L-THIA ACN-WQ(The Long-term Hydrologic Impact Assessment Model with Asymptotic Curve Number Regression Equation and Water Quality model)등 다양한 모델이 사용되고 있다. 하지만 유역 모델을 통한 모의는 다양한 연산 과정을 진행하여 모의까지 많은 시간이 필요하다는 단점이 있다. 이에 따라 데이터 기반 모델링 기법(머신러닝/딥러닝)을 이용한 유출 및 수질 예측 연구가 많이 이루어지고 있다. 단순 머신러닝/딥러닝 기반 모델링 기법은 점(최종유출구)에서의 예측만 가능하여 최적관리 기법 적용 등과 같은 유역관리 방안을 적용하기 힘들다는 문제점이 있다. 따라서 본 연구에서 머신러닝/딥러닝을 통해 일부 수문 프로세스를 대체하고 소유역별 하도추적 기법을 연계하여 유량 및 수질 항목들의 모의가 가능한 하이브리드 모델을 개발하였다. 이는 머신러닝/딥러닝이 유역 모델의 일부 연산 과정을 대체하여 모의시간이 빠르며, 기존 머신러닝/딥러닝 예측 모델에서 평가가 어려웠던 유역 관리 방안 및 최적관리기법 적용 평가에도 활용이 가능할 것으로 판단이 된다.

  • PDF

Study on Soil Moisture Predictability using Machine Learning Technique (머신러닝 기법을 활용한 토양수분 예측 가능성 연구)

  • Jo, Bongjun;Choi, Wanmin;Kim, Youngdae;kim, Kisung;Kim, Jonggun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.248-248
    • /
    • 2020
  • 토양수분은 증발산, 유출, 침투 등 물수지 요소들과 밀접한 연관이 있는 주요한 변수 중에 하나이다. 토양수분의 정도는 토양의 특성, 토지이용 형태, 기상 상태 등에 따라 공간적으로 상이하며, 특히 기상 상태에 따라 시간적 변동성을 보이고 있다. 기존 토양수분 측정은 토양시료 채취를 통한 실내 실험 측정과 측정 장비를 통한 현장 조사 방법이 있으나 시간적, 경제적 한계점이 있으며, 원격탐사 기법은 공간적으로 넓은 범위를 포함하지만 시간 해상도가 낮은 단점이 있다. 또한, 모델링을 통한 토양수분 예측 기술은 전문적인 지식이 요구되며, 복잡한 입력자료의 구축이 요구된다. 최근 머신러닝 기법은 수많은 자료 학습을 통해 사용자가 원하는 출력값을 도출하는데 널리 활용되고 있다. 이에 본 연구에서는 토양수분과 연관된 다양한 기상 인자들(강수량, 풍속, 습도 등)을 활용하여 머신러닝기법의 반복학습을 통한 토양수분의 예측 가능성을 분석하고자 한다. 이를 위해 시공간적으로 토양수분 실측 자료가 잘 구축되어 있는 청미천과 설마천 유역을 대상으로 머신러닝 기법을 적용하였다. 두 대상지에서 2008년~2012년 수문자료를 확보하였으며, 기상자료는 기상자료개방포털과 WAMIS를 통해 자료를 확보하였다. 토양수분 자료와 기상자료를 머신러닝 알고리즘을 통해 학습하고 2012년 기상 자료를 바탕으로 토양수분을 예측하였다. 사용되는 머신러닝 기법은 의사결정 나무(Decision Tree), 신경망(Multi Layer Perceptron, MLP), K-최근접 이웃(K-Nearest Neighbors, KNN), 서포트 벡터 머신(Support Vector Machine, SVM), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 (Gradient Boosting)이다. 토양수분과 기상인자 간의 상관관계를 분석하기 위해 히트맵(Heat Map)을 이용하였다. 히트맵 분석 결과 토양수분의 시간적 변동은 다양한 기상 자료 중 강수량과 상대습도가 가장 큰 영향력을 보여주었다. 또한 다양한 기상 인자 기반 머신러닝 기법 적용 결과에서는 두 지역 모두 신경망(MLP) 기법을 제외한 모든 기법이 전반적으로 실측값과 유사한 형태를 보였으며 비교 그래프에서도 실측값과 예측 값이 유사한 추세를 나타냈다. 따라서 상관관계있는 과거 기상자료를 통해 머신러닝 기법 기반 토양수분의 시간적 변동 예측이 가능할 것으로 판단된다.

  • PDF

Performance Evaluation of Multilinear Regression Empirical Formula and Machine Learning Model for Prediction of Two-dimensional Transverse Dispersion Coefficient (다중선형회귀경험식과 머신러닝모델의 2차원 횡 분산계수 예측성능 평가)

  • Lee, Sun Mi;Park, Inhwan
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.172-172
    • /
    • 2022
  • 분산계수는 하천에서 오염물질의 혼합능을 파악할 수 있는 대표적인 인자이다. 특히 하수처리장 방류수 혼합예측과 같이 횡 방향 혼합에 대한 예측이 중요한 경우, 하천의 지형적, 수리학적 특성을 고려한 2차원 횡 분산계수의 결정이 필요하다. 2차원 횡 분산계수의 결정을 위해 기존 연구에서는 추적자실험결과로부터 경험식을 만들어 횡 분산계수 산정에 사용해왔다. 회귀분석을 통한 경험식 산정을 위해서는 충분한 데이터가 필요하지만, 2차원 추적자 실험 건수가 충분치 않아 신뢰성 높은 경험식 산정이 어려운 상황이다. 따라서 본 연구에서는 SMOTE기법을 이용하여 횡분산계수 실험데이터를 증폭시켜 이로부터 횡 분산계수 경험식을 산정하고자 한다. 또한 다중선형회귀분석을 통해 도출된 경험식의 한계를 보완하기 위해 다양한 머신러닝 기법을 적용하고, 횡 분산계수 산정에 적합한 머신러닝 기법을 제안하고자 한다. 기존 추적자실험 데이터로부터 하폭 대 수심비, 유속 대 마찰유속비, 횡 분산계수 데이터 셋을 수집하였으며, SMOTE 알고리즘의 적용을 통해 회귀분석과 머신러닝 기법 적용에 필요한 데이터그룹을 생성했다. 새롭게 생성된 데이터 셋을 포함하여 다중선형회귀분석을 통해 횡 분산계수 경험식을 결정하였으며, 새로 제안한 경험식과 기존 경험식에 대한 정확도를 비교했다. 또한 다중선형회귀분석을 통해 결정된 경험식은 횡 분산계수 예측범위에 한계를 보였기 때문에 머신러닝기법을 적용하여 다중선형회귀분석에 대한 예측성능을 평가했다. 이를 위해 머신러닝 기법으로서 서포트 벡터 머신 회귀(SVR), K근접이웃 회귀(KNN-R), 랜덤 포레스트 회귀(RFR)를 활용했다. 세 가지 머신러닝 기법을 통해 도출된 횡 분산계수와 경험식으로부터 결정된 횡 분산계수를 비교하여 예측 성능을 비교했다. 이를 통해 제한된 실험데이터 셋으로부터 2차원 횡 분산계수 산정을 위한 데이터 전처리 기법 및 횡 분산계수 산정에 적합한 머신러닝 절차와 최적 학습기법을 도출했다.

  • PDF

Prediction on the Ratio of Added Value in Industry Using Forecasting Combination based on Machine Learning Method (머신러닝 기법 기반의 예측조합 방법을 활용한 산업 부가가치율 예측 연구)

  • Kim, Jeong-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.20 no.12
    • /
    • pp.49-57
    • /
    • 2020
  • This study predicts the ratio of added value, which represents the competitiveness of export industries in South Korea, using various machine learning techniques. To enhance the accuracy and stability of prediction, forecast combination technique was applied to predicted values of machine learning techniques. In particular, this study improved the efficiency of the prediction process by selecting key variables out of many variables using recursive feature elimination method and applying them to machine learning techniques. As a result, it was found that the predicted value by the forecast combination method was closer to the actual value than the predicted values of the machine learning techniques. In addition, the forecast combination method showed stable prediction results unlike volatile predicted values by machine learning techniques.

Development of hybrid precipitation nowcasting model by using conditional GAN-based model and WRF (GAN 및 물리과정 기반 모델 결합을 통한 Hybrid 강우예측모델 개발)

  • Suyeon Choi;Yeonjoo Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.100-100
    • /
    • 2023
  • 단기 강우 예측에는 주로 물리과정 기반 수치예보모델(NWPs, Numerical Prediction Models) 과 레이더 기반 확률론적 방법이 사용되어 왔으며, 최근에는 머신러닝을 이용한 레이더 기반 강우예측 모델이 단기 강우 예측에 뛰어난 성능을 보이는 것을 확인하여 관련 연구가 활발히 진행되고 있다. 하지만 머신러닝 기반 모델은 예측 선행시간 증가 시 성능이 크게 저하되며, 또한 대기의 물리적 과정을 고려하지 않는 Black-box 모델이라는 한계점이 존재한다. 본 연구에서는 이러한 한계를 극복하기 위해 머신러닝 기반 blending 기법을 통해 물리과정 기반 수치예보모델인 Weather Research and Forecasting (WRF)와 최신 머신러닝 기법 (cGAN, conditional Generative Adversarial Network) 기반 모델을 결합한 Hybrid 강우예측모델을 개발하고자 하였다. cGAN 기반 모델 개발을 위해 1시간 단위 1km 공간해상도의 레이더 반사도, WRF 모델로부터 산출된 기상 자료(온도, 풍속 등), 유역관련 정보(DEM, 토지피복 등)를 입력 자료로 사용하여 모델을 학습하였으며, 모델을 통해 물리 정보 및 머신러닝 기반 강우 예측을 생성하였다. 이렇게 생성된cGAN 기반 모델 결과와 WRF 예측 결과를 결합하는 머신러닝 기반 blending 기법을 통해Hybrid 강우예측 결과를 최종적으로 도출하였다. 본 연구에서는 Hybrid 강우예측 모델의 성능을 평가하기 위해 수도권 및 안동댐 유역에서 발생한 호우 사례를 기반으로 최대 선행시간 6시간까지 모델 예측 결과를 분석하였다. 이를 통해 물리과정 기반 모델과 머신러닝 기반 모델을 결합하는 Hybrid 기법을 적용하여 높은 정확도와 신뢰도를 가지는 고해상도 강수 예측 자료를 생성할 수 있음을 확인하였다.

  • PDF

Estimation of regional Low-flow Indices Applicable to Unmetered Areas Using Machine Learning Technique (머신러닝 기법을 이용한 미계측지역에 적용가능한 지역화 Low-flow indices 산정)

  • Jeung, Se Jin;Kang, Dong Ho;Kim, Byung Sik
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.39-39
    • /
    • 2020
  • Low-flow 하천에서의 최저수위를 나타내는 지표이다. 일반적으로 유황곡선의 갈수량(Q355)를 대표적으로 사용한다. Low-flow는 물 공급 관리 및 계획, 관개용수, 생태계등 다양한 분야에 영향을 미친다. 이러한 Low-flow를 산정하기 위해서는 충분한 기간의 유량자료가 필요하다. 하지만 국토의 70%가 산지지형으로 구성되어 있는 우리나라의 경우 국가하천과 1급하천을 제외한 산지유역은 수위관측소가 부재하거나 결측으로 인해 자료가 충분하지 않아 Low-flow분석에 한계가 있다. 이에 과거에는 미계측지역의 갈수량을 예측하기 위해서 다중회귀분석, ARIMA 모형 등 다양한 기법을 사용하였지만, 최근들어 머신러닝 모형의 수요가 증가하고 있다. 이에 본 연구에서는 새로운 패러다임에 맞는 머신러닝 기법인 DNN기법을 사용하고자 한다. DNN기법은 ANN기법의 단점인 학습과정에서 최적 매개변수값을 찾기 어렵고, 학습시간이 느린 단점을 보완한 방법이다. 따라서 본연구에서는 머신러닝 기법인 DNN기법을 통해 미계측지역에 적용 가능한 지역화 Low-flow indices를 산정하고자 한다. 먼저, Low-flow에 영향을 미치는 인자들을 수집하고 인자들간의 상관분석, 다중공선성 분석을 통해 통계적으로 유의한 변수를 선정하여, 머신러닝 모형에 입력자료를 구축하였다. 또한 기존의 갈수량 예측기법인 다중회귀분석 결과와 비교하여 머신러닝 기법의 효용성을 검토하였다.

  • PDF