• Title/Summary/Keyword: 결측강우

Search Result 41, Processing Time 0.035 seconds

Development of Machine Learning Based Precipitation Imputation Method (머신러닝 기반의 강우추정 방법 개발)

  • Heechan Han;Changju Kim;Donghyun Kim
    • Journal of Wetlands Research
    • /
    • v.25 no.3
    • /
    • pp.167-175
    • /
    • 2023
  • Precipitation data is one of the essential input datasets used in various fields such as wetland management, hydrological simulation, and water resource management. In order to efficiently manage water resources using precipitation data, it is essential to secure as much data as possible by minimizing the missing rate of data. In addition, more efficient hydrological simulation is possible if precipitation data for ungauged areas are secured. However, missing precipitation data have been estimated mainly by statistical equations. The purpose of this study is to propose a new method to restore missing precipitation data using machine learning algorithms that can predict new data based on correlations between data. Moreover, compared to existing statistical methods, the applicability of machine learning techniques for restoring missing precipitation data is evaluated. Representative machine learning algorithms, Artificial Neural Network (ANN) and Random Forest (RF), were applied. For the performance of classifying the occurrence of precipitation, the RF algorithm has higher accuracy in classifying the occurrence of precipitation than the ANN algorithm. The F1-score and Accuracy values, which are evaluation indicators of the classification model, were calculated as 0.80 and 0.77, while the ANN was calculated as 0.76 and 0.71. In addition, the performance of estimating precipitation also showed higher accuracy in RF than in ANN algorithm. The RMSE of the RF and ANN algorithms was 2.8 mm/day and 2.9 mm/day, and the values were calculated as 0.68 and 0.73.

Development of gap filling technique for statistical downscaling of cimate change scenario data (기후변화 시나리오 자료의 통계적 상세화를 위한 결측자료 보정 기법 개발)

  • Cho, Jaepil;Kim, Kwang-Hyung;Park, Jihoon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.16-16
    • /
    • 2019
  • 기후변화 시나리오 및 계절예측 자료를 포함한 기후정보를 수자원 분야에 활용하기 위해서는 기후정보의 시 공간적인 상세화(donwscaling)을 필요로 한다. 상세화의 경우 역학적 상세화와 통계학적 상세화로 구분될 수 있으며, 통계학적 상세화를 위해서는 대상 지역의 기후특성을 대표할 수 있는 장기 관측 자료의 확보가 중요하다. 국내의 경우에는 자동기상관측장비(Automatic Weather System, AWS)와 종관기상관측장비(Automatic Synoptic Observation System, ASOS)로 부터 수집된 기상관측자료를 사용할 수 있으나 기후변화 시나리오의 통계적 상세화를 위해서는 30년 이상의 자료 기간을 포함하는 ASOS 자료가 적합하다. 하지만 개발도상국과 같이 기상관측기반이 열악한 지역에서는 잦은 결측 등으로 인하여 품질이 좋은 관측자료의 획득이 어려운 상황이다. 따라서 본 연구에서는 측이 포함된 장기 기상관측 자료로부터 대상 지역의 기후특성을 재현할 수 있도록 기본적인 QC(Quality Control)을 거쳐 결측 자료를 보완할 수 있는 기법 및 R 기반패키지를 개발하여 적용성을 평가하였다. 개발된 기법의 적용성 평가를 위해서 기상청에서 QC를 통해 제공하고 있는 60개 ASOS 지점의 관측자료 중 강수량과 기온 변수를 사용하였다. 최대 50%까지의 현실적인 결측 패턴을 임의로 생성하기 위해 실제 개발도상국 관측자료의 일단위 결측 패턴을 이용하였다. 자료의 QC는 관측일 누락/중복 및 문자형 관측값 등 기본적인 오류 검사, 기온의 경우 물리적 허용 범위에 대한 검사, 최고기온과 최저기온의 비교 및 계측기 오작동에 의한 동일한 값의 반복 등을 포함한 내적 일치성 검사를 우선적으로 수행한다. 이후 결측값에 대해서 인근 기상관측소와의 상관성 분석 결과를 기반으로 결측값을 채우고, 최종적으로는 다양한 위성자료 및 재분석 자료 중에서 일단위 기후특성의 재현성 평가를 통해 선정된 격자형 자료와의 상관성 분석 결과를 기반으로 결측값을 보정하였다. 기온의 경우는 결측률이 높더라도 월평균 기후특성에 큰 영향을 미치지 않았지만 강수의 경우에는 5% 이상의 결측이 발생하는 경우 월평균 강수량에 영향을 미쳐 지역의 강수량을 과소 추정하는 결과를 보였다. 개발된 QC 기법을 강수 자료에 적용한 결과 월평균 기후특성을 잘 복원하는 결과를 보였지만, 일단위 강우 사상의 재현에 있어서는 미흡한 결과를 보였다.

  • PDF

Filling of Incomplete Rainfall Data Using Fuzzy-Genetic Algorithm (퍼지-유전자 알고리즘을 이용한 결측 강우량의 보정)

  • Kim, Do Jin;Jang, Dae Won;Seoh, Byung Ha;Kim, Hung Soo
    • Journal of Wetlands Research
    • /
    • v.7 no.4
    • /
    • pp.97-107
    • /
    • 2005
  • As the distributed model is developed and widely used, the accuracy of a rainfall measurement and more dense rainfall observation network are required for the reflection of various spatial properties. However, in reality, it is not easy to get the accurate data from dense network. Generally, we could not have the proper rainfall gages in space and even we have proper network for rainfall gages it is not easy to reflect the variations of rainfall in space and time. Often, we do also have missing rainfall data at the rainfall gage stations due to various reasons. We estimate the distribution of mean areal rainfall data from the point rainfalls. So, in the aspect of continuous rainfall property in time, we should fill the missing rainfall data then we can represent the spatial distribution of rainfall data. This study uses the Fuzzy-Genetic algorithm as a interpolation method for filling the missing rainfall data. We compare the Fuzzy-Genetic algorithm with arithmetic average method, inverse distance method, normal ratio method, and ratio of distance and elevation method which are widely used previously. As the results, the previous methods showed the accuracy of 70 to 80 % but the Fuzzy-Genetic algorithm showed that of 90 %. Especially, from the sensitivity analysis, we suggest the values of power in the equation for filling the missing data according to the distance and elevation.

  • PDF

Missing Hydrological Data Estimation using Neural Network and Real Time Data Reconciliation (신경망을 이용한 결측 수문자료 추정 및 실시간 자료 보정)

  • Oh, Jae-Woo;Park, Jin-Hyeog;Kim, Young-Kuk
    • Journal of Korea Water Resources Association
    • /
    • v.41 no.10
    • /
    • pp.1059-1065
    • /
    • 2008
  • Rainfall data is the most basic input data to analyze the hydrological phenomena and can be missing due to various reasons. In this research, a neural network based model to estimate missing rainfall data as approximate values was developed for 12 rainfall stations in the Soyang river basin to improve existing methods. This approach using neural network has shown to be useful in many applications to deal with complicated natural phenomena and displayed better results compared to the popular offline estimating methods, such as RDS(Reciprocal Distance Squared) method and AMM(Arithmetic Mean Method). Additionally, we proposed automated data reconciliation systems composed of a neural network learning processer to be capable of real-time reconciliation to transmit reliable hydrological data online.

Regional Distribution Analysis by Updating the Average Annual Rainfall Erosivity (연평균 강우가식성 지표의 업데이트를 통한 지역적 분포 연구)

  • Lee, Joon-Hak
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.410-410
    • /
    • 2021
  • 강우가식성 지표(또는 강우침식인자)는 빗방울이 지상으로 떨어질 때 빗방울의 크기와 낙하속도 즉 운동에너지에 의하여 표토의 입자가 잠재적으로 침식될 수 있는 정도를 의미한다. 최신 호우사상을 분석하여 지점별 연평균 강우가식성 지표를 지속적으로 갱신하는 연구는 범용토양유실공식을 이용하여 장기간에 걸친 연평균 토양침식량을 산정하려고 하는 연구자들에게 지속적인 관심의 대상이 되어 왔다. 본 연구는 기상청 산하 관측소 54개 지점을 대상으로 지점별 연평균 강우가식성 지표를 업데이트하기 위한 것으로, 2017년까지의 데이터를 포함하여 업데이트하는 것을 목표로 하였다. 강우 가식성 지표 계산을 위한 1분 단위 강우자료는 기상자료개방포털의 공개된 자료로부터 획득할 수 있으나, 지점별로 결측치를 일부 포함하고 있거나 불연속된 자료가 포함되어 있어 54개 지점 모두를 업데이트하는 것은 제한이 되었다. 결과적으로 54개 지점 중에 29개 지점에 대한 값을 업데이트할 수 있었다. 연구결과 기상청 29개 지점의 1961~2017년 기간(최소 45년 ~ 최대 57년) 동안의 연평균 강우가식성 지표는 4,624MJmm/ha/hr로 나타났다. 이 값은 2015년 기간까지의 평균값과 거의 차이가 없는 것으로 나타났다. 또한, 지역적 분포로서 29개 지점 중에 14개 지점에서 연평균 강우가식성 지표가 소폭 감소한 것으로 나타났으며, 15개 지점은 증가한 것으로 나타났으며 최대 증가 및 감소폭은 2.5% 이내인 것으로 나타났다.

  • PDF

Imputation of missing precipitation data using machine learning algorithms (머신러닝 알고리즘을 이용한 결측 강우 데이터 추정에 관한 연구)

  • Heechan Han
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.320-320
    • /
    • 2023
  • 강우 데이터는 수문기상, 환경, 농업, 자연재해, 그리고 수자원 시스템 분야에서 가장 필수적인 기본 요소 중 하나이다. 또한 강우 데이터는 수문학적 분석에서 활용되는 필수 입력 자료 중 하나로 관측 데이터의 품질에 따라 수문 모형을 이용한 모의 결과물의 정확도가 결정된다고 할 수 있다. 따라서, 강우 관측소별로 강우 데이터의 품질을 어떻게 관리하느냐에 따라 수문 모형의 활용 범위 및 수자원 관리의 효율성이 결정될 수 있다. 강우의 시공간적 변동성은 수 많은 인자들과 직간접적으로 연계되어 있기 때문에 미계측 강우 자료에 대해 직접 관측이 아닌 수치 모형을 이용하여 강우의 발생과 강우량을 산정하는 것은 매우 복잡한 과제 중 하나이다. 현재 국내에서 운용되고 있는 강우 관측소의 경우에도 미계측 된 강우 데이터가 존재함으로써 강우 데이터의 활용에 제한이 생기는 경우가 있다. 따라서, 이러한 미계측 데이터의 추정 및 보완은 보다 효과적인 수재해 방지, 수자원 관리를 위한 필수 과제 중 하나이다. 일반적으로, 미계측 강우를 산정하기 위해서 Kriging, Thiessen, 등우선법, 그리고 역거리 관측법 등 다양한 수문학적 방법들이 적용되고 있다. 이러한 방법들은 산악효과나 강우 관측소의 분포 상태 등을 고려하지 못하기 때문에 측정하는 지역에 따라 강우 추정 오차가 커질 수 있다는 한계가 있다. 최근에는 데이터 관측 시스템과 빅데이터 기술의 발전과 활용 가능한 데이터의 양이 증가함에 따라 머신러닝을 활용한 사례가 증가하고 있다. 머신러닝은 데이터 사이의 관계를 기반으로 분류, 회귀, 그리고 예측 문제에 주로 사용되는 기법 중 하나이다. 따라서, 본 연구에서는 광주광역시 지역에 위치한 주요 강우 관측 지점들을 대상으로 미계측 된 시강우 데이터를 추정 및 복원하고자 한다. 여기서 데이터 추정 기술이란 미계측 강우의 발생 유무 및 강우량을 추정할 수 있는 기술을 의미한다. 이를 위해 대표적인 머신러닝 알고리즘인 인공신경망(Artificial Neural Network) 및 랜덤포레스트(Random Forest)를 적용하였다.

  • PDF

Daily Runoff Simulation and Analysis Using Rainfall-Runoff Model on Nakdong River (강우-유출모형에 의한 낙동강수계 일유출모의와 분석)

  • Maeng Sung Jin;Lee Soon Hyuk;Ryoo Kyoung Sik;Song Gi Heon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2005.05b
    • /
    • pp.619-622
    • /
    • 2005
  • 적용대상 유역은 낙동강수계로 하였으며 소유역 분할은 총 25개로 하였으며, 강우관측소의 선정과 Thiessen 계수의 산정은 최근에 한국수자원공사에서 새로 추가한 강우관측소를 위주로 대상 연도별로 달리하여 강우관측소를 선정하였다. 강우자료의 결측치는 RDS 방법을 사용하여 보완하였다. 대상연도별 소유역별로 일간 유역 평균 강우량을 산정하였다. 적용 모형의 선정은 한국수자원공사 실무부서에서의 적용사례가 빈번한 SSARR 모형을 최종적으로 선정하였다. SSARR 모형의 입력자료를 물리적 매개변수, 수문기상 매개변수 및 내부처리 매개변수로 구분하여 구축하였고 매개변수의 민감도분석과 함께 모형의 보정을 실시하였다. 민감도 분석 결과, 유역유출과 관련된 매개변수에서는 고수시와 저수시의 경우 지표수와 복류수의 분리하는 매개변수에서 민감도가 크게 나타났다. 저수시의 경우 지하수 중 회귀지하수가 차지하는 비율이 크게 나타났고, 지표수, 복류수, 지하수 및 회귀지하수의 저류시간에서 비교적 큰 민감도를 나타내었다. 1983년부터 2003년까지 21개년에 걸쳐 25개 소유역별로 일평균 자연유출량을 산정하여 이를 이용한 반순, 순, 월 및 연평균 자연유출량을 산정하였다.

  • PDF

The Analysis of the Correlation between Groundwater Level and the Moving Average of Precipitation in Kum River Watershed (금강유역에서의 지하수위와 강수량 이동평균의 상관관계 분석)

  • Yang, Jeong-Seok;Ahn, Tae-Yeon
    • The Journal of Engineering Geology
    • /
    • v.18 no.1
    • /
    • pp.1-6
    • /
    • 2008
  • Precipitation and groundwater level data sets from Kum river watershed were analyzed and compared. The correlation between groundwater level and the moving average of precipitation was analyzed. Moving averaging technique is stochastic method and that was used to consider the effect of precipitation events on groundwater level fluctuation. Groundwater level generally follows seasonal precipitation pattern and low level occurs from early December to late April. Relatively high groundwater level is appeared in wet spell (July and August). The correlation between groundwater level and the moving average of precipitation to consider precedent precipitation events was analyzed with minimum two-year data sets. When the precipitation and groundwater level data set pair was selected the precipitation gauge station is closely located to groundwater level gauge station in the upstream direction to minimize the non-homogeneous precipitation distribution effect. The maximum correlation was occurred when the averaging periods were from 10 days to 150 days with Kum river watershed data. The correlation coefficients are influenced by data quality, missing data periods, or snow melt effect, etc. The maximum coefficient was 0.8886 for Kum river watershed data.