• Title/Summary/Keyword: 결측 보정

Search Result 80, Processing Time 0.028 seconds

Missing Hydrological Data Estimation using Neural Network and Real Time Data Reconciliation (신경망을 이용한 결측 수문자료 추정 및 실시간 자료 보정)

  • Oh, Jae-Woo;Park, Jin-Hyeog;Kim, Young-Kuk
    • Journal of Korea Water Resources Association
    • /
    • v.41 no.10
    • /
    • pp.1059-1065
    • /
    • 2008
  • Rainfall data is the most basic input data to analyze the hydrological phenomena and can be missing due to various reasons. In this research, a neural network based model to estimate missing rainfall data as approximate values was developed for 12 rainfall stations in the Soyang river basin to improve existing methods. This approach using neural network has shown to be useful in many applications to deal with complicated natural phenomena and displayed better results compared to the popular offline estimating methods, such as RDS(Reciprocal Distance Squared) method and AMM(Arithmetic Mean Method). Additionally, we proposed automated data reconciliation systems composed of a neural network learning processer to be capable of real-time reconciliation to transmit reliable hydrological data online.

Outlier Filtering and Missing Data Imputation Algorithm using TCS Data (TCS데이터를 이용한 이상치제거 및 결측보정 알고리즘 개발)

  • Do, Myung-Sik;Lee, Hyang-Mee;NamKoong, Seong
    • Journal of Korean Society of Transportation
    • /
    • v.26 no.4
    • /
    • pp.241-250
    • /
    • 2008
  • With the ever-growing amount of traffic, there is an increasing need for good quality travel time information. Various existing outlier filtering and missing data imputation algorithms using AVI data for interrupted and uninterrupted traffic flow have been proposed. This paper is devoted to development of an outlier filtering and missing data imputation algorithm by using Toll Collection System (TCS) data. TCS travel time data collected from August to September 2007 were employed. Travel time data from TCS are made out of records of every passing vehicle; these data have potential for providing real-time travel time information. However, the authors found that as the distance between entry tollgates and exit tollgates increases, the variance of travel time also increases. Also, time gaps appeared in the case of long distances between tollgates. Finally, the authors propose a new method for making representative values after removal of abnormal and "noise" data and after analyzing existing methods. The proposed algorithm is effective.

Estimation of Missing Rainfall Data Considering Spatio-Temporal Variation Using Radar Data (레이더 자료를 이용한 시공간적 변동성을 고려한 강우의 결측치 추정)

  • Song, Chang-U;Song, Chang-Joon;Kim, Byeong-Sik;Kim, Soo-Jun;Kim, Hung-Soo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2010.05a
    • /
    • pp.1196-1200
    • /
    • 2010
  • 본 논문에서는 지점 강우의 결측치를 추정하기 위해 전통적인 통계학적 내삽기법을 이용한 역거리가중치법(IDWM), 역지수가중치법(IEWM), 상관계수가중치법(CCWM)과 패턴 인식의 일종인 인공신경망(ANN)기법 그리고 시공간적 강우분포의 측정이 가능한 레이더 자료를 이용해 결측치를 추정하여 각각의 방법을 비교하였다. 임진강 유역의 15개 지상관측소를 대상으로 교차검정(Cross validation) 분석을 실시해 본 결과, CCWM 방법과 ANN기법에 의한 RMSE가 0.46~1.79의 범위를 보였고, 보정레이더를 이용하여 결측치를 추정한 경우RMSE가 0.05~2.26의 범위를 보여 기존의 전통적 결측치 추정방법보다 실측치에 가까운 결과를 보였다. 이는 레이더자료가 지점 강우자료와는 달리 강우의 시공간적 변동성을 고려한 공간분포의 정보를 지니고 있기 때문인 것으로 판단된다.

  • PDF

A Study on estimation of IRDIMS Missing Data Using HEC-RAS Modeling (HEC-RAS 모의결과를 활용한 연속유량 자료 보완 방법에 관한 연구)

  • OH, Dong Heon;Cho, Sang UK;Roh, Young Sin;Jung, Sung Won
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.263-263
    • /
    • 2019
  • 자동유량측정시설은 하천 유량을 실시간으로 측정하기 위한 수문조사시설로써, 기존 수위-유량관계곡선식으로는 유량산정이 어려운 배수 및 조위영향 구간에서 양질의 유량자료를 확보할 수 있다. 하지만 자동유량측정시설의 경우 시설물 고장 등으로 인해 자료의 결측이 발생할 수 있으며, 단기간 발생한 결측자료는 수문자료품질관리를 통해 보완이 가능하지만 장기간 결측이 발생한 경우 보완방법이 없는 실정이다. 본 연구에서는 남한강 유역의 여주시(남한강교)~양평군(양평교) 구간 중 장기간 결측이 발생한 여주보(하류) 지점과 이포보(상류) 지점의 2013년 평수기(3월)와 홍수기(7월) 기간을 선정하여 HEC-RAS 모형을 통해 결측자료의 보완 가능 여부를 검토하였다. HEC-RAS 모의결과 여주보(하류) 지점의 경우 실시간 유량자료와 상대오차는 평저수기(3월), 홍수기(7월) 각각 0.7%와 5.0% 나타났으며, 이포보(상류) 지점은 각각 5.0%와 6.0%로 나타나 장기간 결측 발생시 HEC-RAS 모형을 통해 결측자료 보완이 가능한 것으로 나타났으며, 결측 발생기간에 적용한 결과, 여주보(하류) 지점과 이포보(상류) 지점에서 측정된 검보정 측정성과와 상대오차는 각각 4.0%, 6.0%로 나타나 결측자료 보완이 잘 이루어진 것으로 나타났다. 따라서 남한강 유역의 여주시(남한강교)~양평군(양평교) 구간과 같이 배수영향을 받는 지점에 경우 장기간 결측 발생 시 검증된 지점에 한하여 HEC-RAS 모형과 같은 수치모형을 통해 자료를 보완하는 것이 적절하다고 판단된다. 또한, 이 방법을 통해 현재 보 개방에 따라 유량측정이 어려운 자동유량측정시설의 자료보완 방법으로 일부 적용이 가능할 것으로 판단된다.

  • PDF

Development of data processing method and system for huge Highway Data (대용량 교통 데이터의 자료처리 과정과 시스템의 개발)

  • Cheong, Sujeong;Song, Sookyung;Lee, Minsoo;Namgung, Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.295-297
    • /
    • 2007
  • 교통 관련 검지기 시스템에 의해 수집된 교통량, 점유율, 속도와 같은 교통 정보 데이터는 품질평가, 오류판단, 결측보정의 자료처리를 거치게 되며 이러한 전처리 후 다양한 목적에 의해 연구자들에게 활용된다. 신속하고 정확한 자료처리와 보다 편리하고 효과적인 웹 UI 의 제공은 매우 중요하다. 본 논문에서는 품질평가, 오류판단, 결측보정에 해당하는 세 단계의 자료처리 알고리즘을 개발하고 사용자에게 자료처리의 과정을 제공하는 웹 UI 시스템을 구현한다.

Traffic Correction System Using Vehicle Axles Counts of Piezo Sensors (피에조센서의 차량 축 카운트를 활용한 교통량보정시스템)

  • Jung, Seung-Weon;Oh, Ju-Sam
    • The Journal of the Korea Contents Association
    • /
    • v.21 no.1
    • /
    • pp.277-283
    • /
    • 2021
  • Traffic data by vehicle classification are important data used as basic data in various fields such as road and traffic design. Traffic data is collected through permanent and temporary surveys and is provided as an annual average daily traffic (AATD) in the statistical yearbook of road traffic. permanent surveys are collected through traffic collection equipment (AVC), and the AVC consists of a loop sensor that detects traffic volume and a piezo sensor that detects the number of axes. Due to the nature of the buried type of traffic collection equipment, missing data is generated due to failure of detection equipment. In the existing method, it is corrected through historical data and the trend of traffic around the point. However, this method has a disadvantage in that it does not reflect temporal and spatial characteristics and that the existing data used for correction may also be a correction value. In this study, we proposed a method to correct the missing traffic volume by calculating the axis correction coefficient through the accumulated number of axes acquired by using a piezo sensor that can detect the axis of the vehicle. This has the advantage of being able to reflect temporal and spatial characteristics, which are the limitations of the existing methods, and as a result of comparative evaluation, the error rate was derived lower than that of the existing methods. The traffic volume correction system using axis count is judged as a correction method applicable to the field system with a simple algorithm.

A Study on the Reviesd Methods of Missing Rainfall Data for Real-time Forecasting Systems (실시간 예보 시스템을 위한 우량자료 보정 기법 연구)

  • Han, Myoung-Sun;Kim, Chung-Soo;Kim, Hyoung-Seop;Kim, Hwi-Rin
    • Journal of Korea Water Resources Association
    • /
    • v.42 no.2
    • /
    • pp.131-139
    • /
    • 2009
  • The weather accidents by global warming effect are increasing rapidly whole world. Flood forcasting system and hydrological database are operated by almost all the countries in the world. An objective of this study is to research revised methods of missing rainfall data and find more effective revised method for this operating system. 194 rainfall data of the Han river basin is used. Arithmetic average method, coefficient of correlation weighting method and inverse distance weighting method are compared to estimate revised methods. The result from the analysis shows that coefficient of correlation weighting method is best quantitatively among the 3 methods.

Development of a method for constructing hydrological time series input data for deep learning analysis (딥러닝 분석을 위한 수문시계열 입력자료 구성 기법 개발)

  • Yuk, Gi-moon;Cho, He-rin;Park, Chan-ho;Moon, Soo-jin;Moon, Yong-il
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.349-349
    • /
    • 2021
  • 일반적인 도시홍수모형은 수리-수문모형을 기반으로 한 홍수위 모형을 사용하고 있으나 강우사상이나 물리적 조건에 따라 모의시간의 변화가 있으며 경우에 따라서는 긴 모의시간이 소요된다. 알파고 이후 큰 관심을 갖게된 딥러닝을 이용한 데이터기반의 모의를 통해 수자원 부분에 적용하여 수위 예측을 진행하였다. 본 연구에서는 딥러닝을 이용하여 관측자료기반의 수위예측 연구를 수행하였다. 대상유역은 중랑천 유역으로 선정하였으며 2015년 ~ 2020년 사이의 10분단위 강우, 수위자료를 이용하였다. 지방자치단체에서 제공하는 강우, 수위자료의 경우 결측자료 또는 이상자료에 대한 보정이 미흡하여 기계학습을 통합 분석자료로 활용하는데 어려움이 있다. 이에, 결측 및 이상자료가 포함된 자료로부터 인위적으로 교란된 데이터 및 결측구간을 삭제한 데이터를 생성하여 자료의 시계열성을 제거하고, 딥러닝을 통한 수위 예측 결과를 정상 데이터를 적용한 결과와 비교하였다. 사용된 딥러닝 모형은 시계열 데이터 예측에 우수한성능을 보이는 LSTM모형과 GRU모형을 이용하였으며 RMSE, NSE를 이용하여 평가하였다. 본 연구에서는 결측자료 및 이상자료가 포함된 수문자료를 자료의 시계열성 제거를 통해 딥러닝 분석 입력자료 구성하기 위한 방안을 제시하였다.

  • PDF

Filling of Incomplete Rainfall Data Using Fuzzy-Genetic Algorithm (퍼지-유전자 알고리즘을 이용한 결측 강우량의 보정)

  • Kim, Do Jin;Jang, Dae Won;Seoh, Byung Ha;Kim, Hung Soo
    • Journal of Wetlands Research
    • /
    • v.7 no.4
    • /
    • pp.97-107
    • /
    • 2005
  • As the distributed model is developed and widely used, the accuracy of a rainfall measurement and more dense rainfall observation network are required for the reflection of various spatial properties. However, in reality, it is not easy to get the accurate data from dense network. Generally, we could not have the proper rainfall gages in space and even we have proper network for rainfall gages it is not easy to reflect the variations of rainfall in space and time. Often, we do also have missing rainfall data at the rainfall gage stations due to various reasons. We estimate the distribution of mean areal rainfall data from the point rainfalls. So, in the aspect of continuous rainfall property in time, we should fill the missing rainfall data then we can represent the spatial distribution of rainfall data. This study uses the Fuzzy-Genetic algorithm as a interpolation method for filling the missing rainfall data. We compare the Fuzzy-Genetic algorithm with arithmetic average method, inverse distance method, normal ratio method, and ratio of distance and elevation method which are widely used previously. As the results, the previous methods showed the accuracy of 70 to 80 % but the Fuzzy-Genetic algorithm showed that of 90 %. Especially, from the sensitivity analysis, we suggest the values of power in the equation for filling the missing data according to the distance and elevation.

  • PDF