• Proceedings of the Korea Water Resources Association Conference
• /
• 2009.05a
• /
• pp.1254-1259
• /
• 2009

과거 관측된 수문자료는 분석을 통해 다양한 수문모형의 평가 및 예측과 수자원 정책결정에서 활용된다. 하지만 관측장비의 오작동 및 관측범위의 한계에 의해 수집된 자료에는 결측이 존재한다. 단순히 결측이 존재하는 벡터를 제외하거나, 결측이 존재하는 자료 구간에 선형성이 존재한다는 가정 하에 평균을 활용하기도 했으나, 이로 인하여 자료의 통계특성에 왜곡이 야기될 수 있다. 본 연구는 결측의 보정으로 자료가 보유하는 정보의 손실 및 왜곡을 최소화 할 수 있는 방안을 연구하고자 한다. 자료의 결측은 크게 완벽한 무작위 결측(missing completely at random, MCAR), 무작위 결측(missing at random, MAR), 무작위성이 없는 결측(nonrandom missingness)으로 분류되며, 수문자료는 결측을 포함한 기간이 그 외 기간의 자료와 통계적으로 동일하지는 않지만 결측자료의 추정이 가능한 MAR에 속하는 것이 일반적이므로 이를 가정으로 결측을 보정하였다. Local Lest Squares Imputation(LLSimput)을 결측의 추정을 위해 사용하였으며, 기존에 쉽게 사용되던 선형보간법과 비교하였다. 적용성 평가를 위해 소양강댐 일 유입량 자료에 1 - 5 %의 결측자료를 임의로 생성하였다. 동일한 양의 결측자료에 대해 100개의 셋을 사용하여 보정의 불확실성 범위를 적용된 방법에 대해 비교..평가하였으며, 결측 증가에 따른 보정효과의 변화를 검토하였다. Normalized Root Mean Squared Error(NRMSE)를 사용하여 적용된 두 방법을 평가한 결과, (1) 결측자료의 비가 낮을수록 간단한 선형보간법을 사용한 보정이 효과적이었다. (2) 하지만 결측의 비가 증가할수록 선형보간법의 보정효과는 점차 큰 불확실성과 낮은 보정효과를 보인 반면, (3) LLSimpute는 결측의 증가에 관계없이 일정한 보정효과 및 불확실성 범위를 나타내는 것으로 드러났다.

• Journal of Korean Society of Coastal and Ocean Engineers
• /
• v.23 no.6
• /
• pp.496-501
• /
• 2011

The missing data patterns of tidal elevation data in Korean coasts are analysed and provided. The missing interval of the data is displayed for all stations using the missing data indicator matrix in order to identify the overall missing pattern. The spatial and temporal missing rates are also estimated. The total missing rate of tidal elevation data is low. However, most of the missing is mainly derived from just 1 or 2 specific stations. The autocorrelation function of the consecutive missing interval data also shows that the missing interval occurs randomly.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2019.05a
• /
• pp.263-263
• /
• 2019

자동유량측정시설은 하천 유량을 실시간으로 측정하기 위한 수문조사시설로써, 기존 수위-유량관계곡선식으로는 유량산정이 어려운 배수 및 조위영향 구간에서 양질의 유량자료를 확보할 수 있다. 하지만 자동유량측정시설의 경우 시설물 고장 등으로 인해 자료의 결측이 발생할 수 있으며, 단기간 발생한 결측자료는 수문자료품질관리를 통해 보완이 가능하지만 장기간 결측이 발생한 경우 보완방법이 없는 실정이다. 본 연구에서는 남한강 유역의 여주시(남한강교)~양평군(양평교) 구간 중 장기간 결측이 발생한 여주보(하류) 지점과 이포보(상류) 지점의 2013년 평수기(3월)와 홍수기(7월) 기간을 선정하여 HEC-RAS 모형을 통해 결측자료의 보완 가능 여부를 검토하였다. HEC-RAS 모의결과 여주보(하류) 지점의 경우 실시간 유량자료와 상대오차는 평저수기(3월), 홍수기(7월) 각각 0.7%와 5.0% 나타났으며, 이포보(상류) 지점은 각각 5.0%와 6.0%로 나타나 장기간 결측 발생시 HEC-RAS 모형을 통해 결측자료 보완이 가능한 것으로 나타났으며, 결측 발생기간에 적용한 결과, 여주보(하류) 지점과 이포보(상류) 지점에서 측정된 검보정 측정성과와 상대오차는 각각 4.0%, 6.0%로 나타나 결측자료 보완이 잘 이루어진 것으로 나타났다. 따라서 남한강 유역의 여주시(남한강교)~양평군(양평교) 구간과 같이 배수영향을 받는 지점에 경우 장기간 결측 발생 시 검증된 지점에 한하여 HEC-RAS 모형과 같은 수치모형을 통해 자료를 보완하는 것이 적절하다고 판단된다. 또한, 이 방법을 통해 현재 보 개방에 따라 유량측정이 어려운 자동유량측정시설의 자료보완 방법으로 일부 적용이 가능할 것으로 판단된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2019.05a
• /
• pp.16-16
• /
• 2019

기후변화 시나리오 및 계절예측 자료를 포함한 기후정보를 수자원 분야에 활용하기 위해서는 기후정보의 시 공간적인 상세화(donwscaling)을 필요로 한다. 상세화의 경우 역학적 상세화와 통계학적 상세화로 구분될 수 있으며, 통계학적 상세화를 위해서는 대상 지역의 기후특성을 대표할 수 있는 장기 관측 자료의 확보가 중요하다. 국내의 경우에는 자동기상관측장비(Automatic Weather System, AWS)와 종관기상관측장비(Automatic Synoptic Observation System, ASOS)로 부터 수집된 기상관측자료를 사용할 수 있으나 기후변화 시나리오의 통계적 상세화를 위해서는 30년 이상의 자료 기간을 포함하는 ASOS 자료가 적합하다. 하지만 개발도상국과 같이 기상관측기반이 열악한 지역에서는 잦은 결측 등으로 인하여 품질이 좋은 관측자료의 획득이 어려운 상황이다. 따라서 본 연구에서는 측이 포함된 장기 기상관측 자료로부터 대상 지역의 기후특성을 재현할 수 있도록 기본적인 QC(Quality Control)을 거쳐 결측 자료를 보완할 수 있는 기법 및 R 기반패키지를 개발하여 적용성을 평가하였다. 개발된 기법의 적용성 평가를 위해서 기상청에서 QC를 통해 제공하고 있는 60개 ASOS 지점의 관측자료 중 강수량과 기온 변수를 사용하였다. 최대 50%까지의 현실적인 결측 패턴을 임의로 생성하기 위해 실제 개발도상국 관측자료의 일단위 결측 패턴을 이용하였다. 자료의 QC는 관측일 누락/중복 및 문자형 관측값 등 기본적인 오류 검사, 기온의 경우 물리적 허용 범위에 대한 검사, 최고기온과 최저기온의 비교 및 계측기 오작동에 의한 동일한 값의 반복 등을 포함한 내적 일치성 검사를 우선적으로 수행한다. 이후 결측값에 대해서 인근 기상관측소와의 상관성 분석 결과를 기반으로 결측값을 채우고, 최종적으로는 다양한 위성자료 및 재분석 자료 중에서 일단위 기후특성의 재현성 평가를 통해 선정된 격자형 자료와의 상관성 분석 결과를 기반으로 결측값을 보정하였다. 기온의 경우는 결측률이 높더라도 월평균 기후특성에 큰 영향을 미치지 않았지만 강수의 경우에는 5% 이상의 결측이 발생하는 경우 월평균 강수량에 영향을 미쳐 지역의 강수량을 과소 추정하는 결과를 보였다. 개발된 QC 기법을 강수 자료에 적용한 결과 월평균 기후특성을 잘 복원하는 결과를 보였지만, 일단위 강우 사상의 재현에 있어서는 미흡한 결과를 보였다.

• Proceedings of the Korean Association for Survey Research Conference
• /
• 2011.10a
• /
• pp.273-285
• /
• 2011

본 논문에서는 패널조사와 같은 종단면 연구에서 시간의 흐름에 따라 패널의 노후화 등의 원인으로 각 조사주기별로 발생하는 무응답(결측)에 대해 특정한 패널집단을 대상으로 무응답 패턴을 통계모형을 이용하여 분석하였다. 이러한 무응답 패턴분석을 기반으로 결측자료가 존재하는 종단자료의 분석에서 적절한 방법을 선택하여 분석을 수행할수 있으며, 만일 무응답 대체가 필요한 경우 적절한 대체 방법을 결정할 수 있을 것이다. 횡단면 조사와는 달리 이용가능한 보조정보가 각 웨이브별로 다양하게 존재하며, 이와 같은 보조정보를 무응답 대체에 활용할수 있다면, 결측자료가 존재하는 패널 자료에 비해 전통적인 통계분석 방법을 적용하여 표준적인 결과를 산출할 수 있을 것으로 기대된다.

• Journal of Korean Society of Transportation
• /
• v.26 no.2
• /
• pp.101-107
• /
• 2008

Traffic speed data may be missed due to detector malfunction or network problems. In this paper we have proposed effective methods to estimate the data which could not be collected through loop detectors. Our proposed algorithm has three steps. First step is to find the most similar neighbor data record by coefficient of correlation. Second step is to make some data records which is calculated by the 5 kinds of estimation methods. Third step is to compare the data records with history data record of observation link and thus the best method is selected. The proposed method is useful for estimating travel time.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2015.05a
• /
• pp.512-512
• /
• 2015

시 공간적 관측에서 다양한 원인에 의해 강우 자료에 결측이나 오측이 발생할 수 있다. 강우를 측정하고 자료를 수집 관리하는 측면에서 결측 되거나 오측된 자료를 추정 보완할 필요가 있다. 현재까지 결측 강우 자료를 추정하기 위한 방법으로 결측 지점 인근의 관측소를 이용한 단순 가중 평균치 방법에서부터 복잡한 통계적 기반의 보간 방법에 이르기까지 많은 연구들이 진행되고있다. 본 연구에서는 결측 된 강우 자료를 추정하기 위해 인공 신경망을 이용하여 모형을 구축하고 주변 관측소의 강우자료를 이용해 신경망 학습을 실시하여 적용해 보았으며, 최근 관측의 단위가 짧아지고 있는 점을 고려하여 10분, 30분, 1시간 등 다양한 시간간격의 강우자료를 구축하고 선형회귀모형과 RDS 방법, 신경망 모형을 이용한 방법 등을 적용한 결과를 비교하여 신경망 모형의 적용성을 살펴보았다. 단순한 구조면에서는 기존의 RDS 방법에 대한 적용성이 높은 것으로 판단되었으나, 성능의 개선을 위한 별다른 방법이 없는 반면 신경망 모형은 입력 자료를 다양하게 변환하여 구성하는 경우 성능을 개선하여 적용성이 더 높아 질 수 있는 것으로 판단되었다. 향후 신경망 모형을 이용해 잘못 측정된 강우를 적절히 선별하고 결측된 보완함으로써 관측된 강우 자료의 활용성을 높일 수 있을 것이다.

• Journal of Korean Society of Transportation
• /
• v.24 no.7 s.93
• /
• pp.27-40
• /
• 2006

The traffic information is provided, which based on the volume of traffic, speed, occupancy collected through the currently operating Vehicle Detector System(VDS). In addition to the trend in utilization fold of traffic information is increasing gradually with the applied various fields and users. Missing data in Vehicle detector data means series of data transmitted to controller without specific property. The missing data does not have a data property, so excluded at the whole data Process Hence, increasing ratio of missing data in VDS data inflicts unreliable representation of actual traffic situation. This study presented the imputation process due out which applied the methodologies that utilized adjacent stations reference and historical data utilize about missing data. Applied imputation process methodologies to VDS data or SeoHaeAn/Kyongbu Expressway, currently operation VDS, after processes at missing data ratio of an option. Imputation process held presented to per lane-30seconds-period, and morning/afternoon/daily time scope ranges classified, and analyzed an error of imputed data preparing for actual data. The analysis results, an low error occurred relatively in the results of the imputation process way that utilized a historical data compare with adjacent stations reference methods.

• Journal of Korean Society of Transportation
• /
• v.25 no.4
• /
• pp.109-121
• /
• 2007

In this study, an imputation model using circular probability distribution was developed in order to overcome problems of missing data from a traffic survey. The existing ad-hoc or heuristic, model-based and algorithm-based imputation techniques were reviewed through previous studies, and then their limitations for imputing missing traffic volume data were revealed. The statistical computing language 'R' was employed for model construction, and a mixture of von Mises probability distribution, which is classified as symmetric, and unimodal circular probability were finally fitted on the basis of traffic volume data at survey stations in urban and rural areas, respectively. The circular probability distribution model largely proved to outperform a dummy variable regression model in regards to various evaluation conditions. It turned out that circular probability distribution models depict circularity of hourly volumes well and are very cost-effective and robust to changes in missing mechanisms.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.349-349
• /
• 2021

일반적인 도시홍수모형은 수리-수문모형을 기반으로 한 홍수위 모형을 사용하고 있으나 강우사상이나 물리적 조건에 따라 모의시간의 변화가 있으며 경우에 따라서는 긴 모의시간이 소요된다. 알파고 이후 큰 관심을 갖게된 딥러닝을 이용한 데이터기반의 모의를 통해 수자원 부분에 적용하여 수위 예측을 진행하였다. 본 연구에서는 딥러닝을 이용하여 관측자료기반의 수위예측 연구를 수행하였다. 대상유역은 중랑천 유역으로 선정하였으며 2015년 ~ 2020년 사이의 10분단위 강우, 수위자료를 이용하였다. 지방자치단체에서 제공하는 강우, 수위자료의 경우 결측자료 또는 이상자료에 대한 보정이 미흡하여 기계학습을 통합 분석자료로 활용하는데 어려움이 있다. 이에, 결측 및 이상자료가 포함된 자료로부터 인위적으로 교란된 데이터 및 결측구간을 삭제한 데이터를 생성하여 자료의 시계열성을 제거하고, 딥러닝을 통한 수위 예측 결과를 정상 데이터를 적용한 결과와 비교하였다. 사용된 딥러닝 모형은 시계열 데이터 예측에 우수한성능을 보이는 LSTM모형과 GRU모형을 이용하였으며 RMSE, NSE를 이용하여 평가하였다. 본 연구에서는 결측자료 및 이상자료가 포함된 수문자료를 자료의 시계열성 제거를 통해 딥러닝 분석 입력자료 구성하기 위한 방안을 제시하였다.