• Journal of Korean Society of Coastal and Ocean Engineers
• /
• v.33 no.6
• /
• pp.333-344
• /
• 2021

Technique for the long-gap filling that occur frequently in ocean monitoring data is developed. The method estimates the unknown values of the long-gap by the summation of the estimated trend and selected residual components of the given missing intervals. The method was used to impute the data of the long-term missing interval of about 1 month, such as temperature and water temperature of the Ulleungdo ocean buoy data. The imputed data showed differences depending on the monitoring parameters, but it was found that the variation pattern was appropriately reproduced. Although this method causes bias and variance errors due to trend and residual components estimation, it was found that the bias error of statistical measure estimation due to long-term missing is greatly reduced. The mean, and the 90% confidence intervals of the gap-filling model's RMS errors are 0.93 and 0.35~1.95, respectively.

• The Korean Journal of Applied Statistics
• /
• v.27 no.6
• /
• pp.1003-1016
• /
• 2014

Proper missing data imputation is an important procedure to obtain superior results for data analysis based on survey data. This paper deals with both a model based imputation method and model estimation method. We utilized a Bayesian method to solve a boundary solution problem in which we applied a maximum likelihood estimation method. We also deal with a missing mechanism model selection problem using forecasting results and a comparison between model accuracies. We utilized MWPE(modified within precinct error) (Bautista et al., 2007) to measure prediction correctness. We applied proposed ML and Bayesian methods to the Korean presidential election exit poll data of 2012. Based on the analysis, the results under the missing at random mechanism showed superior prediction results than under the missing not at random mechanism.

• Journal of Korean Society of Transportation
• /
• v.25 no.1 s.94
• /
• pp.121-132
• /
• 2007

Up to now Permanent traffic volumes have been counted by Automatic Vehicle Classification (AVC) on National Highways. When counted data have missing items or errors, the data must be revised to stay statistically reliable This study was carried out to estimate correct data based on outoregression and seasonal AutoRegressive Integrated Moving Average (ARIMA). As a result of verification through seasonal ARIMA, the longer the missed period is, the greater the error. Autoregression results in better verification results than seasonal ARIMA. Traffic data is affected by the present state mote than past patterns. However. autoregression can be applied only to the cases where data include similar neighborhood patterns and even in this case. the data cannot be corrected when data are missing due to low qualify or errors Therefore, these data shoo)d be corrected using past patterns and seasonal ARIMA when the missing data occurs in short periods.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.185-190
• /
• 2007

대용량의 자료가 생산됨에 따라 데이터를 효율적으로 저장, 관리, 이용할 수 있는 데이터 웨어하우스의 역할이 중요하게 되었고, 그에 따라 자료 처리 기법의 개발은 필수 과제가 되었다. 품질 평가와 오류 판단, 결측 보정의 자료 처리 과점은 자료의 신뢰도를 판단하고 활용도를 높일 수 있는 과정으로 매우 중요하다. 본 논문에서는 우리나라의 실제 교통상황을 반영하고 평가 기준의 오차를 줄이면서 더욱 간단 명료한 평가 계산식을 도입하여 효율적인 품질평가와 오류판단, 결측 보정의 자료 처리 기법을 제안한다. 또한 오류 판단 기준에 새로운 파라미터론 도입하여 교통 연구자의 요구 사항을 반영할 수 있게 하였다. 결측 보정 과정은 여러 기법을 연구하고 기존의 결측 보정 기법에 입력 변수를 추가하여 실제 대용량의 교통 자료에 적용하였다. 그리고 교통 자료가 저장되는 데이터베이스에 직접 접근하여 결측 보정과정을 수행하도록 PL/SQL로 구현하였으며, 이를 통해 교통 연구자에게 쉽고 다양한 방법으로 결측 보정을 수행하고 그 결과를 이용하여 다양한 교통 정보를 가공할 수 있는 환경을 제공하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2006.05a
• /
• pp.1546-1550
• /
• 2006

한강 하구부의 3개 지점에서 수중 계류방식으로 약 5개월에 걸쳐 탁도를 관측하였다. 이 과정에서 관측기기의 한계로 인해 탁도 자료의 결측치가 발생하였고, 이를 효율적으로 보완하기 위해 새로운 결측치 보완기법을 개발하였다. 개발된 기법, 일명 면적비법은 시계열 자료가 단일주기와 상이한 진폭을 갖는다는 가정하에, 각 사이클의 면적비율을 통해 결측치를 보완하는 방법이다. 면적비법과 기존의 최소제곱법을 검증하기 위해 결측치가 없는 정상적인 자료에 적용해 보면, 두 방법 모두 첨두치를 약간 과소 산정하는 경향이 있었다. 하지만 면적비법의 경우, 원자료의 총 면적과 보완자료의 총 면적간의 차이가 거의 없었다. 이 방법들을 한강 하구부에서 관측된 탁도자료에 적용해 본 결과, 면적비법은 합리적으로 결측치를 보완하는 반면, 최소제곱법은 보완자료의 총면적이 원자료에 비해 작아지는 오류가 발생하였다. 따라서 최소제곱법에 비해 면적비법이 결측치 보완에 더 우수한 결과를 제공함을 알 수 있었다. 본 연구에서 개발한 면적비법은 주기성이 뚜렷한 시계열자료의 결측치 보완에 유용하게 쓰일 수 있으리라 기대된다.

• 한국데이터정보과학회:학술대회논문집
• /
• 2003.05a
• /
• pp.145-158
• /
• 2003

불완전 데이터 즉, 결측값을 가지는 데이터를 분석할 경우 결측데이터에 대해서 어떠한 처리를 해야할 필요가 있다. 결측데이터에 대한 처리로서 주로 이용되어온 방법으로는 결측값을 포함한 관측값(case)을 제외하는 방법이었다. 이후 여러 방법들이 제안되어 EM알고리즘이나 회귀알고리즘에 의한 추정을 바탕으로 결측값에 대한 추정을 해서 그 추정값으로 결측값을 대치하는 방법을 사용할 수 있게되었다. 본 논문에서는 복수 개의 데이터세트를 생성해서 대치하는 다중대입 소프트인 SOLAS를 소개한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2012.05a
• /
• pp.305-309
• /
• 2012

한국건설기술연구원의 주요사업인 "산지하천 유역의 홍수예측을 위한 수문조사(2011~2015년)"의 Test-bed 유역중의 하나인 설마천 유역(경기도 파주시 적성면)의 중류부에 위치한 사방교 수위관측소는 2011년 7월 중부지방의 집중호우에 의해 수위관측소가 유실되는 초유의 사태가 발생한 바 있다. 이에 따라 수위관측기기와 부대시설물이 모두 피해를 입었으며, 그 이후 수위관측소 운영이 중단되었다. 다만 유역출구인 전적비교 수위관측소는 일부분 피해가 있었으나, 정상적인 기능을 유지하여 결측이 없는 운영이 이루어졌다. 2011년 사방교 수위관측소의 수위관측 자료는 호우피해 발생 이전 관측자료 수집이 이루어진 2011년 7월 8일 13:30분까지 자료가 있으며, 그 이후는 호우피해에 의한 관측기기의 유실로 모두 결측이다. 따라서 본 연구는 2011년 7월 8일 13:30분 이후 관측이 이루어지지 못한 사방교 수위관측소의 유량자료를 모의 생성한 후 유역출구인 전적비교 수위관측소의 유량자료와 상 하류 유량 및 유출률 검토를 통하여 미관측기간의 결측자료를 최종 생성하였다. 최종 모의 생성된 유량자료는 2011년 이전의 유역의 수문학적 특성과 매우 유사한 경향을 보이므로 모의 생성된 결과는 매우 양호한 것으로 판단된다. 이러한 결과는 설마천 유역의 지속적인 운영과 아울러 6개 우량관측소의 우량자료와(2011년 7월 집중호우에 의해 1개 우량관측소 유실 발생), 유역출구인 전적비교 수위관측소의 신뢰성 높은 수위, 유량자료가 있었기에 가능한 일이다. 설마천 유역 수문자료는 홈페이지(http://seolmacheon.kict.re.kr)와 동시에 운영되는 '설마천-차탄천 수문정보시스템'을 통해 유역정보 및 자료를 저장하고 있으며, 제공을 통해 자료를 공유하고 있다.

• The Korean Journal of Applied Statistics
• /
• v.20 no.3
• /
• pp.499-514
• /
• 2007

It is a common practice to use the auxiliary variables to impute missing values from item nonresponse in surveys. Sometimes there are few auxiliary variables for missing value imputation, but if spatial and time autocorrelations exist, we should use these correlations for better results. Recently, Lee et al. (2006) showed that spatial autocorrelation could be efficiently used for missing value imputation when spatial autocorrelation existed, using the data from the farm household economy data in Gangwon-do, 2002. In this paper, we present au evaluation of spatial and space-time nonresponse imputation methods when there exist spatial and time autocorrelations using the monthly data during 2000-2002 from the same data previously used by Lee et al. (2006). We show that space-time imputation method is more efficient than the other through the numerical simulations.

• Journal of Korea Water Resources Association
• /
• v.43 no.3
• /
• pp.257-264
• /
• 2010

The amount and continuity of precipitation data used in a hydrological analysis may exert a big influence on the reliability of the analysis. It is a fundamental process to estimate the missing data caused by such as a breakdown of the rainfall recording machine or to expand a short period of rainfall data. In this study a linear programming method treated as a data-driven approach for estimating the missing rainfall data is compared with seven other methods widely used and its superiority is certified. The data used in this research are annual precipitation ones during 17 years at the Cheolwon station including an ungauged period of 15 years and its five surrounding stations. By use of this certified method the ungauged precipitation values at the Cheolweon station are estimated and the areal averages of annual precipitation data for 32 years at the Han River basin are calculated.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2018.05a
• /
• pp.310-310
• /
• 2018

Generally, precipitation measurement were conducted with various authrities. Among these, the MOLIT conduct the hydrological survey for the water resource management such as flood and low-flow forecasting, drought countermeasure, streamflow management. There is totally 424 observatory were existed and each precipitation measurement were obtained and quality assuranced with 10-min interval. It could be arranged or estimated with nearby observatory and radar reflectivity when the total amount of precipitation are existed. The objective of the study is therefore to suggest the method to estimate missing data with rain radar reflectivity. To validate suggested method, 50 observartory were obtained, and the efficiency were analyzed with estimated and observed precipitation. As the result of the study, the suggested method has reliability, and can be used as a method for quality assurance.