• Title/Summary/Keyword: 결측자료

Search Result 302, Processing Time 0.03 seconds

A comparison of imputation methods for the consecutive missing temperature data (연속적 결측이 존재하는 기온 자료에 대한 결측복원 기법의 비교)

  • Kim, Hee-Kyung;Kang, In-Kyeong;Lee, Jae-Won;Lee, Yung-Seop
    • The Korean Journal of Applied Statistics
    • /
    • v.29 no.3
    • /
    • pp.549-557
    • /
    • 2016
  • Consecutive missing values are likely to occur in long climate data due to system error or defective equipment. Furthermore, it is difficult to impute missing values. However, these complicated problems can be overcame by imputing missing values with reference time series. Reference time series must be composed of similar time series to time series that include missing values. We performed a simulation to compare three missing imputation methods (the adjusted normal ratio method, the regression method and the IDW method) to complete the missing values of time series. A comparison of the three missing imputation methods for the daily mean temperatures at 14 climatological stations indicated that the IDW method was better thanx others at south seaside stations. We also found the regression method was better than others at most stations (except south seaside stations).

Comparison of Estimation Methods for the Missing Rainfall data in a Urban Sub-drainage Area (도시하천 소배수구역의 결측 강우량 산정 방법 비교)

  • Kim, Chung-Soo;Kim, Hyoung-Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2006.05a
    • /
    • pp.701-705
    • /
    • 2006
  • 강우자료는 수문 모델링 작업에서 가장 기초적인 수문학적 입력자료로 시간과 공간에 따른 변동성이 크므로 규명하기 복잡한 수문현상 중의 하나이다. 산악지역이 많은 우리나라의 지형학적 특성과 태풍, 장마 및 특히, 최근의 게릴라성 집중호우 등으로 인하여 이러한 변동성이 더욱 커지고 있는 실정이다. 장기간 실측된 수문기상 기초 자료가 부족한 우리나라의 실정상 홍수예보 및 수공구조물 설계를 위해 정확한 강우량 자료의 취득이 선행돼야 한다. 따라서 적절한 장소에 수문관측소 설치 및 관리를 통해 양호한 강우량 자료를 획득해야 하지만, 현장 여건상 등의 이유로 미계측 및 결측, 이상자료가 발생하고 있다. 따라서 이러한 미계측 혹은 결측지점의 우량을 추정할 수 있는 방법을 비교, 분석하여 적절한 보정과정을 수행할 필요가 있다. 그간의 연구에서는 미계측 지점 혹은 산악지역에서의 점 강우량 보정방법에 대한 연구가 진행되었지만, 본 연구에서는 '도시홍수재해관리기술연구사업단'에서 운영 중인 도시하천 유역 특히 소배수구역에서의 결측 자료에 대해 여러 추정 방법을 비교, 분석하여 적절한 방안을 찾고자 한다. 이를 위하여 중랑천 유역의 3개 소배수 구역(월계1 배수구역, 군자 배수구역, 어린이대공원 배수구역)에 설치된 3개 우량관측소와 건설교통부 관할 우량관측소 2개소의 우량자료를 사용하였다. 본 연구에서는 결측치 보간을 위하여 널리 이용되고 있는 산술평균법(Arithmetic Average method), 역거리법(Reciprocal Distance Squared method), 거리고도비율법(Ratio of Distance and Elevation method), 인근관측소와의 관계식 이용, 크리깅방법(Simple Kriging method)을 비교, 검토 적용하였다. 중랑천 유역의 소배수구역을 대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.

  • PDF

Study on the Method for Data Interpolation using the Correlation among Runoff, Water Quality Concentration and Load (유출량, 수질 농도 및 부하량의 상호관계를 이용한 자료보간 방법에 관한 연구)

  • Oh, Chang-Ryeol;Jung, Woo-Cheol;Jin, Young-Hoon;Park, Sung-Chun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2007.05a
    • /
    • pp.1474-1478
    • /
    • 2007
  • 수문 및 수질자료는 일정한 기준에 의한 관측치를 시계열 자료로 기록하거나 전송할 때 다양한 형태의 오차가 발생하게 되며 또한 수문 및 수질자료를 관측하는 측정기기의 고장과 유지관리 등의 어려움으로 다양한 형태의 결측 자료가 발생하고 있다. 이와 더불어 수문 및 수질자료는 시공간적 변동성이 크며 비선형성이 강한 특성을 갖고 있다. 이러한 수문 및 수질 자료를 이용하여 모형을 구축할 경우 다양한 형태의 잡음에 대한 검증 및 잡음저감이 필수적 요건이라 할 수 있다. 따라서 본 연구에서는 영산강 유역의 본류부를 대표하는 나주지점에 대한 유출량과 총유기탄소(TOC) 농도 및 TOC 부하량 예측모형을 개발하였으며, 이를 위한 방법으로는 잡음저감을 위하여 웨이블렛 변환과 인공신경망을 적용하였다. TOC 부하량 자료는 유출량과 TOC 자료간의 함수로서 표현이 가능함에 따라 유출량 및 TOC 자료가 결측되었을 경우 역함수에 의한 계산으로 결측 자료에 대한 보간이 가능하다. 따라서 본 연구의 주안점은 잠음 저감 및 인공신경망에 의해 최적화된 예측 모형이 결측된 유출량과 TOC 자료에 대한 역함수로 정도있는 유출량과 TOC 자료 생성 가능성을 검토하고자 한다. 본 연구의 적용 결과, 유출량 자료가 결측되었을 경우 TOC 및 TOC 부하량 예측으로 유출량 자료에 대한 간접추정 및 결측 자료에 대한 보간의 정도를 평가한 결과 $R^2$는 0.99 이상의 값을 보였다. 또한, TOC 자료가 결측되었을 경우 역시 $R^2$는 비교적 우수한 0.97 이상의 값을 보였다. 따라서 본 연구에서 개발한 유출량 및 TOC, TOC 부하량 예측모형의 개발은 정도있는 유출량 및 TOC 수질 자료의 생성이 가능할 것으로 기대된다.한 물순환 해석을 할 수 있는 기반을 확보 하였으며, 가용한 장 단기간의 관측자료와 물수지 분석 연산식의 추정치를 바탕으로 관측자료에 의한 물수지 분석을 수행하였다. 분석 결과로 산지 소하천 유역인 설마천 시험유역의 각 수문요소의 물이동간의 정량적인 값을 알 수가 있었으며, 앞으로 추가적이고 지속적인 수문모니터링이 운영되고 물순환 해석 모형에 의한 검증이 수행된다면 정량적인 물순환 관계를 규명할 수 있을 뿐만 아니라 이와 관련된 수문요소기술을 확보할 수 있을 것이다.절한 타협과 조정을 필요로 한다. 그러나 절제의 한계를 넘어선다고 생각되거나, 조정의 노력이 불가능하거나, 실패했을 때 폭력적인 행동으로 나타나게 된다. 리차즈(I.A Richards)는 분노와 공포는 일단 겉잡을 수 없는 경향이 있다고 하면서 오늘날 폭력에 대한 요구가 일상의 정서 생활에 있어, 억압을 통한, 빈곤함을 반영하고 있지 않은지 생각해봐야 할 것이라고 충고한다. 조성 가이드라인(안)을 제시하였다.EX>$\ulcorner$세종실록$\lrcorner$(世宗實錄) $\ulcorner$지리지$\lrcorner$(地理志)와의 비교를 해보면 상 중 하품의 통합 9개소가 삭제되어 있고, $\ulcorner$동국여지승람$\lrcorner$(東國與地勝覽) 에서는 자기소와 도기소의 위치가 완전히 삭제되어 있다. 이러한 현상은 첫째, 15세기 중엽 경제적 태평과 함께 백자의 수요 생산이 증가하자 군신의 변별(辨別)과 사치를 이유로 강력하게 규제하여 백자의 확대와 발전에 걸림돌이 되었다. 둘째, 동기(銅器)의 대체품으로 자기를 만들어 충당해야할 강제성 당위성 상실로 인한 자기수요 감

  • PDF

A Study on Missing Data Imputation for Water Demand in 112 Block of Yoengjong Island, Korea (영종도 112블록 AMI 물 수요량 결측 자료 보정기법 연구)

  • Koo, Kang Min;Han, Kuk Heon;Yum, Kyung Taek;Jun, Kyung Soo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.3-3
    • /
    • 2019
  • 최근 기후변화로 인한 집중호우, 가뭄 등 예측하기 어려운 사태가 발생하면서 깨끗하고 안정적인 용수공급 기술의 필요성이 대두되고 있다. 이에 IoT와 기존 물관리시스템을 결합한 스마트워터그리드 출범은 실시간으로 수요와 공급량의 정보를 취득하여 물 관리 효율성을 제고 할 수 있게 되었다. 실시간 수요량 자료를 이용하여 물 수요량 예측을 통한 최적의 물 공급량을 결정할 수 있다. 이 때 스마트워터그리드의 핵심 기술은 실시간으로 취득한 자료의 품질관리라 할 수 있다. 본 연구 대상지역인 영종도 112 블록에는 528개 AMI 스마트 미터를 이용하여 1시간 단위의 물 수요량 자료를 원격 검침하고 있다. 각 수용가에 설치된 AMI 센서를 통해 수집된 자료에는 오류를 포함할 수 있는데 통신 장애, 미터기 고장 및 교체 등으로 발생된다. 결측된 수요량 자료는 상수관망 수리해석에 사용되는 기본자료로서 비표본오차를 증가시켜 검정력과 정확성을 결여시키는 문제가 있다. 이에 본 연구에서는 수집된 자료를 가용할 수 있는 자료로 정제하고 대체하기 위해 완전히 관찰된 자료(complete data)만을 이용하여 각 시간에 따른 관경별, 용도별 그리고 요일별 수요패턴을 추정한다. 결측된 자료는 기존에 사용되는 평균대체법과 핫덱 대체(hot deck imputation) 등과 비교 검증한다.

  • PDF

A Study on Imputing the Missing Values of Continuous Traffic Counts (상시조사 교통량 자료의 결측 보정에 관한 연구)

  • Lee, Sang Hyup;Shin, Jae Myong
    • KSCE Journal of Civil and Environmental Engineering Research
    • /
    • v.33 no.5
    • /
    • pp.2009-2019
    • /
    • 2013
  • Traffic volumes are the important basic data which are directly used for transportation network planning, highway design, highway management and so forth. They are collected by two types of collection methods, one of which is the continuous traffic counts and the other is the short duration traffic counts. The continuous traffic counts are conducted for 365 days a year using the permanent traffic counter and the short duration traffic counts are conducted for specific day(s). In case of the continuous traffic counts the missing of data occurs due to breakdown or malfunction of the counter from time to time. Thus, the diverse imputation methods have been developed and applied so far. In this study the applied exponential smoothing method, in which the data from the days before and after the missing day are used, is proposed and compared with other imputation methods. The comparison shows that the applied exponential smoothing method enhances the accuracy of imputation when the coefficient of traffic volume variation is low. In addition, it is verified that the variation of traffic volume at the site is an important factor for the accuracy of imputation. Therefore, it is necessary to apply different imputation methods depending upon site and time to raise the reliability of imputation for missing traffic values.

Completion of the Missing Rainfall Data by a Multi-regression method (다중회귀분석을 이용한 강우량 결측치 보정)

  • Lee, Myoung-Woo;Lee, Bong-Hee;Kim, Hung-Soo;Shim, Myung-Pil
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2006.05a
    • /
    • pp.775-779
    • /
    • 2006
  • 강우자료의 구축은 수문해석에 있어 가장 기본적이며 중요한 단계라 할 수 있다. 하지만 수문 관측 자료의 경우 결측치가 존재하여 그에 대한 보정이 필요한 경우가 종종 발생하게 된다. 따라서 수문자료의 분석을 수행하기에 앞서 우선 자료에 대한 검정을 실시하고, 결측치가 존재할 경우는 이를 보정하여 분석을 수행하여야 한다. 본 연구에서는 다변량통계기법의 하나인 다중회귀분석을 이용하여 강우 결측치를 보정하였다. 본 연구에서는 다중공선성과 자기상관에 대하여 고려한 다중회귀모형을 구성하였다. 모형의 구성시 모든 결측지점에 적용이 가능하지 않아 일반성이 떨어짐을 확인 할 수 있었지만, 모형이 구성될 경우 통계적 적합도와 유의수준을 확인 할 수 있는 장점이 있었으며, 다중회귀모형이 구성되는 경우 좋은 보정 결과를 주는 것을 확인 할 수 있었다.

  • PDF

Estimation of Missing Rainfall Data Considering Spatio-Temporal Variation Using Radar Data (레이더 자료를 이용한 시공간적 변동성을 고려한 강우의 결측치 추정)

  • Song, Chang-U;Song, Chang-Joon;Kim, Byeong-Sik;Kim, Soo-Jun;Kim, Hung-Soo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2010.05a
    • /
    • pp.1196-1200
    • /
    • 2010
  • 본 논문에서는 지점 강우의 결측치를 추정하기 위해 전통적인 통계학적 내삽기법을 이용한 역거리가중치법(IDWM), 역지수가중치법(IEWM), 상관계수가중치법(CCWM)과 패턴 인식의 일종인 인공신경망(ANN)기법 그리고 시공간적 강우분포의 측정이 가능한 레이더 자료를 이용해 결측치를 추정하여 각각의 방법을 비교하였다. 임진강 유역의 15개 지상관측소를 대상으로 교차검정(Cross validation) 분석을 실시해 본 결과, CCWM 방법과 ANN기법에 의한 RMSE가 0.46~1.79의 범위를 보였고, 보정레이더를 이용하여 결측치를 추정한 경우RMSE가 0.05~2.26의 범위를 보여 기존의 전통적 결측치 추정방법보다 실측치에 가까운 결과를 보였다. 이는 레이더자료가 지점 강우자료와는 달리 강우의 시공간적 변동성을 고려한 공간분포의 정보를 지니고 있기 때문인 것으로 판단된다.

  • PDF

Development of Local Extreme Event Index by Rainfall Data Analysis - Focused on the PyeongChang River Basin (강우자료 분석을 통한 지역극한지수 개발 - 평창강 유역을 대상으로)

  • Choi, Sumin;Kim, Chang Hwan;Yeo, Chang Geon;Lee, Seung Oh
    • 한국방재학회:학술대회논문집
    • /
    • 2011.02a
    • /
    • pp.105-105
    • /
    • 2011
  • 전 세계적으로 이상기후의 발생이 빈번해지고 있으며, 특히 6~9월에 강우가 집중되는 우리나라의 경우에는 예측하지 못한 강우의 발생 빈도가 점점 증가하고 있어 이로 인한 인명 및 재산 피해 또한 심각한 문제가 되고 있다. 이러한 피해를 최소화하기 위해서는, 일반적으로 발생한 강우사상이 아니라 극치의 확률로 발생한 강우사상에 대한 실질적인 연구가 우선으로 수행되어야 한다. 기존의 극한강우에 대한 연구 중 대부분은 정량적인 기준보다는 정성적인 기준을 제시하고 있으며, 최근 국외에서는 STARDEX(Goodess, 2005)와 같은 극한지수를 선정하여 경향성을 분석하는 연구도 수행되고 있다. 국내에서도 극한지수를 사용한 연구사례가 있으나(최영은, 2004, 김보경 외, 2009), 국외에서 제안된 극한지수를 우리나라에 그대로 적용한 것이며, 이외에도 확률모형을 이용한 극한기후사상의 발생빈도 분석에 관한 연구도 활발히 수행되고 있는 추세이다. 본 연구에서는 확률적으로 양적, 시간적, 공간적 측면이 동시에 극한의 값을 갖는 사상을 극치사상이라고 정의하여, 발생 가능한 강수량의 최대량으로 주로 사용되는 가능최대강수량(PMP)과는 다른 의미의 강수량으로 분석하였다. 극한강우사상의 정량적인 분석을 위해, 안성천 유역 강우관측소의 시계열 강우자료를 토대로 전체 강우사상에 대한 강우지속시간, 총 강우량 및 최대 시강우량의 95퍼센타일, 시간에 대한 누적 강우량의 25퍼센타일과 75퍼센타일의 증가율로 계산된 강우 증가율 등 4가지 요소를 제안하였다. 이 방법을 IHP 시험유역인 평창강 유역에 적용하여 그 적용성을 검토하였으며, 극치사상으로 분석된 강우사상은 각 유역별 주요하천의 상위 12개 장기 유출량의 발생일과 비교하였다. 분석 결과, 하천과의 거리가 먼 관측소일수록 최대 유출량의 발생일과 극한강우사상의 발생일에 차이가 발생했으며, 결측자료가 많은 관측소의 경우에는 인근 관측소의 자료로 보완하였을 때 높은 정확도로 분석되는 것으로 보아, 결측자료에 대한 영향과 강우 관측소와 하천과의 거리에 대한 영향이 큰 것으로 판단되었다. 향후 연구에서는 거리 및 지형에 대한 영향과 결측자료의 보완을 통해 더 정확한 분석을 수행하여, 홍수위험도의 개선 및 장기 유출분석에 기여할 수 있을 것이다.

  • PDF

Missing Imputation Methods Using the Spatial Variable in Sample Survey (표본조사에서 공간 변수(SPATIAL VARIABLE)를 이용한 결측 대체(MISSING IMPUTATION)의 효율성 비교)

  • Lee Jin-Hee;Kim Jin;Lee Kee-Jae
    • The Korean Journal of Applied Statistics
    • /
    • v.19 no.1
    • /
    • pp.57-67
    • /
    • 2006
  • In sampling survey, nonresponse tend to occur inevitably. If we use information from respondents only, the estimates will be baised. To overcome this, various non-response imputation methods have been studied. If there are few auxiliary variables for replacing missing imputation or spatial autocorrelation exists between respondents and nonrespondents, spatial autocorrelation can be used for missing imputation. In this paper, we apply several nonresponse imputation methods including spatial imputation for the analysis of farm household economy data of the Gangwon-Do in 2002 as an example. We show that spatial imputation is more efficient than other methods through the numerical simulations.

Comparison of GEE Estimators Using Imputation Methods (대체방법별 GEE추정량 비교)

  • 김동욱;노영화
    • The Korean Journal of Applied Statistics
    • /
    • v.16 no.2
    • /
    • pp.407-426
    • /
    • 2003
  • We consider the missing covariates problem in generalized estimating equations(GEE) model. If the covariate is partially missing, GEE can not be calculated. In this paper, we study the performance of 7 imputation methods to handle missing covariates in GEE models, and the properties of GEE estimators are investigated after missing covariates are imputed for ordinal data of repeated measurements. The 7 imputation methods include i) Naive Deletion ii) Sample Average Imputation iii) Row Average Imputation iv) Cross-wave Regression Imputation v) Carry-over Imputation vi) Bayesian Bootstrap vii) Approximate Bayesian Bootstrap. A Monte-Carlo simulation is used to compare the performance of these methods. For the missing mechanism generating the missing data, we assume ignorable nonresponse. Furthermore, we generate missing covariates with or without considering wave nonresp onse patterns.