• 제목/요약/키워드: 결측자료 추정

검색결과 85건 처리시간 0.024초

기후변화 시나리오 자료의 통계적 상세화를 위한 결측자료 보정 기법 개발 (Development of gap filling technique for statistical downscaling of cimate change scenario data)

  • 조재필;김광형;박지훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.16-16
    • /
    • 2019
  • 기후변화 시나리오 및 계절예측 자료를 포함한 기후정보를 수자원 분야에 활용하기 위해서는 기후정보의 시 공간적인 상세화(donwscaling)을 필요로 한다. 상세화의 경우 역학적 상세화와 통계학적 상세화로 구분될 수 있으며, 통계학적 상세화를 위해서는 대상 지역의 기후특성을 대표할 수 있는 장기 관측 자료의 확보가 중요하다. 국내의 경우에는 자동기상관측장비(Automatic Weather System, AWS)와 종관기상관측장비(Automatic Synoptic Observation System, ASOS)로 부터 수집된 기상관측자료를 사용할 수 있으나 기후변화 시나리오의 통계적 상세화를 위해서는 30년 이상의 자료 기간을 포함하는 ASOS 자료가 적합하다. 하지만 개발도상국과 같이 기상관측기반이 열악한 지역에서는 잦은 결측 등으로 인하여 품질이 좋은 관측자료의 획득이 어려운 상황이다. 따라서 본 연구에서는 측이 포함된 장기 기상관측 자료로부터 대상 지역의 기후특성을 재현할 수 있도록 기본적인 QC(Quality Control)을 거쳐 결측 자료를 보완할 수 있는 기법 및 R 기반패키지를 개발하여 적용성을 평가하였다. 개발된 기법의 적용성 평가를 위해서 기상청에서 QC를 통해 제공하고 있는 60개 ASOS 지점의 관측자료 중 강수량과 기온 변수를 사용하였다. 최대 50%까지의 현실적인 결측 패턴을 임의로 생성하기 위해 실제 개발도상국 관측자료의 일단위 결측 패턴을 이용하였다. 자료의 QC는 관측일 누락/중복 및 문자형 관측값 등 기본적인 오류 검사, 기온의 경우 물리적 허용 범위에 대한 검사, 최고기온과 최저기온의 비교 및 계측기 오작동에 의한 동일한 값의 반복 등을 포함한 내적 일치성 검사를 우선적으로 수행한다. 이후 결측값에 대해서 인근 기상관측소와의 상관성 분석 결과를 기반으로 결측값을 채우고, 최종적으로는 다양한 위성자료 및 재분석 자료 중에서 일단위 기후특성의 재현성 평가를 통해 선정된 격자형 자료와의 상관성 분석 결과를 기반으로 결측값을 보정하였다. 기온의 경우는 결측률이 높더라도 월평균 기후특성에 큰 영향을 미치지 않았지만 강수의 경우에는 5% 이상의 결측이 발생하는 경우 월평균 강수량에 영향을 미쳐 지역의 강수량을 과소 추정하는 결과를 보였다. 개발된 QC 기법을 강수 자료에 적용한 결과 월평균 기후특성을 잘 복원하는 결과를 보였지만, 일단위 강우 사상의 재현에 있어서는 미흡한 결과를 보였다.

  • PDF

대체방법별 GEE추정량 비교 (Comparison of GEE Estimators Using Imputation Methods)

  • 김동욱;노영화
    • 응용통계연구
    • /
    • 제16권2호
    • /
    • pp.407-426
    • /
    • 2003
  • 본 연구에서는 범주형 반복측정자료의 일반화추정방정식(GEE)모형에서 결측이 발생할 경우 결측값 대체(imputation)방법들에 대한 성능을 비교하고자 한다. 설명변수 X가 부분적으로 결측을 갖는 경우 GEE추정량을 계산할 수 없다. 본 논문에서는 시점에 따라 값이 변하는 설명변수에 결측이 있는 경우 GEE모형에서 결측값을 추정하는 7가지의 대체방법을 다루며, 실제자료와 모의실험을 통하여 대체방법별 GEE추정량의 성질을 연구한다. 대체방법별 GEE추정량의 성능을 비교하기 위해 우리는 반응변수가 범주형인 반복측정모형에서 완전자료의 GEE추정량과 완전자료에서 결측을 생성하여 결측값에 각 대체방법을 적용하여 대체한 후 구한 GEE추정량을 비교한다. 대체방법으로는 (1) 단순삭제 (2) 표본 평균대체 (3) 행 평균대체 (4) 횡 시점 회귀대체 (5) 이월대체 (6) 베이지안 붓스트랩 (7) 근사적 베이지안 붓스트랩에 대해서 살펴본다. 결측과정(missing mechanism)은 무시할 수 있는 무응답(ignorable nonresponse)을 가정하며, 결측 발생에 대해서는 원자료의 시점 무응답 패턴(wave nonresponse pattern)을 고려하여 발생시키거나 또는 시점 무응답 패턴을 고려하지 않고 단순임의추출로 결측을 발생시키는 방법을 각각 고려한다.

도시하천 소배수구역의 결측 강우량 산정 방법 비교 (Comparison of Estimation Methods for the Missing Rainfall data in a Urban Sub-drainage Area)

  • 김충수;김형섭
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2006년도 학술발표회 논문집
    • /
    • pp.701-705
    • /
    • 2006
  • 강우자료는 수문 모델링 작업에서 가장 기초적인 수문학적 입력자료로 시간과 공간에 따른 변동성이 크므로 규명하기 복잡한 수문현상 중의 하나이다. 산악지역이 많은 우리나라의 지형학적 특성과 태풍, 장마 및 특히, 최근의 게릴라성 집중호우 등으로 인하여 이러한 변동성이 더욱 커지고 있는 실정이다. 장기간 실측된 수문기상 기초 자료가 부족한 우리나라의 실정상 홍수예보 및 수공구조물 설계를 위해 정확한 강우량 자료의 취득이 선행돼야 한다. 따라서 적절한 장소에 수문관측소 설치 및 관리를 통해 양호한 강우량 자료를 획득해야 하지만, 현장 여건상 등의 이유로 미계측 및 결측, 이상자료가 발생하고 있다. 따라서 이러한 미계측 혹은 결측지점의 우량을 추정할 수 있는 방법을 비교, 분석하여 적절한 보정과정을 수행할 필요가 있다. 그간의 연구에서는 미계측 지점 혹은 산악지역에서의 점 강우량 보정방법에 대한 연구가 진행되었지만, 본 연구에서는 '도시홍수재해관리기술연구사업단'에서 운영 중인 도시하천 유역 특히 소배수구역에서의 결측 자료에 대해 여러 추정 방법을 비교, 분석하여 적절한 방안을 찾고자 한다. 이를 위하여 중랑천 유역의 3개 소배수 구역(월계1 배수구역, 군자 배수구역, 어린이대공원 배수구역)에 설치된 3개 우량관측소와 건설교통부 관할 우량관측소 2개소의 우량자료를 사용하였다. 본 연구에서는 결측치 보간을 위하여 널리 이용되고 있는 산술평균법(Arithmetic Average method), 역거리법(Reciprocal Distance Squared method), 거리고도비율법(Ratio of Distance and Elevation method), 인근관측소와의 관계식 이용, 크리깅방법(Simple Kriging method)을 비교, 검토 적용하였다. 중랑천 유역의 소배수구역을 대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.

  • PDF

순환확률분포를 이용한 교통량 결측자료 보정 모형 (Modelling Missing Traffic Volume Data using Circular Probability Distribution)

  • 김현석;임강원;이영인;남두희
    • 대한교통학회지
    • /
    • 제25권4호
    • /
    • pp.109-121
    • /
    • 2007
  • 자료결측의 심각성은 현실적으로 거의 대부분의 조사에서 발생한다. 비단 교통분야뿐만 아니라 인문사회 분야나 기상학, 생물학, 지구과학 등 모든 분야에서 인력식이든 기계식이든 조사 방식에 관계없이 발생한다. 교통자료 수집장비에서의 자료결측의 발생은 현실적으로 불가피한 현상으로 볼 수 있으며, 이와 같은 자료 수집과정에서 발생하는 결측을 신뢰성있게 추정하여 보정하였던 선행연구의 대부분은 교통량 자료의 결측값 보정시 통계적 검증없이 시간적인 임의의 종속성만 고려함으로서, 보정 성능이 떨어지는 단점을 노출하고 있다. 이들 연구에서 적용했던 기법들 또한, 교통량 자료가 가지고 있는 가장 큰 특징인 주기적 순환성(periodic circularity)이 제대로 반영되지 못함으로서 적용상 한계를 노출하고 있다. 본 연구는 현실적으로 거의 대부분의 조사과정에서 발생하는 자료결측의 심각성에 대한 인식을 토대로 대안으로 순환분포모형을 제안하였다. 이러한 자료결측 현상에 대응하고자 하였던 기존의 ad-hoc 또는 heuristic 보정 기법과 모형 기반 및 알고리즘 기반의 보정 기법에 관한 선행 연구의 고찰을 통하여 이들 기법들의 한계점을 확인하였다.

비선형 모델을 이용한 결측 대체 방법 비교 (A comparison of imputation methods using nonlinear models)

  • 김혜인;송주원
    • 응용통계연구
    • /
    • 제32권4호
    • /
    • pp.543-559
    • /
    • 2019
  • 자료에는 다양한 원인에 의해 결측이 발생한다. 만약 결측치를 제외하고 완전히 관찰된 자료만으로 분석을 실시한다면 결측자료 메커니즘이 완전임의결측이 아닌 경우 결과에 편향이 발생하거나 제외된 개체로 인한 정보의 손실로 추정의 정밀도가 약화된다. 결측이 하나의 변수에서만 일어나지 않기 때문에, 자료에 변수가 많을 수록 이 문제는 심화된다. 문제를 개선하기 위해 결측치를 대체하는 여러가지 방법들이 제안되었다. 하지만 모수적인 모형을 이용한 대체 방법들은 가정에 위배되는 현실 데이터에는 적합하지 않다. 따라서 본 연구에서는 자료의 분포 가정에 덜 영향을 받는 커널, 리샘플링, 스플라인 방법을 활용한 비선형 대체 방법들을 리뷰하고 필요한 경우 기존의 비선형 대체 방법에 대체클래스를 사용하여 대체값의 정확도를 높이거나 랜덤성을 가지는 오차를 더해주어 추정치의 분산이 적게 추정되는 문제를 개선하는 확장된 결측 대체 방법을 제안한다. 본 연구에서 고려한 여러 가지 대체 방법들은 다양한 모의자료 설계 하에서 성능을 비교하였다. 모의실험 결과, 비선형 대체 방법들은 각 설계 하에 다른 성능을 보이며 전반적으로 커널 회귀나 스플라인을 활용한 대체 방법들이 좋은 성능을 보였다. 더불어, 확장된 대체 방법은 기존의 대체 방법이 가지는 문제점을 개선함을 확인할 수 있었다.

불규칙한 관측주기를 갖는 지하수자료를 이용한 지하수위 변동의 시계열 분석

  • 이명재;이강근
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2000년도 추계학술대회
    • /
    • pp.64-68
    • /
    • 2000
  • 장기간 관측된 지하수위 자료를 시계열분석 중의 하나인 전이함수 모형(Transfer Function - Noise model)을 이용하여 분석하였다. 일반적으로 전이함수 모형은 입력 변수와 출력변수와의 관계가 선형적일 때 적용이 가능하며, 자료가 시간에 대해 연속적으로 존재해야 하는 제한이 있다. 강수량과 지하수위의 변동은 비선형적인 관계를 가지고 있어 이러한 전이함수 모형을 직접 적용하는데는 어려움이 있다. 이러한 비선형성의 정도를 감소시키기 위해 물리모형(HYDRUS)을 이용하여 침투량을 계산하고 이를 입력변수로 사용하여 전이함수 모형을 적용하였다. 침투량을 입력변수로 모형을 추정하였을 때, 강수량을 직접 입력자료로 사용했을 경우보다 ME(mean error), RMSE(root-mean-squre error), MAE(mean absolute error)에서 상대적으로 작은 값을 보여주고 있다. TFN 모형의 모수를 추정하기 위해서 Kalman 필터 알고리즘과 최우추정법(Maximum Likelihood Estimation)을 이용하였다. Kalman 필터 알고리즘을 이용하여 불규칙한 관측주기를 갖는 시계열이나 결측값이 있는 시계열에 대해서도 전이함수 모형을 구하였으며, 이를 통해 결측값에 대한 추정이 가능하였다.

  • PDF

일반국토 상시 교통량자료를 이용한 교통량 결측자료 추정 (Missing Data Imputation Using Permanent Traffic Counts on National Highways)

  • 하정아;박재화;김성현
    • 대한교통학회지
    • /
    • 제25권1호
    • /
    • pp.121-132
    • /
    • 2007
  • 일반국도의 상시조사 자료는 교통량 조사 장비를 통해 수집되며, 수집된 자료가 누락되거나 불량일 경우 통계자료의 객관성을 유지하기 위해서 보정을 해야 한다. 교통량 결측 자료의 보정을 통계적인 방법으로 접근하여 신뢰성을 높이고자 본 연구에서는 보정 대상 시간과 동일시간의 자료를 적용할 수 있는 자기회귀분석과 보정 대상 지점과 동일 지점의 자료를 적용할 수 있는 계절 시계열 분석을 이용하여 보정하는 방안을 제시하였다. 계절 시계열 분석을 적용하여 결측 자료를 보정한 결과, 결측 기간이 길어질수록 오차가 커지는 것으로 분석되었다. 이것은 단기예측의 경우 실제자료를 이용하여 예측 값을 제시하지만, 장기예측의 경우 예측된 자료를 이용하여 예측값을 제시하기 때문에 신뢰성이 떨어지기 때문이라 판단된다. 자기회귀분석을 적용하여 결측 자료를 보정한 결과, 시계열분석에 비해서 오차가 적은 것으로 분석되었다. 이것은 교통량자료는 과거 패턴보다 현재 시점의 영향을 더 많이 받는 것이기 때문이라 판단된다 하지만 자기회귀분석은 인근에 패턴이 유사한 지점이 있어야 가능하며, 인근에 유사한 지점이 있더라도 그 지점의 자료가 불량일 경우 보정이 불가능하다는 단점이 있다. 이러한 경우에는 과거자료를 이용해서 보정할 수밖에 없으며, 단기 결측의 경우에는 시계열분석을 이용할 수 있다.

시공간적 변동성을 고려한 강우의 결측치 추정 방법의 비교 (The Comparison of Estimation Methods for the Missing Rainfall Data with spatio-temporal Variability)

  • 김병식;노희성;김형수
    • 한국습지학회지
    • /
    • 제13권2호
    • /
    • pp.189-197
    • /
    • 2011
  • 본 논문에서는 지상강우의 결측치를 추정하는 방법들 중 역거리 가중치법(IDWM), 역지수 가중치법(IEWM), 상관계수가중치법(CCWM), 인공신경망(ANN)기법, 레이더 자료를 이용한 결측치 추정 방법을 비교하여 각각의 적용성을 검토하였다. 임진강 유역을 대상지역으로 하여 각 방법을 적용한 결과, 강우의 결측치 추정에 있어서 기존의 방법 중 상관계수 가중치법(CCWM)과 인공신경망(ANN)기법에 의한 RMSE가 0.46~1.79의 범위를 보였고, 레이더자료를 이용하여 강우의 결측치를 추정한 경우 RMSE가 0.05~2.26의 범위를 보였다. 레이더 강우자료가 지점 강우자료와 달리 강우의 공간상관성을 반영하고 있음을 볼 때, 지점강우 자료를 이용한 결측치 추정 기법보다 레이더자료를 이용한 결측치의 추정기법이 그 적용성에서 우수하다고 판단되어진다.

유출량, 수질 농도 및 부하량의 상호관계를 이용한 자료보간 방법에 관한 연구 (Study on the Method for Data Interpolation using the Correlation among Runoff, Water Quality Concentration and Load)

  • 오창열;정우철;진영훈;박성천
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.1474-1478
    • /
    • 2007
  • 수문 및 수질자료는 일정한 기준에 의한 관측치를 시계열 자료로 기록하거나 전송할 때 다양한 형태의 오차가 발생하게 되며 또한 수문 및 수질자료를 관측하는 측정기기의 고장과 유지관리 등의 어려움으로 다양한 형태의 결측 자료가 발생하고 있다. 이와 더불어 수문 및 수질자료는 시공간적 변동성이 크며 비선형성이 강한 특성을 갖고 있다. 이러한 수문 및 수질 자료를 이용하여 모형을 구축할 경우 다양한 형태의 잡음에 대한 검증 및 잡음저감이 필수적 요건이라 할 수 있다. 따라서 본 연구에서는 영산강 유역의 본류부를 대표하는 나주지점에 대한 유출량과 총유기탄소(TOC) 농도 및 TOC 부하량 예측모형을 개발하였으며, 이를 위한 방법으로는 잡음저감을 위하여 웨이블렛 변환과 인공신경망을 적용하였다. TOC 부하량 자료는 유출량과 TOC 자료간의 함수로서 표현이 가능함에 따라 유출량 및 TOC 자료가 결측되었을 경우 역함수에 의한 계산으로 결측 자료에 대한 보간이 가능하다. 따라서 본 연구의 주안점은 잠음 저감 및 인공신경망에 의해 최적화된 예측 모형이 결측된 유출량과 TOC 자료에 대한 역함수로 정도있는 유출량과 TOC 자료 생성 가능성을 검토하고자 한다. 본 연구의 적용 결과, 유출량 자료가 결측되었을 경우 TOC 및 TOC 부하량 예측으로 유출량 자료에 대한 간접추정 및 결측 자료에 대한 보간의 정도를 평가한 결과 $R^2$는 0.99 이상의 값을 보였다. 또한, TOC 자료가 결측되었을 경우 역시 $R^2$는 비교적 우수한 0.97 이상의 값을 보였다. 따라서 본 연구에서 개발한 유출량 및 TOC, TOC 부하량 예측모형의 개발은 정도있는 유출량 및 TOC 수질 자료의 생성이 가능할 것으로 기대된다.한 물순환 해석을 할 수 있는 기반을 확보 하였으며, 가용한 장 단기간의 관측자료와 물수지 분석 연산식의 추정치를 바탕으로 관측자료에 의한 물수지 분석을 수행하였다. 분석 결과로 산지 소하천 유역인 설마천 시험유역의 각 수문요소의 물이동간의 정량적인 값을 알 수가 있었으며, 앞으로 추가적이고 지속적인 수문모니터링이 운영되고 물순환 해석 모형에 의한 검증이 수행된다면 정량적인 물순환 관계를 규명할 수 있을 뿐만 아니라 이와 관련된 수문요소기술을 확보할 수 있을 것이다.절한 타협과 조정을 필요로 한다. 그러나 절제의 한계를 넘어선다고 생각되거나, 조정의 노력이 불가능하거나, 실패했을 때 폭력적인 행동으로 나타나게 된다. 리차즈(I.A Richards)는 분노와 공포는 일단 겉잡을 수 없는 경향이 있다고 하면서 오늘날 폭력에 대한 요구가 일상의 정서 생활에 있어, 억압을 통한, 빈곤함을 반영하고 있지 않은지 생각해봐야 할 것이라고 충고한다. 조성 가이드라인(안)을 제시하였다.EX>$\ulcorner$세종실록$\lrcorner$(世宗實錄) $\ulcorner$지리지$\lrcorner$(地理志)와의 비교를 해보면 상 중 하품의 통합 9개소가 삭제되어 있고, $\ulcorner$동국여지승람$\lrcorner$(東國與地勝覽) 에서는 자기소와 도기소의 위치가 완전히 삭제되어 있다. 이러한 현상은 첫째, 15세기 중엽 경제적 태평과 함께 백자의 수요 생산이 증가하자 군신의 변별(辨別)과 사치를 이유로 강력하게 규제하여 백자의 확대와 발전에 걸림돌이 되었다. 둘째, 동기(銅器)의 대체품으로 자기를 만들어 충당해야할 강제성 당위성 상실로 인한 자기수요 감

  • PDF

영종도 112블록 AMI 물 수요량 결측 자료 보정기법 연구 (A Study on Missing Data Imputation for Water Demand in 112 Block of Yoengjong Island, Korea)

  • 구강민;한국헌;염경택;전경수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.3-3
    • /
    • 2019
  • 최근 기후변화로 인한 집중호우, 가뭄 등 예측하기 어려운 사태가 발생하면서 깨끗하고 안정적인 용수공급 기술의 필요성이 대두되고 있다. 이에 IoT와 기존 물관리시스템을 결합한 스마트워터그리드 출범은 실시간으로 수요와 공급량의 정보를 취득하여 물 관리 효율성을 제고 할 수 있게 되었다. 실시간 수요량 자료를 이용하여 물 수요량 예측을 통한 최적의 물 공급량을 결정할 수 있다. 이 때 스마트워터그리드의 핵심 기술은 실시간으로 취득한 자료의 품질관리라 할 수 있다. 본 연구 대상지역인 영종도 112 블록에는 528개 AMI 스마트 미터를 이용하여 1시간 단위의 물 수요량 자료를 원격 검침하고 있다. 각 수용가에 설치된 AMI 센서를 통해 수집된 자료에는 오류를 포함할 수 있는데 통신 장애, 미터기 고장 및 교체 등으로 발생된다. 결측된 수요량 자료는 상수관망 수리해석에 사용되는 기본자료로서 비표본오차를 증가시켜 검정력과 정확성을 결여시키는 문제가 있다. 이에 본 연구에서는 수집된 자료를 가용할 수 있는 자료로 정제하고 대체하기 위해 완전히 관찰된 자료(complete data)만을 이용하여 각 시간에 따른 관경별, 용도별 그리고 요일별 수요패턴을 추정한다. 결측된 자료는 기존에 사용되는 평균대체법과 핫덱 대체(hot deck imputation) 등과 비교 검증한다.

  • PDF