• 제목/요약/키워드: 결측자료 생성

검색결과 26건 처리시간 0.03초

Imputation Method를 활용한 수문 결측자료의 보정 (Filling in Hydrological Missing Data Using Imputation Methods)

  • 강태호;홍일표;김영오
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2009년도 학술발표회 초록집
    • /
    • pp.1254-1259
    • /
    • 2009
  • 과거 관측된 수문자료는 분석을 통해 다양한 수문모형의 평가 및 예측과 수자원 정책결정에서 활용된다. 하지만 관측장비의 오작동 및 관측범위의 한계에 의해 수집된 자료에는 결측이 존재한다. 단순히 결측이 존재하는 벡터를 제외하거나, 결측이 존재하는 자료 구간에 선형성이 존재한다는 가정 하에 평균을 활용하기도 했으나, 이로 인하여 자료의 통계특성에 왜곡이 야기될 수 있다. 본 연구는 결측의 보정으로 자료가 보유하는 정보의 손실 및 왜곡을 최소화 할 수 있는 방안을 연구하고자 한다. 자료의 결측은 크게 완벽한 무작위 결측(missing completely at random, MCAR), 무작위 결측(missing at random, MAR), 무작위성이 없는 결측(nonrandom missingness)으로 분류되며, 수문자료는 결측을 포함한 기간이 그 외 기간의 자료와 통계적으로 동일하지는 않지만 결측자료의 추정이 가능한 MAR에 속하는 것이 일반적이므로 이를 가정으로 결측을 보정하였다. Local Lest Squares Imputation(LLSimput)을 결측의 추정을 위해 사용하였으며, 기존에 쉽게 사용되던 선형보간법과 비교하였다. 적용성 평가를 위해 소양강댐 일 유입량 자료에 1 - 5 %의 결측자료를 임의로 생성하였다. 동일한 양의 결측자료에 대해 100개의 셋을 사용하여 보정의 불확실성 범위를 적용된 방법에 대해 비교..평가하였으며, 결측 증가에 따른 보정효과의 변화를 검토하였다. Normalized Root Mean Squared Error(NRMSE)를 사용하여 적용된 두 방법을 평가한 결과, (1) 결측자료의 비가 낮을수록 간단한 선형보간법을 사용한 보정이 효과적이었다. (2) 하지만 결측의 비가 증가할수록 선형보간법의 보정효과는 점차 큰 불확실성과 낮은 보정효과를 보인 반면, (3) LLSimpute는 결측의 증가에 관계없이 일정한 보정효과 및 불확실성 범위를 나타내는 것으로 드러났다.

  • PDF

수문관측기기 호우피해에 따른 결측자료의 생성 (The Formation of Missing Data through Heavy Rain Damage of the Hydrological Gauging Instrument)

  • 김동필;이동률
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2012년도 학술발표회
    • /
    • pp.305-309
    • /
    • 2012
  • 한국건설기술연구원의 주요사업인 "산지하천 유역의 홍수예측을 위한 수문조사(2011~2015년)"의 Test-bed 유역중의 하나인 설마천 유역(경기도 파주시 적성면)의 중류부에 위치한 사방교 수위관측소는 2011년 7월 중부지방의 집중호우에 의해 수위관측소가 유실되는 초유의 사태가 발생한 바 있다. 이에 따라 수위관측기기와 부대시설물이 모두 피해를 입었으며, 그 이후 수위관측소 운영이 중단되었다. 다만 유역출구인 전적비교 수위관측소는 일부분 피해가 있었으나, 정상적인 기능을 유지하여 결측이 없는 운영이 이루어졌다. 2011년 사방교 수위관측소의 수위관측 자료는 호우피해 발생 이전 관측자료 수집이 이루어진 2011년 7월 8일 13:30분까지 자료가 있으며, 그 이후는 호우피해에 의한 관측기기의 유실로 모두 결측이다. 따라서 본 연구는 2011년 7월 8일 13:30분 이후 관측이 이루어지지 못한 사방교 수위관측소의 유량자료를 모의 생성한 후 유역출구인 전적비교 수위관측소의 유량자료와 상 하류 유량 및 유출률 검토를 통하여 미관측기간의 결측자료를 최종 생성하였다. 최종 모의 생성된 유량자료는 2011년 이전의 유역의 수문학적 특성과 매우 유사한 경향을 보이므로 모의 생성된 결과는 매우 양호한 것으로 판단된다. 이러한 결과는 설마천 유역의 지속적인 운영과 아울러 6개 우량관측소의 우량자료와(2011년 7월 집중호우에 의해 1개 우량관측소 유실 발생), 유역출구인 전적비교 수위관측소의 신뢰성 높은 수위, 유량자료가 있었기에 가능한 일이다. 설마천 유역 수문자료는 홈페이지(http://seolmacheon.kict.re.kr)와 동시에 운영되는 '설마천-차탄천 수문정보시스템'을 통해 유역정보 및 자료를 저장하고 있으며, 제공을 통해 자료를 공유하고 있다.

  • PDF

SOLAS를 이용한 결측자료의 다중대치법

  • 김현정;문승호;신재경
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 한국데이터정보과학회 2003년도 춘계학술대회
    • /
    • pp.145-158
    • /
    • 2003
  • 불완전 데이터 즉, 결측값을 가지는 데이터를 분석할 경우 결측데이터에 대해서 어떠한 처리를 해야할 필요가 있다. 결측데이터에 대한 처리로서 주로 이용되어온 방법으로는 결측값을 포함한 관측값(case)을 제외하는 방법이었다. 이후 여러 방법들이 제안되어 EM알고리즘이나 회귀알고리즘에 의한 추정을 바탕으로 결측값에 대한 추정을 해서 그 추정값으로 결측값을 대치하는 방법을 사용할 수 있게되었다. 본 논문에서는 복수 개의 데이터세트를 생성해서 대치하는 다중대입 소프트인 SOLAS를 소개한다.

  • PDF

기후변화 시나리오 자료의 통계적 상세화를 위한 결측자료 보정 기법 개발 (Development of gap filling technique for statistical downscaling of cimate change scenario data)

  • 조재필;김광형;박지훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.16-16
    • /
    • 2019
  • 기후변화 시나리오 및 계절예측 자료를 포함한 기후정보를 수자원 분야에 활용하기 위해서는 기후정보의 시 공간적인 상세화(donwscaling)을 필요로 한다. 상세화의 경우 역학적 상세화와 통계학적 상세화로 구분될 수 있으며, 통계학적 상세화를 위해서는 대상 지역의 기후특성을 대표할 수 있는 장기 관측 자료의 확보가 중요하다. 국내의 경우에는 자동기상관측장비(Automatic Weather System, AWS)와 종관기상관측장비(Automatic Synoptic Observation System, ASOS)로 부터 수집된 기상관측자료를 사용할 수 있으나 기후변화 시나리오의 통계적 상세화를 위해서는 30년 이상의 자료 기간을 포함하는 ASOS 자료가 적합하다. 하지만 개발도상국과 같이 기상관측기반이 열악한 지역에서는 잦은 결측 등으로 인하여 품질이 좋은 관측자료의 획득이 어려운 상황이다. 따라서 본 연구에서는 측이 포함된 장기 기상관측 자료로부터 대상 지역의 기후특성을 재현할 수 있도록 기본적인 QC(Quality Control)을 거쳐 결측 자료를 보완할 수 있는 기법 및 R 기반패키지를 개발하여 적용성을 평가하였다. 개발된 기법의 적용성 평가를 위해서 기상청에서 QC를 통해 제공하고 있는 60개 ASOS 지점의 관측자료 중 강수량과 기온 변수를 사용하였다. 최대 50%까지의 현실적인 결측 패턴을 임의로 생성하기 위해 실제 개발도상국 관측자료의 일단위 결측 패턴을 이용하였다. 자료의 QC는 관측일 누락/중복 및 문자형 관측값 등 기본적인 오류 검사, 기온의 경우 물리적 허용 범위에 대한 검사, 최고기온과 최저기온의 비교 및 계측기 오작동에 의한 동일한 값의 반복 등을 포함한 내적 일치성 검사를 우선적으로 수행한다. 이후 결측값에 대해서 인근 기상관측소와의 상관성 분석 결과를 기반으로 결측값을 채우고, 최종적으로는 다양한 위성자료 및 재분석 자료 중에서 일단위 기후특성의 재현성 평가를 통해 선정된 격자형 자료와의 상관성 분석 결과를 기반으로 결측값을 보정하였다. 기온의 경우는 결측률이 높더라도 월평균 기후특성에 큰 영향을 미치지 않았지만 강수의 경우에는 5% 이상의 결측이 발생하는 경우 월평균 강수량에 영향을 미쳐 지역의 강수량을 과소 추정하는 결과를 보였다. 개발된 QC 기법을 강수 자료에 적용한 결과 월평균 기후특성을 잘 복원하는 결과를 보였지만, 일단위 강우 사상의 재현에 있어서는 미흡한 결과를 보였다.

  • PDF

딥러닝 분석을 위한 수문시계열 입력자료 구성 기법 개발 (Development of a method for constructing hydrological time series input data for deep learning analysis)

  • 육지문;조혜린;박찬호;문수진;문영일
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.349-349
    • /
    • 2021
  • 일반적인 도시홍수모형은 수리-수문모형을 기반으로 한 홍수위 모형을 사용하고 있으나 강우사상이나 물리적 조건에 따라 모의시간의 변화가 있으며 경우에 따라서는 긴 모의시간이 소요된다. 알파고 이후 큰 관심을 갖게된 딥러닝을 이용한 데이터기반의 모의를 통해 수자원 부분에 적용하여 수위 예측을 진행하였다. 본 연구에서는 딥러닝을 이용하여 관측자료기반의 수위예측 연구를 수행하였다. 대상유역은 중랑천 유역으로 선정하였으며 2015년 ~ 2020년 사이의 10분단위 강우, 수위자료를 이용하였다. 지방자치단체에서 제공하는 강우, 수위자료의 경우 결측자료 또는 이상자료에 대한 보정이 미흡하여 기계학습을 통합 분석자료로 활용하는데 어려움이 있다. 이에, 결측 및 이상자료가 포함된 자료로부터 인위적으로 교란된 데이터 및 결측구간을 삭제한 데이터를 생성하여 자료의 시계열성을 제거하고, 딥러닝을 통한 수위 예측 결과를 정상 데이터를 적용한 결과와 비교하였다. 사용된 딥러닝 모형은 시계열 데이터 예측에 우수한성능을 보이는 LSTM모형과 GRU모형을 이용하였으며 RMSE, NSE를 이용하여 평가하였다. 본 연구에서는 결측자료 및 이상자료가 포함된 수문자료를 자료의 시계열성 제거를 통해 딥러닝 분석 입력자료 구성하기 위한 방안을 제시하였다.

  • PDF

유출량, 수질 농도 및 부하량의 상호관계를 이용한 자료보간 방법에 관한 연구 (Study on the Method for Data Interpolation using the Correlation among Runoff, Water Quality Concentration and Load)

  • 오창열;정우철;진영훈;박성천
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.1474-1478
    • /
    • 2007
  • 수문 및 수질자료는 일정한 기준에 의한 관측치를 시계열 자료로 기록하거나 전송할 때 다양한 형태의 오차가 발생하게 되며 또한 수문 및 수질자료를 관측하는 측정기기의 고장과 유지관리 등의 어려움으로 다양한 형태의 결측 자료가 발생하고 있다. 이와 더불어 수문 및 수질자료는 시공간적 변동성이 크며 비선형성이 강한 특성을 갖고 있다. 이러한 수문 및 수질 자료를 이용하여 모형을 구축할 경우 다양한 형태의 잡음에 대한 검증 및 잡음저감이 필수적 요건이라 할 수 있다. 따라서 본 연구에서는 영산강 유역의 본류부를 대표하는 나주지점에 대한 유출량과 총유기탄소(TOC) 농도 및 TOC 부하량 예측모형을 개발하였으며, 이를 위한 방법으로는 잡음저감을 위하여 웨이블렛 변환과 인공신경망을 적용하였다. TOC 부하량 자료는 유출량과 TOC 자료간의 함수로서 표현이 가능함에 따라 유출량 및 TOC 자료가 결측되었을 경우 역함수에 의한 계산으로 결측 자료에 대한 보간이 가능하다. 따라서 본 연구의 주안점은 잠음 저감 및 인공신경망에 의해 최적화된 예측 모형이 결측된 유출량과 TOC 자료에 대한 역함수로 정도있는 유출량과 TOC 자료 생성 가능성을 검토하고자 한다. 본 연구의 적용 결과, 유출량 자료가 결측되었을 경우 TOC 및 TOC 부하량 예측으로 유출량 자료에 대한 간접추정 및 결측 자료에 대한 보간의 정도를 평가한 결과 $R^2$는 0.99 이상의 값을 보였다. 또한, TOC 자료가 결측되었을 경우 역시 $R^2$는 비교적 우수한 0.97 이상의 값을 보였다. 따라서 본 연구에서 개발한 유출량 및 TOC, TOC 부하량 예측모형의 개발은 정도있는 유출량 및 TOC 수질 자료의 생성이 가능할 것으로 기대된다.한 물순환 해석을 할 수 있는 기반을 확보 하였으며, 가용한 장 단기간의 관측자료와 물수지 분석 연산식의 추정치를 바탕으로 관측자료에 의한 물수지 분석을 수행하였다. 분석 결과로 산지 소하천 유역인 설마천 시험유역의 각 수문요소의 물이동간의 정량적인 값을 알 수가 있었으며, 앞으로 추가적이고 지속적인 수문모니터링이 운영되고 물순환 해석 모형에 의한 검증이 수행된다면 정량적인 물순환 관계를 규명할 수 있을 뿐만 아니라 이와 관련된 수문요소기술을 확보할 수 있을 것이다.절한 타협과 조정을 필요로 한다. 그러나 절제의 한계를 넘어선다고 생각되거나, 조정의 노력이 불가능하거나, 실패했을 때 폭력적인 행동으로 나타나게 된다. 리차즈(I.A Richards)는 분노와 공포는 일단 겉잡을 수 없는 경향이 있다고 하면서 오늘날 폭력에 대한 요구가 일상의 정서 생활에 있어, 억압을 통한, 빈곤함을 반영하고 있지 않은지 생각해봐야 할 것이라고 충고한다. 조성 가이드라인(안)을 제시하였다.EX>$\ulcorner$세종실록$\lrcorner$(世宗實錄) $\ulcorner$지리지$\lrcorner$(地理志)와의 비교를 해보면 상 중 하품의 통합 9개소가 삭제되어 있고, $\ulcorner$동국여지승람$\lrcorner$(東國與地勝覽) 에서는 자기소와 도기소의 위치가 완전히 삭제되어 있다. 이러한 현상은 첫째, 15세기 중엽 경제적 태평과 함께 백자의 수요 생산이 증가하자 군신의 변별(辨別)과 사치를 이유로 강력하게 규제하여 백자의 확대와 발전에 걸림돌이 되었다. 둘째, 동기(銅器)의 대체품으로 자기를 만들어 충당해야할 강제성 당위성 상실로 인한 자기수요 감

  • PDF

대체방법별 GEE추정량 비교 (Comparison of GEE Estimators Using Imputation Methods)

  • 김동욱;노영화
    • 응용통계연구
    • /
    • 제16권2호
    • /
    • pp.407-426
    • /
    • 2003
  • 본 연구에서는 범주형 반복측정자료의 일반화추정방정식(GEE)모형에서 결측이 발생할 경우 결측값 대체(imputation)방법들에 대한 성능을 비교하고자 한다. 설명변수 X가 부분적으로 결측을 갖는 경우 GEE추정량을 계산할 수 없다. 본 논문에서는 시점에 따라 값이 변하는 설명변수에 결측이 있는 경우 GEE모형에서 결측값을 추정하는 7가지의 대체방법을 다루며, 실제자료와 모의실험을 통하여 대체방법별 GEE추정량의 성질을 연구한다. 대체방법별 GEE추정량의 성능을 비교하기 위해 우리는 반응변수가 범주형인 반복측정모형에서 완전자료의 GEE추정량과 완전자료에서 결측을 생성하여 결측값에 각 대체방법을 적용하여 대체한 후 구한 GEE추정량을 비교한다. 대체방법으로는 (1) 단순삭제 (2) 표본 평균대체 (3) 행 평균대체 (4) 횡 시점 회귀대체 (5) 이월대체 (6) 베이지안 붓스트랩 (7) 근사적 베이지안 붓스트랩에 대해서 살펴본다. 결측과정(missing mechanism)은 무시할 수 있는 무응답(ignorable nonresponse)을 가정하며, 결측 발생에 대해서는 원자료의 시점 무응답 패턴(wave nonresponse pattern)을 고려하여 발생시키거나 또는 시점 무응답 패턴을 고려하지 않고 단순임의추출로 결측을 발생시키는 방법을 각각 고려한다.

강우기간의 토양수분량 결측값 보간방법 평가 - 누적분포함수를 이용한 결측 보간 (Evaluation of Gapfilling Method of Missing Soil Moisture Values during Rainfall Period - Gapfilling Method Based on Culmulative Distribution Function)

  • 이용준;김기영
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.299-299
    • /
    • 2023
  • 토양수분(soil moisture)은 수문인자의 하나로서 토양 내에 함유된 물의 양을 의미하며, 그 총량은 미미하지만 대기와 지표면 사이에서 일어나는 복잡한 물순환과 에너지 교환을 이해하는데 있어 필수적이다. 현재 국내에서는 「수자원의 조사·계획 및 관리에 관한 법률」(이하 수자원법)에 근거해 토양수분량 관측이 이루어지고 있으며, 수자원 분야의 한국수자원조사기술원 외에도 농업, 임업 분야에서도 다양한 기관에서 지상관측소를 구축해 토양수분량을 측정하고 있다. 국내 지상관측소에서는 주로 지점규모(point scale)로 토양수분량을 관측하는 장비가 사용되고 있으며, 유전율식 장비인 TDR(Time Domain Reflectometry), FDR(Frequency Domain Reflectometry)이나 토양수분장력을 측정하는 장력계(Tensiometer)가 널리 쓰이고 있다. 수자원분야에서는 토양 내 수분의 양을 직관적으로 확인할 수 있는 유전율식 장비가 대중적으로 사용되고 있으며, 최근에는 우주선(Cosmic-Ray)으로부터 발생하는 고속중성자(Fast Neutron)를 통해 중규모 면단위(field scale) 토양수분량을 관측하는 장비인 CRNP(Cosmic-Ray Neutron Probe)에 대한 연구도 활발히 진행되고 있다. 이러한 장비는 주로 야외에 설치해 운영하고 있기 때문에 장비 훼손이나 전원공급의 어려움으로 결측이나 오측이 발생할 수 있다. 토양수분량 시계열자료의 결측이나 오측이 일반적인 감쇄기에 발생했다면 선형보간법으로도 간단히 보간할 수 있지만, 강우에 의한 상승기에 발생했다면 해당 강우사상에서의 토양수분량의 상한치를 알기 어려워 결측보간에 어려움이 있다. 본 연구에서는 토양수분량 시계열자료의 강우기간 결측을 보간하는 방법으로 누적분포함수 역변환 샘플링방법을 선택하였다. 연구에는 음성군(차곡리) 토양수분량 관측소 2021년 자료가 사용되었으며, 관측소 56개 지점 중 임의의 지점에 결측구간을 생성한 뒤 해당 지점과의 상관계수가 높은 지점의 누적분포함수를 이용해 역변환 샘플링 방식으로 임의 지점의 결측을 보간하고 그 결과를 기존값과 비교해 보간 방법의 정확도를 평가하였다.

  • PDF

2004년 설마천 시험유역의 운영 (A Study on the Operation of the Seolma-Cheon Experimental Catchment)

  • 김동필;정성원;김성훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2005년도 학술발표회 논문집
    • /
    • pp.689-693
    • /
    • 2005
  • 본 연구의 목적은 경기도 파주시 적성면 설마리에 위치한 설마천 시험유역을 대상으로 신뢰성 있는 수문자료를 지속적으로 수집하여 정화한 물 순환과정을 규명하는데 있다. 2004년 설마천 시험유역의 수문관측은 2003년보다 더욱 향상된 결과를 보였으며, 관측기기의 추가 설치, 실시간 전송장비의 보완 및 운영, 각 관측소당 2종 이상의 동시 관측자료 확보 등을 통해 자료의 결측을 최소화하였고 정화도를 개선하여 양질의 자료를 생성할 수 있었다. 관측된 우량과 수위 자료에 대해 일상적인 자료 검토 및 처리 과정을 보다 구체적으로 체계화하여 자료의 질적 향상을 꾀하였다. 특히 유량 측정 및 산정 방법을 국제 기준에 준하여 수행하고, 현장에서 실시간으로 관측자료의 분석 및 검증이 가능한 유량측정용 PDA 시스템을 활용함으로써 보다 정도높은 유량측정성과를 확보할 수 있었다.

  • PDF

2003년 설마천 시험유역의 운영 (A Study on the Operation of the Selma-Cheon Experimental Catchment)

  • 김동필;황석환;정성원;한명선
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2004년도 학술발표회
    • /
    • pp.573-577
    • /
    • 2004
  • 본 인구의 목적은 경기도 파주시 적성면 설마리에 위치한 설마천 시험유역을 내상으로 신뢰성 있는 수문 자료를 지속적으로 수집하여 정확한 수문순환과정을 파악하는데 있다. 2003년 설마천 시험유역의 수문관측은 예년보다 더욱 향상된 결과를 보였다. 노후화된 관측기기의 교체 및 추가 설치, 실시간 전송장비의 보완 및 운영, 각 관측소당 2벌 이상의 동시 관측자료 확보 등을 통해 자료의 결측을 최소화하였고 정확도를 개선하여 예년보다 양질의 자료를 생성할 수 있었다. 관측된 우량과 수위 자료에 내해 일상적인 자료 검토 및 처리 과정을 보다 구체적으로 체계화하여 자료의 질이 향상될 수 있도록 하였다. 특히 유량 측정 및 산정 방법을 국제 기준에 준하여 수행하고, 현장에서 실시간으로 계측자료의 분석 및 검증이 가능한 유량측정용 PDA 시스템을 개발함으로써 예년에 비해 보다 정도 높은 유량측정성과를 확보한 수 있었다.

  • PDF