• 제목/요약/키워드: 결측

검색결과 429건 처리시간 0.025초

불완비 데이터에서 분류 나무의 구축

  • 우주성;김규성
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2001년도 추계학술발표회 논문집
    • /
    • pp.105-108
    • /
    • 2001
  • 본 논문에서는 결측치가 있는 불완비 데이터에서 분류나루를 구축하는 방법을 고찰하였다. 기존의 결측치 처리 방법인 대리 분리 방법의 대안으로 대체 방법으로 결측치를 처리한 후 분류나무를 구축하는 방법을 제안하였다.

  • PDF

도시하천 소배수구역의 결측 강우량 산정 방법 비교 (Comparison of Estimation Methods for the Missing Rainfall data in a Urban Sub-drainage Area)

  • 김충수;김형섭
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2006년도 학술발표회 논문집
    • /
    • pp.701-705
    • /
    • 2006
  • 강우자료는 수문 모델링 작업에서 가장 기초적인 수문학적 입력자료로 시간과 공간에 따른 변동성이 크므로 규명하기 복잡한 수문현상 중의 하나이다. 산악지역이 많은 우리나라의 지형학적 특성과 태풍, 장마 및 특히, 최근의 게릴라성 집중호우 등으로 인하여 이러한 변동성이 더욱 커지고 있는 실정이다. 장기간 실측된 수문기상 기초 자료가 부족한 우리나라의 실정상 홍수예보 및 수공구조물 설계를 위해 정확한 강우량 자료의 취득이 선행돼야 한다. 따라서 적절한 장소에 수문관측소 설치 및 관리를 통해 양호한 강우량 자료를 획득해야 하지만, 현장 여건상 등의 이유로 미계측 및 결측, 이상자료가 발생하고 있다. 따라서 이러한 미계측 혹은 결측지점의 우량을 추정할 수 있는 방법을 비교, 분석하여 적절한 보정과정을 수행할 필요가 있다. 그간의 연구에서는 미계측 지점 혹은 산악지역에서의 점 강우량 보정방법에 대한 연구가 진행되었지만, 본 연구에서는 '도시홍수재해관리기술연구사업단'에서 운영 중인 도시하천 유역 특히 소배수구역에서의 결측 자료에 대해 여러 추정 방법을 비교, 분석하여 적절한 방안을 찾고자 한다. 이를 위하여 중랑천 유역의 3개 소배수 구역(월계1 배수구역, 군자 배수구역, 어린이대공원 배수구역)에 설치된 3개 우량관측소와 건설교통부 관할 우량관측소 2개소의 우량자료를 사용하였다. 본 연구에서는 결측치 보간을 위하여 널리 이용되고 있는 산술평균법(Arithmetic Average method), 역거리법(Reciprocal Distance Squared method), 거리고도비율법(Ratio of Distance and Elevation method), 인근관측소와의 관계식 이용, 크리깅방법(Simple Kriging method)을 비교, 검토 적용하였다. 중랑천 유역의 소배수구역을 대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.

  • PDF

일반국토 상시 교통량자료를 이용한 교통량 결측자료 추정 (Missing Data Imputation Using Permanent Traffic Counts on National Highways)

  • 하정아;박재화;김성현
    • 대한교통학회지
    • /
    • 제25권1호
    • /
    • pp.121-132
    • /
    • 2007
  • 일반국도의 상시조사 자료는 교통량 조사 장비를 통해 수집되며, 수집된 자료가 누락되거나 불량일 경우 통계자료의 객관성을 유지하기 위해서 보정을 해야 한다. 교통량 결측 자료의 보정을 통계적인 방법으로 접근하여 신뢰성을 높이고자 본 연구에서는 보정 대상 시간과 동일시간의 자료를 적용할 수 있는 자기회귀분석과 보정 대상 지점과 동일 지점의 자료를 적용할 수 있는 계절 시계열 분석을 이용하여 보정하는 방안을 제시하였다. 계절 시계열 분석을 적용하여 결측 자료를 보정한 결과, 결측 기간이 길어질수록 오차가 커지는 것으로 분석되었다. 이것은 단기예측의 경우 실제자료를 이용하여 예측 값을 제시하지만, 장기예측의 경우 예측된 자료를 이용하여 예측값을 제시하기 때문에 신뢰성이 떨어지기 때문이라 판단된다. 자기회귀분석을 적용하여 결측 자료를 보정한 결과, 시계열분석에 비해서 오차가 적은 것으로 분석되었다. 이것은 교통량자료는 과거 패턴보다 현재 시점의 영향을 더 많이 받는 것이기 때문이라 판단된다 하지만 자기회귀분석은 인근에 패턴이 유사한 지점이 있어야 가능하며, 인근에 유사한 지점이 있더라도 그 지점의 자료가 불량일 경우 보정이 불가능하다는 단점이 있다. 이러한 경우에는 과거자료를 이용해서 보정할 수밖에 없으며, 단기 결측의 경우에는 시계열분석을 이용할 수 있다.

범주형 자료의 결측치 추정방법 성능 비교 (Comparing Accuracy of Imputation Methods for Categorical Incomplete Data)

  • 신형원;손소영
    • 응용통계연구
    • /
    • 제15권1호
    • /
    • pp.33-43
    • /
    • 2002
  • 범주형 데이터의 결측치 추정을 위하여 최빈 범주법, 로지스틱 회귀분석, 연관규칙과 같은 다양한 방법이 연구되어 왔다. 본 연구에서는 이러한 방법의 추정 값을 결합하는 신경망 융합과 투표융합 방법을 제안하고 이의 성능을 시뮬레이션을 이용하여 비교하였다. 실험에 사용된 데이터의 특성을 나타내는 인자로는 (1) 입출력 변수간의 연결함수, (2) 데이터의 크기, (3) 노이즈의 크기 (4) 결측치의 비율, (5) 결측발생 함수를 사용하였다. 분석결과는 다음과 같다. 데이터의 크기가 작고 결측 발생 비율이 높으면 최빈 범주법, 연관규칙, 신경망 융합의 성능이 높게 나타났으며 데이터의 크기가 작고 결측발생 확률이 결측이 안된 나머지 변수에 높은 의존관계가 있으면 로지스틱 회귀분석, 신경망 융합의 성능이 높게 나타났다. 데이터의 크기가 크고, 결측치의 비율이 낮으면서, 노이즈가 크고 결측발생 확률이 결측이 안된 나머지 변수에 높은 의존관계가 있으면 신경망 융합의 성능이 높게 나타났다.

강우기간의 토양수분량 결측값 보간방법 평가 - 누적분포함수를 이용한 결측 보간 (Evaluation of Gapfilling Method of Missing Soil Moisture Values during Rainfall Period - Gapfilling Method Based on Culmulative Distribution Function)

  • 이용준;김기영
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.299-299
    • /
    • 2023
  • 토양수분(soil moisture)은 수문인자의 하나로서 토양 내에 함유된 물의 양을 의미하며, 그 총량은 미미하지만 대기와 지표면 사이에서 일어나는 복잡한 물순환과 에너지 교환을 이해하는데 있어 필수적이다. 현재 국내에서는 「수자원의 조사·계획 및 관리에 관한 법률」(이하 수자원법)에 근거해 토양수분량 관측이 이루어지고 있으며, 수자원 분야의 한국수자원조사기술원 외에도 농업, 임업 분야에서도 다양한 기관에서 지상관측소를 구축해 토양수분량을 측정하고 있다. 국내 지상관측소에서는 주로 지점규모(point scale)로 토양수분량을 관측하는 장비가 사용되고 있으며, 유전율식 장비인 TDR(Time Domain Reflectometry), FDR(Frequency Domain Reflectometry)이나 토양수분장력을 측정하는 장력계(Tensiometer)가 널리 쓰이고 있다. 수자원분야에서는 토양 내 수분의 양을 직관적으로 확인할 수 있는 유전율식 장비가 대중적으로 사용되고 있으며, 최근에는 우주선(Cosmic-Ray)으로부터 발생하는 고속중성자(Fast Neutron)를 통해 중규모 면단위(field scale) 토양수분량을 관측하는 장비인 CRNP(Cosmic-Ray Neutron Probe)에 대한 연구도 활발히 진행되고 있다. 이러한 장비는 주로 야외에 설치해 운영하고 있기 때문에 장비 훼손이나 전원공급의 어려움으로 결측이나 오측이 발생할 수 있다. 토양수분량 시계열자료의 결측이나 오측이 일반적인 감쇄기에 발생했다면 선형보간법으로도 간단히 보간할 수 있지만, 강우에 의한 상승기에 발생했다면 해당 강우사상에서의 토양수분량의 상한치를 알기 어려워 결측보간에 어려움이 있다. 본 연구에서는 토양수분량 시계열자료의 강우기간 결측을 보간하는 방법으로 누적분포함수 역변환 샘플링방법을 선택하였다. 연구에는 음성군(차곡리) 토양수분량 관측소 2021년 자료가 사용되었으며, 관측소 56개 지점 중 임의의 지점에 결측구간을 생성한 뒤 해당 지점과의 상관계수가 높은 지점의 누적분포함수를 이용해 역변환 샘플링 방식으로 임의 지점의 결측을 보간하고 그 결과를 기존값과 비교해 보간 방법의 정확도를 평가하였다.

  • PDF

차량 검지자료 결측 보정처리에 관한 연구 (이력자료 활용방안을 중심으로) (A Study on the Imputation for Missing Data in Dual-loop Vehicle Detector System)

  • 김정연;이영인;백승걸;남궁성
    • 대한교통학회지
    • /
    • 제24권7호
    • /
    • pp.27-40
    • /
    • 2006
  • 교통정보는 운영 중인 VDS(Vehicle Detector System)를 통해 수집된 교통량, 속도, 점유율 자료를 바탕으로 가공되어 제공된다. 수집된 자료의 응용범위와 이용자 및 활용분야는 점점 증가하는 추세에 있다. 수집된 차량 검지자료 내의 결측자료는 대상의 속성을 포함하지 않은 채 전송되는 일련의 빈 데이터를 말한다. 결측자료는 속성 값을 갖고 있지 않은 관계로 데이터가공 처리대상에서 제외된다. 결국 수집 데이터 내의 결측자료의 비율이 증가할수록 해당 지점의 교통상황을 반영하는데 있어 신뢰성이 결여되는 문제점을 갖게 된다. 본 연구에서는 결측자료에 대해 인접지점 참조방식과 이력자료를 활용한 방법론을 적용한 보정처리 결과를 제시하였다 현재 운영 중인 서해안/경부고속도로의 VDS 자료에 임의의 결측자료 비율을 처리 후 보정처리 방법론을 적용하였다. 보정단위는 차로단위-30초 주기로 수행하였으며 오전/오후/일단위로 구분하여 원데이터 대비 보정된 값의 오차를 분석하였다. 분석결과 인접지점 참조방식에 비해 이력자료를 활용한 보정처리 방법이 원데이터에 가까운 값을 도출하는 것을 알 수 있었다.

유출량, 수질 농도 및 부하량의 상호관계를 이용한 자료보간 방법에 관한 연구 (Study on the Method for Data Interpolation using the Correlation among Runoff, Water Quality Concentration and Load)

  • 오창열;정우철;진영훈;박성천
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.1474-1478
    • /
    • 2007
  • 수문 및 수질자료는 일정한 기준에 의한 관측치를 시계열 자료로 기록하거나 전송할 때 다양한 형태의 오차가 발생하게 되며 또한 수문 및 수질자료를 관측하는 측정기기의 고장과 유지관리 등의 어려움으로 다양한 형태의 결측 자료가 발생하고 있다. 이와 더불어 수문 및 수질자료는 시공간적 변동성이 크며 비선형성이 강한 특성을 갖고 있다. 이러한 수문 및 수질 자료를 이용하여 모형을 구축할 경우 다양한 형태의 잡음에 대한 검증 및 잡음저감이 필수적 요건이라 할 수 있다. 따라서 본 연구에서는 영산강 유역의 본류부를 대표하는 나주지점에 대한 유출량과 총유기탄소(TOC) 농도 및 TOC 부하량 예측모형을 개발하였으며, 이를 위한 방법으로는 잡음저감을 위하여 웨이블렛 변환과 인공신경망을 적용하였다. TOC 부하량 자료는 유출량과 TOC 자료간의 함수로서 표현이 가능함에 따라 유출량 및 TOC 자료가 결측되었을 경우 역함수에 의한 계산으로 결측 자료에 대한 보간이 가능하다. 따라서 본 연구의 주안점은 잠음 저감 및 인공신경망에 의해 최적화된 예측 모형이 결측된 유출량과 TOC 자료에 대한 역함수로 정도있는 유출량과 TOC 자료 생성 가능성을 검토하고자 한다. 본 연구의 적용 결과, 유출량 자료가 결측되었을 경우 TOC 및 TOC 부하량 예측으로 유출량 자료에 대한 간접추정 및 결측 자료에 대한 보간의 정도를 평가한 결과 $R^2$는 0.99 이상의 값을 보였다. 또한, TOC 자료가 결측되었을 경우 역시 $R^2$는 비교적 우수한 0.97 이상의 값을 보였다. 따라서 본 연구에서 개발한 유출량 및 TOC, TOC 부하량 예측모형의 개발은 정도있는 유출량 및 TOC 수질 자료의 생성이 가능할 것으로 기대된다.한 물순환 해석을 할 수 있는 기반을 확보 하였으며, 가용한 장 단기간의 관측자료와 물수지 분석 연산식의 추정치를 바탕으로 관측자료에 의한 물수지 분석을 수행하였다. 분석 결과로 산지 소하천 유역인 설마천 시험유역의 각 수문요소의 물이동간의 정량적인 값을 알 수가 있었으며, 앞으로 추가적이고 지속적인 수문모니터링이 운영되고 물순환 해석 모형에 의한 검증이 수행된다면 정량적인 물순환 관계를 규명할 수 있을 뿐만 아니라 이와 관련된 수문요소기술을 확보할 수 있을 것이다.절한 타협과 조정을 필요로 한다. 그러나 절제의 한계를 넘어선다고 생각되거나, 조정의 노력이 불가능하거나, 실패했을 때 폭력적인 행동으로 나타나게 된다. 리차즈(I.A Richards)는 분노와 공포는 일단 겉잡을 수 없는 경향이 있다고 하면서 오늘날 폭력에 대한 요구가 일상의 정서 생활에 있어, 억압을 통한, 빈곤함을 반영하고 있지 않은지 생각해봐야 할 것이라고 충고한다. 조성 가이드라인(안)을 제시하였다.EX>$\ulcorner$세종실록$\lrcorner$(世宗實錄) $\ulcorner$지리지$\lrcorner$(地理志)와의 비교를 해보면 상 중 하품의 통합 9개소가 삭제되어 있고, $\ulcorner$동국여지승람$\lrcorner$(東國與地勝覽) 에서는 자기소와 도기소의 위치가 완전히 삭제되어 있다. 이러한 현상은 첫째, 15세기 중엽 경제적 태평과 함께 백자의 수요 생산이 증가하자 군신의 변별(辨別)과 사치를 이유로 강력하게 규제하여 백자의 확대와 발전에 걸림돌이 되었다. 둘째, 동기(銅器)의 대체품으로 자기를 만들어 충당해야할 강제성 당위성 상실로 인한 자기수요 감

  • PDF

수질자료 결측구간의 오염부하 추정기법 비교평가 (Comparative Evaluation of the Pollutant Load Estimation Method in the Water Quality Data Missing Intervals)

  • 조범준;조홍연;강성현
    • 한국해안해양공학회지
    • /
    • 제19권1호
    • /
    • pp.45-56
    • /
    • 2007
  • 수량 및 수질자료, 특히 수질자료가 없는 구간에서의 직접계산에 의한 오염부하 산정은 불가능하기 때문에 적절한 방법을 이용하여 결측구간의 자료를 보완(data filling)하여 계산하는 추정과정을 필요로 한다. 본 연구에서는 수질자료가 없는 구간, 즉 수질 결측구간에서 오염부하량을 산정하기 위한 다양한 농도 추정방법을 제시하고, 제시된 방법을 이용하여 추정된 농도변화 양상 분석 및 오염부하 변동양상을 비교 분석하여 보다 효과적이고, 효율적인 추정방법을 최종 제안하였다. 또한, 오염부하에 영향을 미치는 수량 및 수질인자의 상대적인 중요성과 연안 하천의 오염부하 특성을 구분할 수 있는 영향인자를 제시하였다. 수질자료 결측구간의 다양한 농도 추정방법을 이용하여 한강하구의 오염부하를 산정한 결과, 결측구간을 제외하고 추정한 오염부하는 매우 낮은 비현실적인 결과를 제시하였으며, 가용자료의 변동성을 고려한 선형내삽법이 가장 적합한 방법으로 파악되었다. 또한, 한강하구의 오염부하양상은 수량주도형으로 판단되었으며, 결측구간의 농도추정은 불가피한 과정으로 적절한 추정방법을 이용하는 것이 보다 바람직한 것으로 파악되었다.

결측 공변량을 갖는 혼합회귀모형에서의 EM 알고리즘 (The EM algorithm for mixture regression with missing covariates)

  • 김형민;함건희;서병태
    • 응용통계연구
    • /
    • 제29권7호
    • /
    • pp.1347-1359
    • /
    • 2016
  • 혼합회귀모형은 반응 변수와 공변량 사이의 관계를 규명하는 유용한 통계적 모형으로 여러 분야에서 사용되어지고 있다. 하지만 실제로 혼합회귀모형을 이용하여 분석을 하는 과정에서 공변량이 결측값을 포함하는 문제는 흔하게 발생하며, 발생하는 결측의 유형 또한 다양하게 나타난다. 이러한 경우에 있어서 본 논문에서는 최대우도추정량을 구하기 위한 EM 알고리즘을 제안하고자 한다. 제안된 EM 알고리즘의 효용성을 모의실험을 통해 확인하였으며 또한 사례연구를 통해 제시된 방법이 어떻게 사용될수 있는지와 그 효용성을 함께 확인하였다.