• 제목/요약/키워드: 결측자료

검색결과 302건 처리시간 0.023초

결측되었거나 구간중도절단된 중간사건을 가진 준경쟁적위험 자료에 대한 가산위험모형 (Additive hazards models for interval-censored semi-competing risks data with missing intermediate events)

  • 김자연;김진흠
    • 응용통계연구
    • /
    • 제30권4호
    • /
    • pp.539-553
    • /
    • 2017
  • 본 논문에서는 사망과 같은 종말사건의 발생 유무는 알고 있지만 치매 발병과 같은 중간사건이 구간중도절단 되었거나 연구 기간 도중에 추적이 끊겨 결측된 준경쟁적위험 자료에 대해 다중상태모형을 적용하여 모수를 추정하는 방법을 제안하였다. 이를 위해 본 논문에서는 상태 간의 전이강도는 로그정규 프레일티를 랜덤효과로 가진 Lin과 Ying(1994)의 가산위험모형을 따른다고 가정하였다. 다섯 가지 상태를 가진 다중상태모형에서 가능한 여섯 가지 경로별로 조건부우도를 정의하였고, 주변우도를 구하기 위해 조정중요표본추출법을 적용하였으며 반복유사뉴튼 방법으로 최적해를 구하였다. 소표본 모의실험을 통해 모수의 95% 신뢰구간 포함률이 명목값에 얼마나 가까운지 살펴보았으며, 제안한 모형을 Persones $Ag{\acute{e}}es$ Quid (PAQUID) 자료 (Helmer 등, 2001)에 적용하고 그 결과를 해석하였다.

기상모델자료와 기계학습을 이용한 GK-2A/AMI Hourly AOD 산출물의 결측화소 복원 (Spatial Gap-filling of GK-2A/AMI Hourly AOD Products Using Meteorological Data and Machine Learning)

  • 윤유정;강종구;김근아;박강현;최소연;이양원
    • 대한원격탐사학회지
    • /
    • 제38권5_3호
    • /
    • pp.953-966
    • /
    • 2022
  • 에어로솔(aerosol)은 대기 질을 악화시키는 등 인체 건강에 악영향을 끼치므로 에어로솔의 분포 및 특성에 대한 정량적인 관측이 필수적이다. 최근 전 지구 규모에서의 주기적이고 정량적인 정보 획득 수단으로 위성관측 Aerosol Optical Depth (AOD) 영상이 다양한 연구에 활용되지만 광학센서 기반의 위성 AOD 영상은 구름 등의 조건을 가진 일부 지역에서 결측을 가진다. 이에 본 연구는 위성자료의 결측복원을 위하여 격자형 기상자료와 지리적 요소를 입력변수로 하여 Random Forest (RF) 기반 gap-filling 모델을 생성한 이후, gap-free GK-2A/AMI AOD hourly 영상을 산출하였다. 모델의 정확도는 -0.002의 Mean Bias Error (MBE), 0.145의 Root Mean Square Error (RMSE)로, 원자료의 목표 정확도보다 높으며 상관계수 0.714로 복원 대상이 대기변수인 점을 감안하면 상관계수 측면에서도 충분한 설명력을 갖춘 모델이다. 정지궤도 위성의 높은 시간 해상도는 일변화 관측에 적합하며 대기보정을 위한 입력, 지상 미세먼지 농도 추정, 소규모 화재 또는 오염원 분석 등 타 연구를 위한 자료 활용 측면에서 중요하다.

우리나라 2차원 토양수분 자료의 생산과 시.공간 변화도 분석 (Analysis of Temporal and Spatial Variability of Generated 2D Soil Moisture Data)

  • 김광섭;김종필
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2006년도 학술발표회 논문집
    • /
    • pp.674-677
    • /
    • 2006
  • 토양수분은 토양입자나 공극에 포함되어 있는 물을 의미하는 것으로서 여러 수문현상을 연계하는 주요변수이며, 올바른 물순환 체계를 이해하기 위해서는 토양수분에 대한 활발한 관측과 연구가 수반되어야 한다. 하지만, 우리나라의 토양수분 자료는 지상관측 자료로서 관측기간이 짧고 결측치가 많아 장기 추세나 공간변화도를 분석하기엔 미흡할 뿐만 아니라 2차원 토양수분 자료는 보유하고 있지 않은 실정이다. 따라서, 본 연구에서는 이를 보완하기 위해 우리나라와 위도가 비슷한 지역인 미국 Illinois 지역의 토양수분자료와 정규식생지수의 상관관계를 이용하여 우리나라의 2차원 토양수분을 산출하였으며, 산출된 장기 토양수분 자료를 이용한 시 공간 변화도 분석을 수행하였다.

  • PDF

임의의 불완전 순위자료 분석을 위한 비모수적 방법 (Nonparametric Approaches of Analyzing Randomly Incomplete Ranking Data)

  • 임동훈
    • 응용통계연구
    • /
    • 제13권1호
    • /
    • pp.45-53
    • /
    • 2000
  • 본 논문에서는 모든 판정자(judge)들이 모든 객체(object)들에 대해 순위를 부여할 수 없는 경우에 얻어지는 불완전 순위자료에서 판정자들의 처리 효과에 대한 유의성을 검정하는데 관심이 있다. 이를 위해 불완전 순위자료를 완전자료로 바꾸는 알고리즘을 제안하고 알고리즘에 의해 얻어진 완전 순위자료에 Friedman 검정법을 적용하고자 한다. 제안된 검정법은 결측 객체에 순위를 부여하는데 있어서 완전순위를 갖는 판정자들의 정보를 이용함으로서 효율적이며 검정을 시행하는데 기존의 Friedman 통계량에 대한 분포표를 사용할 수 있어 간편하다. 그리고 몬테칼로 모의실험을 통하여 제안된 검정법과 기존의 평균 순위법, 최대/최소 Friedman 검정법과 검정력을 비교하였다.

  • PDF

경시적 영과잉 가산자료와 생존자료의 결합모형 (A joint modeling of longitudinal zero-inflated count data and time to event data)

  • 김동욱;천지훈
    • 응용통계연구
    • /
    • 제29권7호
    • /
    • pp.1459-1473
    • /
    • 2016
  • 시간의 흐름에 따라 관측되는 경시적(longitudinal) 자료의 경우, 경시적 자료와 생존(survival) 자료가 종종 동시에 수집된다. 이 때 경시적 자료에서 발생하는 결측이 생존자료와의 연관성으로 인해 발생한 무시할 수 없는 결측(non-ignorable missing)이라면, 경시적 자료분석 방법만으로는 두 자료 간의 연관성을 고려하지 않아 독립변수에 대한 효과는 편향된 결과를 얻게 된다. 이러한 문제를 해결하기 위해서 결측의 원인이 생존시간과 연관되어 있으므로 생존모형을 고려하여 불편추정량을 얻기 위해 경시적 자료와 생존자료의 결합모형에 대한 연구가 이루어져 왔다. 본 논문은 경시적 자료의 형태가 영이 많이 존재하는 영과잉 가산자료(zero-inflated count data)와 생존자료의 결합모형을 연구하였다. 경시적 영과잉 가산자료와 생존자료는 각각 허들모형(hurdle model)과 비례위험모형(proportional hazards model)의 부 모형을 적용하였고, 두 부 모형들의 변량효과가 다변량 정규분포를 따른다는 가정을 통하여 결합하였다. 모수의 최우추정법으로 EM 알고리즘을 활용하였고, 추정된 표준오차를 계산하기 위해 프로파일 우도(profile likelihood)를 이용하였다. 최종적으로 모의실험을 통해 두 부 모형의 변량효과 간 상관관계가 존재하는 경우 결합모형이 개별적 모형보다 편의와 포함확률(coverage probability)의 측면에서 더 우수함을 보였다.

수온 관측 자료의 효율적인 이상 자료 탐지 (Efficient Outlier Detection of the Water Temperature Monitoring Data)

  • 조홍연;정신택;고동휘;손경표
    • 한국해안·해양공학회논문집
    • /
    • 제26권5호
    • /
    • pp.285-291
    • /
    • 2014
  • 연안의 수온 모니터링 자료는 이상자료 및 결측을 포함하고 있기 때문에 통계정보를 왜곡할 수 있다. 다양한 이상자료 감지 기법이 제안되고 있으나 결측이 없고 이상자료에 대한 사전정보를 가정하고, 어떤 적용기법은 과도한 계산시간이 소요되기 때문에 적용에 제한이 따른다. 본 연구에서는 방대한 자료에서도 효과적으로 이상자료를 감지할 수 있는 실용적인 Robust 모형을 제안하였다. 이 모형은 계산시간을 크게 저감하는 부분자료 추출기법을 이용한 어림성분 추정과정 및 어림성분으로부터 계산되는 잔차성분으로부터 이상자료를 반복적으로 진단하여 제거하는 부분으로 구성되어 있다. 이 모형의 성능평가는 새만금호에서 5분 간격으로 관측한 2년 동안의 수온 자료를 이용하여 수행하였다. 모형 적용결과, 이상자료가 전체자료에서 차지하는 비율은 1.6-3.7% 정도로 파악되었으며, 전체적으로 대부분의 이상자료가 제거되는 것으로 파악되었다. 또한 어림성분 추정과정의 반복적용은 Long-span 조건을 먼저 적용하는 것이 효과적인 것으로 파악되었다.

시정계 자료 특성을 고려한 시정계 자료 품질검사 기법 개발 (Development of Quality Control Method for Visibility Data Based on the Characteristics of Visibility Data)

  • 오유주;서명석
    • 대한원격탐사학회지
    • /
    • 제36권5_1호
    • /
    • pp.707-723
    • /
    • 2020
  • 본 연구에서는 현재 기상청에서 운용중인 시정계 자료의 시공간대표성 및 정확도를 개선하기 위해, 다단계 결정나무 품질검사(decision tree QC) 방법을 개발하고 3년간(2016.03-2019.02) 시정계 자료에 적용하였다. 개발된 QC 방법의 정성적 및 정량적 검증을 위해 기상청에서 제공하는 시정계 자료 및 목측 자료 그리고 노르웨이 기상청의 QC 방법을 사용하였다. 1단계에서는 물리적 범위 초과 및 결측 검사를 수행하여 결측 및 비정상 자료의 합이 총 자료의 10%를 초과하면 해당 지점은 다음 QC에서 제거하였다. 2단계에서는 시정이 시간적으로 연속성 있게 변한다는 가정하에 시간적 연속성 검사를 수행하였고, 임계값을 동적으로 설정하였다. 3단계에서는 시정이 공간적으로 연속성 있게 변한다는 가정하에 공간적 연속성 검사를 수행하였다. 4단계에서는 시정계의 정확도가 시정에 반비례한 점을 고려한 가중평균법으로 10분 주기 시정자료를 산출하였다. 시정계가 처음으로 도입 운용되는 점으로 인해 전체 시정계 자료 중 약 10% 정도가 1단계에서 제거되었다. 또한 안개발생 주변 지역에서는 시정의 공간적 변동성이 연속성 검사를 수행할 수 없을 정도로 매우 크기 때문에 3단계는 적용하지 않았다. 본 연구에서 개발한 QC 방법을 정성적, 정량적 검증한 결과, 초기 자료에 포함된 이상치들이 상당부분 제거되고 시정의 순간적 변동성이 완화됨을 보였다. 또한 목측자료 및 노르웨이 기상청 QC 방법을 이용한 간접적 검증 결과 본 연구에서 개발한 QC 방법이 시정계 자료 품질검사기법으로 사용이 가능함을 제시하였다.

불완전한 반복측정 자료의 보정방법 (Methods for Handling Incomplete Repeated Measures Data)

  • 우해봉;윤인진
    • 한국조사연구학회지:조사연구
    • /
    • 제9권2호
    • /
    • pp.1-27
    • /
    • 2008
  • 사회조사 자료를 활용한 통계분석에 있어서 불완전 자료의 문제는 거의 모든 연구자들이 경험하는 하나의 보편적인 문제이다. 불완전 자료의 문제는 특히 패널조사와 같은 종단적 자료를 활용한 연구에 있어서 중요한 이슈가 된다. 본 연구의 목적은 최근까지 이루어진 불완전 자료에 대한 보정방범을 소개하는 것이다. 특히, 본 연구는 패널자괴에서 발생한 불완전 자료의 처리에 대한 관심이 부족한 점을 고려하여 최근까지 이루어진 보정방법들을 반복측정 패널자료 분석에 적용하는데 초점을 맞춘다. 첫째, 본 연구는 불완전 자료에 대한 적절하지 못한 사후처리는 분석결과에 있어서 유의미한 차이로 이어 수 있음을 시사한다. 특히, 분석결과는 반복측정 자료를 사용하는 연구의 경우 불완전 자료의 발생은 궤적의 초기값보다는 시간의 경과에 따른 궤적의 변화를 적절히 추정하는데 문제를 가질 수 있음을 시사하고 있다. 둘째, 분석결과는 완전제거법이나 평균대체법이 EM, FIML, MICE 방법들에 비해 불완전 자료의 처리효과가 상대적으로 떨어짐을 보여준다. 특히, 완전제거법이나 평균대체법과 같은 방법에 비해 최대우도법이나 다중대체법이 갖는 상대적 우위는 MCAR 가정에 비해 보다 현실적인 가정이라고 할 수 있는 MAR 조건하에서 크게 나타난다. 본 연구의 분석결과는 또한 비록 결측치의 발생기제가 MNAR 상황이라고 하더라도 연구자가 결측치의 발생과 관련된 변수들을 보정과정에서 적절하게 활용하면 편의의 상당부분을 감소시킬 수 있음을 시사한다.

  • PDF

이동평균법을 이용한 장기간 기저유출분석 (Long Terms Baseflow Separation Using Moving Average Method)

  • 이상신;이상일;김준수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1233-1237
    • /
    • 2010
  • 강변여과는 지표수와 지하수가 각기 갖는 장점과 제약점을 상호 보완하여 수질이 양호한 상수원수를 대량 확보하기 위한 실제적 대안이다. 자연적인 여과작용에 의해 수질이 개선되는 효과가 있어 경제적이고 안정적으로 확보할 수 있지만, 장기간 취수는 지하수위의 저하를 가져 올 수 있으므로 유역의 수문분석을 통한 기저유출량 산정에 관한 연구가 필요하다. 대상지역으로는 현재 강변여과를 개발중인 창원시 대산정수장 취수장 지역이며, 대상지역의 기저유출량을 산정하기 위해 대상지역 상류에 위치한 낙동강 본포교의 낙동강 유량을 기초로 기저유출량을 산정하여 지하수 함양율을 평가하였다. 수문곡선 분리는 여러 방법 중 다른 방법보다 상대적으로 간편하고 실무에서 많이 사용되는 방법인 수평직선분리법을 사용하여 적정 취수 가능량을 산정하기 위한 최소 기저유출량을 산정하고자 한다. 이에 따라, 보유 자료 중 연 평균 최저 유출량을 보인 2008년 가을 갈수기의 시작(2008년 10월)부터 2009년 가을 갈수기의 시작(2009년 10월)까지의 자료를 분석했다. 본포교 유량 자료는 8일부터 10일 간격으로 측정되고 있기 때문에 결측치는 최인접 두 지점 사이의 선형보간법으로 보완했다. 다소 많은 양의 결측치에 대한 보정과 해당 유역의 연간 유출 특성을 파악하기 위해서 이동평균(moving average)을 적용했으며, 적용 결과 관측 주기에 해당하는 10일 이동평균 유출수문곡선이 가장 적합한 것으로 나타났다. 10일 이동평균에 의한 유출수문곡선에 의하면 상승부의 기점은 2009년 6월 12일로 나타났으며 유출량은 47.87cms로 나타났다. 따라서 총 기저유출량은 상승부 기점의 유출량으로 111일 동안 발생하는 것을 알 수 있었으며 그 총량은 약 45,900만$m^3$으로 나타났다. 본 연구에서의 결과 본포교를 유역출구로 하는 이 유역에는 임의 유출이 생기는 호우사상 시, 기저유출량은 총 유출량의 6.38%를 최소한 기대할 수 있음을 알 수 있다.

  • PDF

비대면 기술을 적용한 효율적인 자동유량측정시스템 운영 방안 (Efficient Integrated Real-time Discharge Measurement System Operating Strategy applying Non-face-to-face technology)

  • 오동헌;백종석;조상욱;차준호;서해엽
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.482-482
    • /
    • 2021
  • 자동유량측정시스템은 하천 유량을 실시간으로 측정하기 위한 수문조사시설로 전국 하천 64개 주요 지점에 설치·운영 중이며 실시간으로 운영되는 시스템의 특성상 내·외부 요인으로 인해 자료의 결측이 발생할 수 있다. 주요 결측 요인으로는 계측장비의 고장 및 오작동, 낙뢰로 인한 전원부문제, 시스템 컨트롤러 단순 오류 등이며, 현재 이로 인해 결측이 발생한 경우 현장 방문을 통한 조치 외에는 복구가 불가한 실정이다. 본 연구에서는 현장 유지관리 개선을 통해 자료 결측 최소화 방안을 마련하고자 최근 5년간(2015년~2019년) 수행된 유지관리 점검내역을 검토하였다. 현장 유지관리는 정기적으로 수행되는 정기점검, 수중점검과 장애 발생 시 수행되는 현장점검으로 구분되며 최근 5년간 수행된 점검(1,735회) 중 정기적인 점검을 제외한 현장점검의 경우 총 764회(46%) 수행된 것으로 나타났으며 현장점검 중 유지관리 방법 및 장비 개선 적용 사례를 통해 최소 1일~3일 소요되던 점검 시간이 즉시 조치가 가능한 것으로 나타났다. 시스템 확대 및 기존 장비의 노후로 현장점검은 지속적으로 증가하고 있으며 최근 사회적 상황을 고려하였을 때 사물인터넷(IoT)을 활용한 시설물 개선 등으로 비대면 점검 수행이 가능해짐에 따라 점검 소요시간을 단축하여 보다 효율적인 시설물 운영, 예산 절감, 자료의 연속성 확보 등이 가능할 것으로 판단된다.

  • PDF