• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2009년도 학술발표회 초록집
• /
• pp.1254-1259
• /
• 2009

과거 관측된 수문자료는 분석을 통해 다양한 수문모형의 평가 및 예측과 수자원 정책결정에서 활용된다. 하지만 관측장비의 오작동 및 관측범위의 한계에 의해 수집된 자료에는 결측이 존재한다. 단순히 결측이 존재하는 벡터를 제외하거나, 결측이 존재하는 자료 구간에 선형성이 존재한다는 가정 하에 평균을 활용하기도 했으나, 이로 인하여 자료의 통계특성에 왜곡이 야기될 수 있다. 본 연구는 결측의 보정으로 자료가 보유하는 정보의 손실 및 왜곡을 최소화 할 수 있는 방안을 연구하고자 한다. 자료의 결측은 크게 완벽한 무작위 결측(missing completely at random, MCAR), 무작위 결측(missing at random, MAR), 무작위성이 없는 결측(nonrandom missingness)으로 분류되며, 수문자료는 결측을 포함한 기간이 그 외 기간의 자료와 통계적으로 동일하지는 않지만 결측자료의 추정이 가능한 MAR에 속하는 것이 일반적이므로 이를 가정으로 결측을 보정하였다. Local Lest Squares Imputation(LLSimput)을 결측의 추정을 위해 사용하였으며, 기존에 쉽게 사용되던 선형보간법과 비교하였다. 적용성 평가를 위해 소양강댐 일 유입량 자료에 1 - 5 %의 결측자료를 임의로 생성하였다. 동일한 양의 결측자료에 대해 100개의 셋을 사용하여 보정의 불확실성 범위를 적용된 방법에 대해 비교..평가하였으며, 결측 증가에 따른 보정효과의 변화를 검토하였다. Normalized Root Mean Squared Error(NRMSE)를 사용하여 적용된 두 방법을 평가한 결과, (1) 결측자료의 비가 낮을수록 간단한 선형보간법을 사용한 보정이 효과적이었다. (2) 하지만 결측의 비가 증가할수록 선형보간법의 보정효과는 점차 큰 불확실성과 낮은 보정효과를 보인 반면, (3) LLSimpute는 결측의 증가에 관계없이 일정한 보정효과 및 불확실성 범위를 나타내는 것으로 드러났다.

• 대한교통학회지
• /
• 제25권1호
• /
• pp.121-132
• /
• 2007

일반국도의 상시조사 자료는 교통량 조사 장비를 통해 수집되며, 수집된 자료가 누락되거나 불량일 경우 통계자료의 객관성을 유지하기 위해서 보정을 해야 한다. 교통량 결측 자료의 보정을 통계적인 방법으로 접근하여 신뢰성을 높이고자 본 연구에서는 보정 대상 시간과 동일시간의 자료를 적용할 수 있는 자기회귀분석과 보정 대상 지점과 동일 지점의 자료를 적용할 수 있는 계절 시계열 분석을 이용하여 보정하는 방안을 제시하였다. 계절 시계열 분석을 적용하여 결측 자료를 보정한 결과, 결측 기간이 길어질수록 오차가 커지는 것으로 분석되었다. 이것은 단기예측의 경우 실제자료를 이용하여 예측 값을 제시하지만, 장기예측의 경우 예측된 자료를 이용하여 예측값을 제시하기 때문에 신뢰성이 떨어지기 때문이라 판단된다. 자기회귀분석을 적용하여 결측 자료를 보정한 결과, 시계열분석에 비해서 오차가 적은 것으로 분석되었다. 이것은 교통량자료는 과거 패턴보다 현재 시점의 영향을 더 많이 받는 것이기 때문이라 판단된다 하지만 자기회귀분석은 인근에 패턴이 유사한 지점이 있어야 가능하며, 인근에 유사한 지점이 있더라도 그 지점의 자료가 불량일 경우 보정이 불가능하다는 단점이 있다. 이러한 경우에는 과거자료를 이용해서 보정할 수밖에 없으며, 단기 결측의 경우에는 시계열분석을 이용할 수 있다.

• 대한교통학회지
• /
• 제25권4호
• /
• pp.109-121
• /
• 2007

자료결측의 심각성은 현실적으로 거의 대부분의 조사에서 발생한다. 비단 교통분야뿐만 아니라 인문사회 분야나 기상학, 생물학, 지구과학 등 모든 분야에서 인력식이든 기계식이든 조사 방식에 관계없이 발생한다. 교통자료 수집장비에서의 자료결측의 발생은 현실적으로 불가피한 현상으로 볼 수 있으며, 이와 같은 자료 수집과정에서 발생하는 결측을 신뢰성있게 추정하여 보정하였던 선행연구의 대부분은 교통량 자료의 결측값 보정시 통계적 검증없이 시간적인 임의의 종속성만 고려함으로서, 보정 성능이 떨어지는 단점을 노출하고 있다. 이들 연구에서 적용했던 기법들 또한, 교통량 자료가 가지고 있는 가장 큰 특징인 주기적 순환성(periodic circularity)이 제대로 반영되지 못함으로서 적용상 한계를 노출하고 있다. 본 연구는 현실적으로 거의 대부분의 조사과정에서 발생하는 자료결측의 심각성에 대한 인식을 토대로 대안으로 순환분포모형을 제안하였다. 이러한 자료결측 현상에 대응하고자 하였던 기존의 ad-hoc 또는 heuristic 보정 기법과 모형 기반 및 알고리즘 기반의 보정 기법에 관한 선행 연구의 고찰을 통하여 이들 기법들의 한계점을 확인하였다.

• 대한토목학회논문집
• /
• 제33권5호
• /
• pp.2009-2019
• /
• 2013

교통량은 교통망 계획, 도로 설계, 도로 관리 등에 직접적으로 활용되는 중요한 기초자료이다. 교통량은 고정식 교통량조사 장비를 설치하여 연속적인 자료를 수집하는 상시조사와 특정일을 조사하는 수시조사로 구분되어 조사되고 있다. 상시조사의 경우 조사 지점에 설치되어 있는 장비의 고장이나 오작동 등으로 인하여 교통량 자료의 결측이 발생하며, 이러한 결측을 보정하기 위하여 다양한 방법이 적용되어 왔다. 본 연구에서는 결측 발생일 전 후의 자료를 활용하는 응용 지수평활화법을 제안하였으며, 평가 결과 교통량 변동계수가 낮은 경우 보정의 정확성이 제고됨을 알 수 있었다. 게다가 지점의 교통량 변동성이 결측 보정의 정확성에 영향을 미치는 중요한 요인으로 작용한다는 것을 확인하였다. 따라서 교통량 결측 보정의 신뢰성을 높이기 위해서는 지점별-시기별 결측 보정 방법이 달리 적용되어야 할 것이다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
• /
• pp.185-190
• /
• 2007

대용량의 자료가 생산됨에 따라 데이터를 효율적으로 저장, 관리, 이용할 수 있는 데이터 웨어하우스의 역할이 중요하게 되었고, 그에 따라 자료 처리 기법의 개발은 필수 과제가 되었다. 품질 평가와 오류 판단, 결측 보정의 자료 처리 과점은 자료의 신뢰도를 판단하고 활용도를 높일 수 있는 과정으로 매우 중요하다. 본 논문에서는 우리나라의 실제 교통상황을 반영하고 평가 기준의 오차를 줄이면서 더욱 간단 명료한 평가 계산식을 도입하여 효율적인 품질평가와 오류판단, 결측 보정의 자료 처리 기법을 제안한다. 또한 오류 판단 기준에 새로운 파라미터론 도입하여 교통 연구자의 요구 사항을 반영할 수 있게 하였다. 결측 보정 과정은 여러 기법을 연구하고 기존의 결측 보정 기법에 입력 변수를 추가하여 실제 대용량의 교통 자료에 적용하였다. 그리고 교통 자료가 저장되는 데이터베이스에 직접 접근하여 결측 보정과정을 수행하도록 PL/SQL로 구현하였으며, 이를 통해 교통 연구자에게 쉽고 다양한 방법으로 결측 보정을 수행하고 그 결과를 이용하여 다양한 교통 정보를 가공할 수 있는 환경을 제공하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2006년도 학술발표회 논문집
• /
• pp.775-779
• /
• 2006

강우자료의 구축은 수문해석에 있어 가장 기본적이며 중요한 단계라 할 수 있다. 하지만 수문 관측 자료의 경우 결측치가 존재하여 그에 대한 보정이 필요한 경우가 종종 발생하게 된다. 따라서 수문자료의 분석을 수행하기에 앞서 우선 자료에 대한 검정을 실시하고, 결측치가 존재할 경우는 이를 보정하여 분석을 수행하여야 한다. 본 연구에서는 다변량통계기법의 하나인 다중회귀분석을 이용하여 강우 결측치를 보정하였다. 본 연구에서는 다중공선성과 자기상관에 대하여 고려한 다중회귀모형을 구성하였다. 모형의 구성시 모든 결측지점에 적용이 가능하지 않아 일반성이 떨어짐을 확인 할 수 있었지만, 모형이 구성될 경우 통계적 적합도와 유의수준을 확인 할 수 있는 장점이 있었으며, 다중회귀모형이 구성되는 경우 좋은 보정 결과를 주는 것을 확인 할 수 있었다.

• 한국ITS학회 논문지
• /
• 제13권3호
• /
• pp.66-77
• /
• 2014

UTIS(Urban Traffic Information System)는 프로브차량을 활용하여 도시지역의 구간통행시간 정보를 직접 수집하는 방식으로 타 검지체계에 비해 상대적으로 정확한 링크 속도정보를 산출할 수 있다. 하지만, 현재 UTIS에서는 프로브차량(Probe Vehicle) 및 노변기지국(RSE)의 부족, 시스템 오류 등 다양한 요인에 의해 링크 속도정보의 수집이 누락되는 결측 구간이 발생되고 있다. 본 연구에서는 보다 정확한 여행시간 정보를 제공하기 위한 방안으로 k-NN 알고리즘을 기반으로 결측속도 정보를 효율적으로 보정할 수 있는 새로운 보정모형을 제안하였다. 제안 모형은 각 후보개체(이력 시계열 데이터)의 분포 특성에 따라 최근접이웃 개수를 탄력적으로 조정하는 적응형 k-NN 모형이다. 모형 평가 결과, 제안 모형이 결측정보를 효과적으로 보정 처리할 수 있는 동시에 ARIMA 등 타 모형에 비해 보정 오차를 크게 감소시킬 수 있는 것으로 분석되었다. 본 연구에서 제안된 결측 보정 모형은 UTIS 중앙교통정보센터에 직접 적용하여 교통정보 서비스 품질을 향상시키데 활용될 계획이다.

• 대한교통학회지
• /
• 제26권2호
• /
• pp.109-119
• /
• 2008

대중교통 교통카드 도입 이후, 점차 이용율이 증가되고 있다. 카드 데이터를 통해 얻을 수 있는 자료를 고려할 때 대중교통 카드 이용의 증가는 통행패턴 분석 및 정책적 측면에서 중요한 의미를 가지고 있다. 그 중에서 특히 죤별 대중교통 통행수요(O/D)를 손쉽게 파악할 수 있다는 점에서 높은 중요성을 가진다. 카드데이터를 통해 대중교통 죤별 통행수요(O/D)를 파악함에 있어서 데이터 자체의 오류에 대한 분석이나 결측에 대한 보완 과정이 반드시 필요하다. 본 연구에서는 반드시 선행되어야 할 과제이지만 아직 연구사례가 없었던 카드데이터의 오류와 결측에 관해 살펴보았다. 그 결과, 통행수요(O/D)분석과 관련한 오류나 결측에 대한 특성을 제시하였고, 결측에 대한 보정방안을 제안하였다. 그리고 제시된 결측방안들에 대한 적용 및 평가와 함께 활용방안을 제시하여, 향후 보다 신뢰성있는 대중교통 OD구축을 위한 기반을 마련하였다.

• 대한교통학회지
• /
• 제24권7호
• /
• pp.27-40
• /
• 2006

교통정보는 운영 중인 VDS(Vehicle Detector System)를 통해 수집된 교통량, 속도, 점유율 자료를 바탕으로 가공되어 제공된다. 수집된 자료의 응용범위와 이용자 및 활용분야는 점점 증가하는 추세에 있다. 수집된 차량 검지자료 내의 결측자료는 대상의 속성을 포함하지 않은 채 전송되는 일련의 빈 데이터를 말한다. 결측자료는 속성 값을 갖고 있지 않은 관계로 데이터가공 처리대상에서 제외된다. 결국 수집 데이터 내의 결측자료의 비율이 증가할수록 해당 지점의 교통상황을 반영하는데 있어 신뢰성이 결여되는 문제점을 갖게 된다. 본 연구에서는 결측자료에 대해 인접지점 참조방식과 이력자료를 활용한 방법론을 적용한 보정처리 결과를 제시하였다 현재 운영 중인 서해안/경부고속도로의 VDS 자료에 임의의 결측자료 비율을 처리 후 보정처리 방법론을 적용하였다. 보정단위는 차로단위-30초 주기로 수행하였으며 오전/오후/일단위로 구분하여 원데이터 대비 보정된 값의 오차를 분석하였다. 분석결과 인접지점 참조방식에 비해 이력자료를 활용한 보정처리 방법이 원데이터에 가까운 값을 도출하는 것을 알 수 있었다.

• 한국융합학회논문지
• /
• 제9권3호
• /
• pp.15-21
• /
• 2018

해양 뜰개는 해수면을 떠다니며 해양 기상 등을 관측하는 장비로, 뜰개를 통해 관측한 데이터는 해양 기상 예측, 유류유출 예측 등의 상황에서 활용된다. 관측 데이터는 관측 시에 오측(error data) 또는 결측(missing data)이 발생할 수 있으며, 오측 또는 결측된 데이터가 포함 될 경우, 데이터를 사용하는 모델들의 정확도가 떨어질 수 있다. 본 논문에서는 데이터 보정을 위한 방법으로 순환신경망을 이용한 데이터 보정 모델을 제안한다. 2015년 7개, 2016년 8개의 뜰개를 통해 수집한 해양 데이터를 이용한 보정 실험 결과와 보정 결과를 검증하기 위한 뜰개 이동 예측 실험을 설명하며, 실험 결과, 데이터 보정을 통해 13.9%의 데이터가 보정되었으며, 이동 예측 모델의 성능이 1.4% 향상되는 것을 보였다.