• 제목/요약/키워드: 결측 data 보정

검색결과 67건 처리시간 0.021초

결측 강우량 보정방법에 관한 연구: 2. 방법론별 정확도 분석 (A Study on the Point Rainfall Interpolation Method : 2. Accuracy Analysis of the Methods)

  • 김응석;백천우;이정호;박무종;조덕준
    • 한국산학기술학회논문지
    • /
    • 제7권4호
    • /
    • pp.690-696
    • /
    • 2006
  • 본 연구는 연구논제[1]에서 제안한 보정방법을 평창강 지역 11개 강우관측소를 대상으로 적용하였다. 또한 본 연구는 방법별 오차범위 및 주변관측소 개수에 따른 공간적 분포 영향을 분석하였다. 연구 적용 결과 선형계획법이 가장 작은 오차를 나타내었으나 계산을 위한 프로그램이 필요하므로 현장의 실무적용에는 어려움이 있는 것으로 나타났다. 역거리법은 선형계획법과 비교해서 비교적 간단하고 정확한 결과를 보이는 것으로 나타났다. 따라서, 본 연구결과는 강우량 보정의 정확도를 높이는데 기여할 수 있을 것으로 판단된다.

  • PDF

히스토리컬 프로파일 구축과 시.공간 자료합성에 의한 단속류 통행시간 예측 (Travel Time Forecasting in an Interrupted Traffic Flow by adopting Historical Profile and Time-Space Data Fusion)

  • 여태동;한경수;배상훈
    • 대한교통학회지
    • /
    • 제27권2호
    • /
    • pp.133-144
    • /
    • 2009
  • 현재 국내에서는 지역간 교통의 이동성 및 안전성을 향상시키기 위해 국도를 대상으로 ITS사업을 추진중에 있다. 이러한 ITS 사업을 통해 교통정보를 이용자에게 실시간으로 제공해 줌으로써 기존의 교통시설의 이용을 극대화 하는데 목적을 두고 있다. 이러한 정보 제공시 운전자에게 보다 정확한 통행시간정보를 제공해 주는것이 가장 중요하므로 본 연구에서는 자료의 전처리를 통해 원시데이터의 이상치 제거 및 결측처리를 실시하였다. 이를 통해 통행시간 예측의 기본이 되는 원시데이터의 정확성을 향상시켜 정보의 신뢰도를 높일 수 있는 방안을 모색하였다. 그리고 통행시간 예측을 위해 단속류 도로의 특성을 보다 정확히 반영할 수 있는 히스토리컬 프로파일 모형을 구축하였으며 실제 교통류의 특성을 적극적으로 반영하기 위해 보정식을 개발하였다. 따라서 제안된 모형과 히스토리컬 프로파일 모형과 보정식을 통해 통행시간을 예측한 후 기존의 방식인 신경망 모형, 칼만필터 모형과의 비교검증을 실시하였다. 결과적으로 일반적인 상황에서는 칼만필터 모형과 비슷한 예측력을 보였으나, 첨두시나 유고상황에서는 개발모형이 실제 교통흐름을 상대적으로 정확히 반영하여 예측을 수행함을 확인하였다.

교통정보 이력자료 분석을 위한 통합 교통 데이터베이스의 설계 및 구축과 자료처리 이용자 인터페이스 (User Interface of Data Processing, Design and Construction Techniques of Traffic Database Supporting Archived data)

  • 이윤경;이민수;남궁성
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.55-59
    • /
    • 2008
  • 분산되어 있는 여러 운영계 시스템에서 대용량의 교통자료를 가져와 교통정보 이력자료를 분석할 수 있는 단일 통합 교통 데이터베이스를 구축한다. 품질 평가, 오류 판단, 결측보정과 평활화 등의 자료처리 과정을 거친 교통자료는 자료의 신뢰도를 판단하고 활용도를 높일 수 있게 해주며 이용자에게 고속도로 통행료 수납자료, 고속도로 전자통행료 수납자료, 차량검지장치자료, 도로전광표지자료, 돌발상황자료, 기상자료, 차량번호인식장치자료 등에 대한 검색 및 자료 처리 기능을 제공한다.

  • PDF

표준화된 KoFlux 에디 공분산 자료 처리 방법의 변화와 개선 (Changes and Improvements of the Standardized Eddy Covariance Data Processing in KoFlux)

  • 강민석;김준;이승훈;김종호;천정화;조성식
    • 한국농림기상학회지
    • /
    • 제20권1호
    • /
    • pp.5-17
    • /
    • 2018
  • KoFlux의 표준화된 에디 공분산 플럭스 자료 처리과정이 갱신되는 과정에서 그 처리 방법에 따른 결과도 조금씩 달라져 왔다. 대부분의 자료 사용자들은 자료 처리 결과의 차이와 이러한 차이가 자신들의 분석결과에 미칠 수 있는 영향에 대해 명확히 인지하지 못하고 자료를 사용하고 있는 실정이다. 본 총설에서는 KoFlux 데이터베이스를 사용하는 연구자들에게 자료처리 과정을 투명하게 정리하여 자료에 대한 신뢰성과 활용성을 확보하기 위해, 과거의 자료 처리 방법이 어떻게 변화되고 개선되었는지를 평탄하고 균질한 해남 논 관측지(HPK)와 복잡하고 비균질한 광릉 활엽수림 관측지(GDK) 자료를 처리하고 그 차이를 확인하여 문서화하였다. 관측 대상지와 관측 장비의 다양화로 인해, 기존에 무시되거나 간소화 되었던 자료 처리 과정(예, 주파수 반응 보정, 정상성 검정 등)을 다시 적용하였고, 메탄 플럭스 결측 메우기와 이산화탄소 플럭스 보정 및 배분 방법을 새롭게 개선하였다. 본 연구결과로부터 에디 공분산 플럭스 관측 자료의 품질에 주파수 반응 보정(HPK: 연적산값의 11~18%의 편향 발생, GDK: 6~10%)과 정상성 점검(HPK: 연적산값의 4~19%의 편향 발생, GDK: 9~23%)이 매우 중요하고, 결측 메우기 및 배분 과정에 있어서 우선적으로 결측을 최소화하는 것이 최선이며, 대상 플럭스의 변동을 설명할 수 있는 적절한 조절 인자의 선택이 처리방법의 선택보다 중요함을 확인 하였다. 장기 KoFlux 관측 자료의 정확성, 투명성 및 연속성 확보를 위해 위의 결과를 반영하는 자료 처리 기술 개발과 문서화를 지속적으로 추진해 나갈 것이다.

국도의 동질구간 선정과 이상치 제거 방법에 관한 연구 (Development of Homogeneous Road Section Determination and Outlier Filter Algorithm)

  • 도명식;김성현;배현숙;김종식
    • 대한교통학회지
    • /
    • 제22권7호
    • /
    • pp.7-16
    • /
    • 2004
  • 국도의 단속교통류의 특성을 고려한 교통량 동질구간이란 도로의 공급측면에서 주요 신호교차로의 분기, g/C 비율, 신호교차로간 거리등으로 분할할 수 있으며, 교통수요측면에서는 교통량 변화 패턴곡 서로 유사하면서 정량적인 교통특성(예를 들어, 교통량의 크기나 속도의 범위 등)이 거의 같은 인근 검지기들로 이루어진 구간을 말한다. 본 연구에서는 국도 3호선의 곤지암 IC에서 장지 IC간의 10.72km를 대상으로 수집한 구간통행시간 자료와 검지기에서 수집한 지점 교통량과 속도 자료를 이용하여 기존의 이상치 제거방법에서의 문제점을 제시하고 참조자료를 활용한 새로운 유효 데이터 확보방안을 제시한다. 나아가, 향후 통행시간 추정모형 제작 및 검지기 자료의 이상치 및 결측 자료의 보정을 위한 동질구간의 선정방법을 KHCM 방식에 의한 공급자 측면과 교통류의 특성을 고려한 수요자 측면을 동시에 고려하여 제시하였다. 이러한 구간자료와 지점자료를 공유한 국도 구간의 교통류 특성에 관한 연구는 향후 소요시간 추정과 결측 및 데이터 보정에 필요한 기초 자료로 활용될 것으로 기대된다.

국도 단속류 구간에서 DSRC를 활용하여 수집한 개별차량 통행시간의 최적 수집 간격 결정 연구 (Determination of the Optimal Aggregation Interval Size of Individual Vehicle Travel Times Collected by DSRC in Interrupted Traffic Flow Section of National Highway)

  • 박현석;김영찬
    • 대한교통학회지
    • /
    • 제35권1호
    • /
    • pp.63-78
    • /
    • 2017
  • 연구는 국도 단속류 구간에서 DSRC로 수집한 개별차량 통행시간의 대푯값 산정 시 신뢰도를 높이는 최적 수집 간격을 결정하는데 목적이 있다. 이를 위하여, 단속류 구간에서 수집되는 가장 대표적인 개별차량 통행시간의 분포인 양봉형태의 비대칭 분포를 따르는 수집데이터를 활용하고 개별차량 통행시간의 수집 간격 크기를 변화시켜 MSE(Mean Square Error)를 추정함으로 오차가 최소가 되는 최적 수집 간격 크기를 결정한다. MSE 산정을 위한 편의 추정식은 비대칭 분포에서도 활용이 가능한 t-분포의 최대 추정 오차식을 활용하였다. 최적 수집 간격 분석을 위한 데이터 수집 간격은 단속류 구간에서 신호정지로 데이터 수집이 정상적으로 결측 되는 1-2분 수집 간격은 제외하고, 3분 이상의 수집 간격만을 대상으로 하였다. 데이터 수집 시 결측을 발생시키는 수집 간격은 결측 데이터 보정처리 과정에서 또 다른 오차를 유발하게 되어 배제하였다. 분석결과 MSE가 최소가 되는 최적 수집 간격은 3-5분이며, 통행시간 증가 시 최적 수집 간격은 3분으로 짧아짐을 확인하였다. 시스템 운영의 효율성과 통행시간 대푯값 산정의 신뢰도 향상을 모두 고려할 때 기본 수집 간격은 기존과 같이 5분으로 운영하고, 정체 시는 3분으로 수집 간격을 줄여 운영하는 것이 효과적일 것으로 사료된다.

머신러닝기반의 데이터 결측 구간의 자동 보정 및 분석 예측 모델에 대한 연구 (A Novel on Auto Imputation and Analysis Prediction Model of Data Missing Scope based on Machine Learning)

  • 정세훈;이한성;김준영;심춘보
    • 한국멀티미디어학회논문지
    • /
    • 제25권2호
    • /
    • pp.257-268
    • /
    • 2022
  • When there is a missing value in the raw data, if ignore the missing values and proceed with the analysis, the accuracy decrease due to the decrease in the number of sample. The method of imputation and analyzing patterns and significant values can compensate for the problem of lower analysis quality and analysis accuracy as a result of bias rather than simply removing missing values. In this study, we proposed to study irregular data patterns and missing processing methods of data using machine learning techniques for the study of correction of missing values. we would like to propose a plan to replace the missing with data from a similar past point in time by finding the situation at the time when the missing data occurred. Unlike previous studies, data correction techniques present new algorithms using DNN and KNN-MLE techniques. As a result of the performance evaluation, the ANAE measurement value compared to the existing missing section correction algorithm confirmed a performance improvement of about 0.041 to 0.321.

WIM 자료를 활용한 화물차량의 축중량 추정 모형 개발에 관한 연구 (Development of Truck Axle Load Estimation Model Using Weigh-In-Motion Data)

  • 오주삼
    • 대한토목학회논문집
    • /
    • 제31권4D호
    • /
    • pp.511-518
    • /
    • 2011
  • 축중계를 통한 화물차량의 축하중 자료는 도로의 설계, 유지관리, 시설물 보호 등의 위해서 필수적인 자료이다. 이와 같은 용도로 고속축중계의 자료는 도로계획, 연구자, 공무들은 고속축중계 자료를 활용한다. 또한 최근에는 중차량에 대한 단속에도 고속축중계의 자료를 활용하고 있다. 따라서 본 연구에서는 일반국도에서 수집된 고속축중계 자료를 활용하여 축하중을 추정하는 모형을 개발하였다. 추정된 축하중 추정 모형은 기존의 평균값을 이용한 방법과의 비교를 통하여 개발된 모형에 대한 비교 평가하였다. 축중량 추정에 있어 기존의 평균값을 적용하는 것보다 회귀모형을 적용하는 것이 모든 차종에 걸쳐서 작은 오차를 보이는 것으로 분석되었다. 향후 이러한 모형은 현장에서 운영되는 고속축중계의 결측자료 보정, 재보정 여부에 대한 평가 등의 목적으로 활용될 수 있을 것이다.

유역모형을 활용한 제주도 한천 유역의 관측유량 평가 및 보완 (Evaluation and complementation of observed flow in the Hancheon watershed in Jeju Island using a physically-based watershed model)

  • 김철겸;김남원
    • 한국수자원학회논문집
    • /
    • 제49권11호
    • /
    • pp.951-959
    • /
    • 2016
  • 본 연구에서는 제주도의 한천 유역을 대상으로 유역모델링 기법으로 많이 활용되고 있는 SWAT 모형을 이용하여 실시간 관측되고 있는 하천유량의 신뢰성과 활용성을 평가하였다. 평상시 거의 건천의 형태를 나타내는 간헐하천 특성을 고려하기 위하여 기존 연구에서 검증되었던 간헐하천모의 알고리즘을 적용하였으며, 2008~2013년을 대상으로 유역별 관측사상과 모의사상을 비교 분석하였다. 모형효율과 결정계수를 통해 모형 적용성을 평가한 결과, 보정기간에 대해 모형효율(ME) 0.88, 결정계수($R^2$) 0.93, 검증기간에 대해서는 각각 0.79와 0.89로서 매우 양호한 것으로 분석되었다. 모의치와 관측치의 차이가 크게 나타나는 일부 사상들에 대한 검토 결과, 강수량에 비해 관측유출률이 너무 크거나 낮은 경우가 있었는데 이는 기존 호우시 유출률 및 모델링 결과와 비교할 때 관측유량의 계측 및 수위-유량 산정과정에서의 오류의 가능성을 예상할 수 있었다. 이러한 관측유량에 대한 보완을 위해 모의자료를 이용하여 강수량과 유출량 간의 회귀관계를 도출하였으며, 2009~2010년을 대상으로 회귀식을 적용한 결과 유역모델링에 의한 모의유량과 잘 일치하는 것으로 나타났다. 따라서, 모델링 결과가 충분한 신뢰성을 보장한다는 가정 하에, 유도된 회귀식을 활용하여 신뢰성 있는 유출량을 간편하게 예측할 수 있으며, 관측자료의 결측치나 이상치를 즉각적으로 검증하는 데에도 활용될 수 있을 것으로 판단된다. 본 연구에서와 같이 관측자료의 검증 및 결측치에 대한 보완을 통하여 모형 적용시 보정과정에서의 오류를 최소화함으로써 제주도 지역의 독특한 유출 특성을 고려한 정교한 모델링과 물수지 분석에 크게 기여할 수 있을 것으로 판단된다.

기상모델자료와 기계학습을 이용한 GK-2A/AMI Hourly AOD 산출물의 결측화소 복원 (Spatial Gap-filling of GK-2A/AMI Hourly AOD Products Using Meteorological Data and Machine Learning)

  • 윤유정;강종구;김근아;박강현;최소연;이양원
    • 대한원격탐사학회지
    • /
    • 제38권5_3호
    • /
    • pp.953-966
    • /
    • 2022
  • 에어로솔(aerosol)은 대기 질을 악화시키는 등 인체 건강에 악영향을 끼치므로 에어로솔의 분포 및 특성에 대한 정량적인 관측이 필수적이다. 최근 전 지구 규모에서의 주기적이고 정량적인 정보 획득 수단으로 위성관측 Aerosol Optical Depth (AOD) 영상이 다양한 연구에 활용되지만 광학센서 기반의 위성 AOD 영상은 구름 등의 조건을 가진 일부 지역에서 결측을 가진다. 이에 본 연구는 위성자료의 결측복원을 위하여 격자형 기상자료와 지리적 요소를 입력변수로 하여 Random Forest (RF) 기반 gap-filling 모델을 생성한 이후, gap-free GK-2A/AMI AOD hourly 영상을 산출하였다. 모델의 정확도는 -0.002의 Mean Bias Error (MBE), 0.145의 Root Mean Square Error (RMSE)로, 원자료의 목표 정확도보다 높으며 상관계수 0.714로 복원 대상이 대기변수인 점을 감안하면 상관계수 측면에서도 충분한 설명력을 갖춘 모델이다. 정지궤도 위성의 높은 시간 해상도는 일변화 관측에 적합하며 대기보정을 위한 입력, 지상 미세먼지 농도 추정, 소규모 화재 또는 오염원 분석 등 타 연구를 위한 자료 활용 측면에서 중요하다.