• 제목/요약/키워드: 자료결측

검색결과 302건 처리시간 0.026초

TCS데이터를 이용한 이상치제거 및 결측보정 알고리즘 개발 (Outlier Filtering and Missing Data Imputation Algorithm using TCS Data)

  • 도명식;이향미;남궁성
    • 대한교통학회지
    • /
    • 제26권4호
    • /
    • pp.241-250
    • /
    • 2008
  • 지능형 교통체계구축과 교통 혼잡이 증가하면서 이용자는 과거보다 양질의 통행시간정보를 요구하고 있다. 기존 연구에서는 단속류, 연속류 모두 AVI검지기 자료를 이용한 이상치제거 및 통행시간 산출에 대한 연구가 많이 이루어져왔다. 현재 한국도로공사에서는 TCS(Toll Collection System)를 기반으로 정보제공을 준비 중에 있으며, TCS 데이터는 운전자가 실제교통상황을 경험한 동적특성을 가진 통행시간이 수집된 자료로 통행시간 추정자료로 잠재력이 크다. 그러나 '시간처짐현상'이 발생하고 속도위반, 휴게소, 고장 등으로 인해 평균통행시간보다 작거나 큰 이상치와 결측데이터가 존재하여 기존 방법을 적용하는데 효과적이지 못한 것으로 나타났다. 따라서 본 연구에서는 TCS 데이터에 맞는 이상치제거 및 결측보정 알고리즘을 개발하였다. 기존알고리즘과 비교한 결과 개발 알고리즘이 더 효과적인 것으로 나타났다.

자동유량측정시설 연속유량자료 보완을 위한 상하류관계 검토 (Analysis of flow relationship for replacement to IRDIMS continuous data)

  • 권영빈;김동수;차준호;정성원
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.359-359
    • /
    • 2019
  • 2011년 4대강 다기능보 설치에 따라 배수영향을 받는 구간은 기존의 측정방법으로는 유량측정이 어려워 보 구간별로 자동유량측정시설을 설치하여 실시간으로 유량을 생산하고 있다. 하지만 현재 수질개선 및 하천 자연화를 위해 보 운영수위를 저하시켰다. 이에 수위 저하에 따른 측정영역 한계로 정상적인 운영에 어려움이 발생하고 있다. 본 연구에서는 낙동강 합천창녕보 영향 구간 내 합천군(율지교), 합천군(적포교) 지점을 대상으로 상하류 유량관계를 활용하여 결측 및 오측자료를 보완하고자 한다. 대상지점은 2018년 수문개방에 따른 수위저하로 인한 결측과 부유물에 걸림에 의한 유속자료 오측으로 자료의 보완이 필요하였다. 이로 인해 자료 보완을 위하여 각 지점의 환산유량을 이용하여 경향성 검토를 하였으며, 상하류 환산유량과 검보정 측정성과와의 관계를 활용한 관계식을 개발하여 유량을 산정하였다. 산정된 유량과 검보정 측정결과 상관도(R2)는 0.95 이상으로 나타나 매우 합리적으로 판단되나 수문조작 시에 일부 편차는 보인다는 결과를 나타냈다. 단기적인 자료보완은 품질관리를 통해 다양한 방법으로 가능하지만 상하류 유량관계를 활용한 방법이 장기적인 자료를 보완하는 방법으로 적절하다고 판단된다. 향후 보완방법을 다른 보 구간의 지점에도 적용하여 보 수위저하에 따른 시설물 개선공사가 진행되는 동안 실시간 유량자료의 제공으로 연속적인 유량자료 생산이 가능하도록 하고자 한다.

  • PDF

강우자료 분석을 통한 지역극한지수 개발 - 평창강 유역을 대상으로 (Development of Local Extreme Event Index by Rainfall Data Analysis - Focused on the PyeongChang River Basin)

  • 최수민;김창환;여창건;이승오
    • 한국방재학회:학술대회논문집
    • /
    • 한국방재학회 2011년도 정기 학술발표대회
    • /
    • pp.105-105
    • /
    • 2011
  • 전 세계적으로 이상기후의 발생이 빈번해지고 있으며, 특히 6~9월에 강우가 집중되는 우리나라의 경우에는 예측하지 못한 강우의 발생 빈도가 점점 증가하고 있어 이로 인한 인명 및 재산 피해 또한 심각한 문제가 되고 있다. 이러한 피해를 최소화하기 위해서는, 일반적으로 발생한 강우사상이 아니라 극치의 확률로 발생한 강우사상에 대한 실질적인 연구가 우선으로 수행되어야 한다. 기존의 극한강우에 대한 연구 중 대부분은 정량적인 기준보다는 정성적인 기준을 제시하고 있으며, 최근 국외에서는 STARDEX(Goodess, 2005)와 같은 극한지수를 선정하여 경향성을 분석하는 연구도 수행되고 있다. 국내에서도 극한지수를 사용한 연구사례가 있으나(최영은, 2004, 김보경 외, 2009), 국외에서 제안된 극한지수를 우리나라에 그대로 적용한 것이며, 이외에도 확률모형을 이용한 극한기후사상의 발생빈도 분석에 관한 연구도 활발히 수행되고 있는 추세이다. 본 연구에서는 확률적으로 양적, 시간적, 공간적 측면이 동시에 극한의 값을 갖는 사상을 극치사상이라고 정의하여, 발생 가능한 강수량의 최대량으로 주로 사용되는 가능최대강수량(PMP)과는 다른 의미의 강수량으로 분석하였다. 극한강우사상의 정량적인 분석을 위해, 안성천 유역 강우관측소의 시계열 강우자료를 토대로 전체 강우사상에 대한 강우지속시간, 총 강우량 및 최대 시강우량의 95퍼센타일, 시간에 대한 누적 강우량의 25퍼센타일과 75퍼센타일의 증가율로 계산된 강우 증가율 등 4가지 요소를 제안하였다. 이 방법을 IHP 시험유역인 평창강 유역에 적용하여 그 적용성을 검토하였으며, 극치사상으로 분석된 강우사상은 각 유역별 주요하천의 상위 12개 장기 유출량의 발생일과 비교하였다. 분석 결과, 하천과의 거리가 먼 관측소일수록 최대 유출량의 발생일과 극한강우사상의 발생일에 차이가 발생했으며, 결측자료가 많은 관측소의 경우에는 인근 관측소의 자료로 보완하였을 때 높은 정확도로 분석되는 것으로 보아, 결측자료에 대한 영향과 강우 관측소와 하천과의 거리에 대한 영향이 큰 것으로 판단되었다. 향후 연구에서는 거리 및 지형에 대한 영향과 결측자료의 보완을 통해 더 정확한 분석을 수행하여, 홍수위험도의 개선 및 장기 유출분석에 기여할 수 있을 것이다.

  • PDF

시공간적 변동성을 고려한 강우의 결측치 추정 방법의 비교 (The Comparison of Estimation Methods for the Missing Rainfall Data with spatio-temporal Variability)

  • 김병식;노희성;김형수
    • 한국습지학회지
    • /
    • 제13권2호
    • /
    • pp.189-197
    • /
    • 2011
  • 본 논문에서는 지상강우의 결측치를 추정하는 방법들 중 역거리 가중치법(IDWM), 역지수 가중치법(IEWM), 상관계수가중치법(CCWM), 인공신경망(ANN)기법, 레이더 자료를 이용한 결측치 추정 방법을 비교하여 각각의 적용성을 검토하였다. 임진강 유역을 대상지역으로 하여 각 방법을 적용한 결과, 강우의 결측치 추정에 있어서 기존의 방법 중 상관계수 가중치법(CCWM)과 인공신경망(ANN)기법에 의한 RMSE가 0.46~1.79의 범위를 보였고, 레이더자료를 이용하여 강우의 결측치를 추정한 경우 RMSE가 0.05~2.26의 범위를 보였다. 레이더 강우자료가 지점 강우자료와 달리 강우의 공간상관성을 반영하고 있음을 볼 때, 지점강우 자료를 이용한 결측치 추정 기법보다 레이더자료를 이용한 결측치의 추정기법이 그 적용성에서 우수하다고 판단되어진다.

신경망을 이용한 결측 수문자료 추정 및 실시간 자료 보정 (Missing Hydrological Data Estimation using Neural Network and Real Time Data Reconciliation)

  • 오재우;박진혁;김영국
    • 한국수자원학회논문집
    • /
    • 제41권10호
    • /
    • pp.1059-1065
    • /
    • 2008
  • 강우자료는 수문 해석에 있어 가장 기본이 되는 입력 자료이며, 다양한 원인에 의해 결측이 발생된다. 본 연구에서는 복잡한 자연현상 문제 해결에 그 응용성이 입증된 신경망 기법을 이용하여 결측 처리된 강우를 추정하기 위해서 소양강댐 유역 12개 강우량 관측소를 대상으로 신경망 모형을 구축하였으며, 모형의 성능 평가를 위해 실무에서 가장 많이 사용되고 있는 우량 보정 방법인 역거리법(RDS)과 산술평균법(AMM)으로 추정한 값과 비교하여 신경망을 이용한 추정 방법의 우수성을 보였다. 그리고 온라인상에서 보다 신뢰성 있는 수문자료를 재난관련 유관기관으로 전송하기 위해서 신경망 모형을 이용한 상시 실시간 보정이 가능하도록 신경망 학습기로 구성된 자동 보정시스템을 제안하였다.

GOCI Chlorophyll-a 결측 자료의 복원을 위한 DINEOF 방법 적용 (Application of DINEOF to Reconstruct the Missing Data from GOCI Chlorophyll-a)

  • 황도현;정한철;안재현;최종국
    • 대한원격탐사학회지
    • /
    • 제37권6_1호
    • /
    • pp.1507-1515
    • /
    • 2021
  • 해색 원격 탐사를 통해 chlorophyll-a를 추정하면 식물성 플랑크톤, 해양일차생산력의 전 지구적 분포를 파악할 수 있다. 하지만 위성으로 관측된 해색 자료는 구름이나 기상 상황 등에 의하여 결측 데이터가 발생한다. 본 연구에서는 DINEOF를 이용하여 GOCI chlorophyll-a 산출물의 결측 자료를 복원하고자 하였다. DINEOF는 시·공간 자료에 기반을 두어 결측 자료를 복원하는 방법으로, 정확도는 GOCI chlorophyll-a 영상의 일부를 제거한 뒤 복원 영상과 비교하여 교차 검증하였다. 연구지역에서 DINEOF를 위한 최적의 EOF 모드는 10-13이었다. 시·공간 복원 자료 결과에서는 오후 시간대 chlorophyll-a 농도가 증가하는 경향이 반영되었고, 노이즈에 해당되는 이상치는 필터링 되는 효과를 보였다. 따라서 DINEOF는 결측이 발생한 영상에 대하여 복원 자료로 활용 가능할 것으로 보이며, 이를 통해 해양 환경 모니터링을 위한 기초 자료로 사용 가능할 것으로 판단된다.

범주형 자료의 결측치 추정방법 성능 비교 (Comparing Accuracy of Imputation Methods for Categorical Incomplete Data)

  • 신형원;손소영
    • 응용통계연구
    • /
    • 제15권1호
    • /
    • pp.33-43
    • /
    • 2002
  • 범주형 데이터의 결측치 추정을 위하여 최빈 범주법, 로지스틱 회귀분석, 연관규칙과 같은 다양한 방법이 연구되어 왔다. 본 연구에서는 이러한 방법의 추정 값을 결합하는 신경망 융합과 투표융합 방법을 제안하고 이의 성능을 시뮬레이션을 이용하여 비교하였다. 실험에 사용된 데이터의 특성을 나타내는 인자로는 (1) 입출력 변수간의 연결함수, (2) 데이터의 크기, (3) 노이즈의 크기 (4) 결측치의 비율, (5) 결측발생 함수를 사용하였다. 분석결과는 다음과 같다. 데이터의 크기가 작고 결측 발생 비율이 높으면 최빈 범주법, 연관규칙, 신경망 융합의 성능이 높게 나타났으며 데이터의 크기가 작고 결측발생 확률이 결측이 안된 나머지 변수에 높은 의존관계가 있으면 로지스틱 회귀분석, 신경망 융합의 성능이 높게 나타났다. 데이터의 크기가 크고, 결측치의 비율이 낮으면서, 노이즈가 크고 결측발생 확률이 결측이 안된 나머지 변수에 높은 의존관계가 있으면 신경망 융합의 성능이 높게 나타났다.

기계 학습을 이용한 항로표지 기상 자료의 보간에 관한 연구 (Study on Weather Data Interpolation of a Buoy Based on Machine Learning Techniques)

  • 정성훈;마준익;조성현;임기륜;이준우;한준희
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.72-74
    • /
    • 2022
  • 해상에 설치된 항로표지 부표의 발달로 다양한 자료가 수집된다. 그러나 원시 관측자료는 기계 결함 및 기상환경에 따라 결측과 이상치를 포함한 오류로 인하여 곧바로 사용되기 어렵다. 따라서 본 연구에서는 항로표지에서 수집된 미흡한 기상 관측 자료를 기계학습이 가능하도록 누락된 시각의 자료를 추가하여 선형 보간을 실시했다. 이후 XGBoost기법과 KNN-regressor을 이용하여, 오류가 발생한 시점의 자료를 보간하는 기법을 연구하고자 한다.

  • PDF

불완전한 짝자료에 대한 검정법 (Tests for Incomplete Paired Data)

  • 이승묵;박진경;박태성
    • 응용통계연구
    • /
    • 제12권2호
    • /
    • pp.415-432
    • /
    • 1999
  • 짝자료(paired data)에서 결측값이 발생했을 때에 이 자료를 처리할 수 있는 여러통계검정 방법들을 고찰해보았다. 결측값들을 어떻게 처리하는 지에 따라서 다섯 가지 방법으로 분류해 보았고, 이 방법들이 짝 t-검정에 미치는 효과를 모의실험을 통해 비교해 보았다. 결측값들에 대한 세 종류의 메카니즘을 고려하여 검정크기와 검정력을 구하였다.

  • PDF