• Title/Summary/Keyword: 이상자료

Search Result 12,075, Processing Time 0.058 seconds

Development of quality control techniques for global climate observations (글로벌 기후 관측자료 품질관리 기법 개발)

  • Lee, Jae-Seung;Kim, Seon-Ho;Bae, Deg-Hyo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.104-104
    • /
    • 2019
  • 기후 관측자료의 경우 관측, 가공, 전송 중에 오류가 발생할 수 있으며, 특히 글로벌 기후자료는 다양한 조건을 가지고 있는 자료를 수집하였기 때문에 일반적으로 해당 국가 관측자료보다 품질이 낮다. 본 연구에서는 글로벌 기후 관측자료의 품질을 개선할 수 있는 품질관리 기법을 개발하고 국내 지역에 적용해보고자 한다. 연구대상지역으로 국내 대표도시 7 곳을 선정하였으며, 글로벌 기후자료는 NCDC (National Climatic Data Center)의 일 단위 GSOD (Global Surface Summary of the Day) 자료를 수집하였다. 품질관리는 강수와 기온에 대해서 실시하였으며 과정은 크게 이상치 검사, 이상치 및 결측치 보정, 연, 월 단위 기후 자료 산정으로 구분된다. 이상치 검사는 중복성 검사, 내적일치성 검사, 기후범위 검사, 공간동질성 검사를 기반으로 구성되어 있다. 이상치 및 결측치 보정은 인접 관측소의 자료를 보간하여 수행하였으며, 보간기법은 4 방향 역거리 가중법을 활용하였다. 연, 월 단위 자료 산정은 자료의 결측률을 고려하여 일 단위 자료를 연, 월 단위 자료로 변환하는 과정이다. 이상치 검사 결과 대부분의 이상치는 기후범위와 공간동질성 검사에서 발견되는 것으로 나타났으며, 중복성 및 내적일치성 검사는 이상치 검출 효과가 적은 것으로 나타났다. 결측치 및 이상치 보간 결과 추정된 자료와 관측값 간의 상관관계가 있는 것으로 나타나 활용성이 있었다. 본 연구는 글로벌 자료의 품질관리 기법을 제시하였다는 점에서 활용성이 있으며, 향후 품질관리 기법의 검증에 관한 연구를 수행할 필요가 있다.

  • PDF

Outlier Detection of the Coastal Water Temperature Monitoring Data Using the Approximate and Detail Components (어림과 나머지 성분을 이용한 연안 수온자료의 이상자료 감지)

  • Cho, Hong-Yeon;Oh, Ji-Hee
    • Journal of the Korean Society for Marine Environment & Energy
    • /
    • v.15 no.2
    • /
    • pp.156-162
    • /
    • 2012
  • Outlier detection and treatment process is highly required as the first step for the statistical analysis of the monitoring data having many outliers frequently occurred in the coastal environmental monitoring projects. In this study, the outlier detection method using the approximate and detail (or residual) components of the (raw) data is suggested. The approximate and detail components of the data can be separated by the diverse filtering and smoothing methods. The decomposition of the data is carried out by the harmonic analysis and local regression curve, respectively. Then, the Grubbs' test and modified z-score method widely used to detect outliers in the data are applied to the detail components of the water temperature data. The new data set is reconstructed after removed the outliers detected by these methods. It can be shown that the suggested process is successfully applied to the outlier detection of the coastal water temperature monitoring data provided by the Real-time Information System for Aquaculture Environment, National Fisheries Research and Development Institute (NFRDI).

Evaluation of applicability of Hampel Filter to outlier check for river water level data (하천수위 자료 이상치 점검에 대한 Hampel 필터의 적용성 평가)

  • Park, Heeseong;Kim, Hyoung Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.352-352
    • /
    • 2022
  • 수위자료는 기초 수문자료의 하나로서 자료 수집시 이에 대한 품질관리가 반드시 필요하다. 이 과정에서 이상치 여부를 점검하여 이상치로 확인된 경우 소거하거나 수정하는 등의 처리를 해야 한다. 수위자료의 이상치 점검에는 다양한 방법이 있지만 아직 일반화된 방법은 없다. 이에 다양한 방법에 대한 적용가능성을 평가해 볼 필요가 있다. Hampel 필터는 신호처리 시 신호의 이상치를 찾아 보완하려고 개발된 필터이다. 시계열자료에서 이상치를 감지하는 고전적인 접근 방법은 이동평균과 이동표준편차를 이용하는 것이지만 고전적인 이동평균과 이동표준편차는 이상치의 영향을 받는다. 이에 따라 이상치의 추정이 어렵게 되는 경우가 있다. 이에 반하여 Hampel 필터는 이동평균 및 이동표준편차 대신 중앙값과 중앙값 절대편차(Median Absolute Deviation; MAD)를 이용함으로써 더 나은 결과를 얻을 수 있다. Hampel 필터는 신호처리용으로 개발되었기 때문에 부드러운 Sine 곡선에 적합할 것으로 보이며, 이미 하천수위 변화보다는 부드러운 변화를 보이는 저수지수위의 이상치를 점검하기 위해 사용되고 있다. 하지만 변화가 급격하고 첨두가 발생하는 하천의 수위에 대해서도 적용할 수 있는지에 대해서는 평가가 필요하다. 이에 본 연구에서는 신호처리에 사용되는 Hampel 필터를 이용하여 수위자료의 이상치 점검에 적용하고 과거 자료에 기록된 실제 이상치 자료와 비교하여 그 성능을 평가해 보았다.

  • PDF

A Comparative Study on Methods for Outlier Test of Rainfall in Korea (국내 강우의 이상치검정 방법의 비교 연구)

  • Lee, Jung Sik;Shin, Chang Dong
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2018.05a
    • /
    • pp.359-359
    • /
    • 2018
  • 이상치는 표본자료에서 크게 어긋나 다른 자료들로부터 떨어져 표시되는 자료로써, 실제로 발생할 확률이 매우 낮은 자료로 정의되고 있다. 설계홍수량을 산정하기 위하여 적용하고 있는 극치계열의 연최대치 강우자료에는 기계오작동 및 엔지니어의 표독오류가 발생하고 있으며, 기후변화에 따른 거대태풍 및 국지적인 집중호우 발생 등으로 인한 극치값 등에서 이상치가 관측되고 있다. 통상 이상치들은 통계분석시 자료 본연의 특성을 왜곡시켜 편향된 결과를 산정할 수 있으므로 빈도해석시 이상치해석 절차를 수행하여 자료의 적정성을 확인하여야 한다. 현재 실무에서는 설계홍수량 산정요령과 하천설계기준 해설 등에서 관련 내용을 기술하고 있지만, 국내 강우자료의 기록연수의 부족으로 인하여 빈도해석시 이상치 해석이 미수행되고 있어 이상치에 따른 자료편의가 발생하면 결과물인 확률강우량이 왜곡되게 산정될 수 있다. 따라서, 본 연구에서는 국내 주요 도시의 강우자료를 이용하여 이상치검정을 수행하였다. 대상지점으로는 서울, 부산, 대전, 대구, 인천, 광주, 울산 등의 비교적 긴 관측년수를 보유하고 있는 광역시를 선정하였으며, 지속기간은 10분, 1~24시간의 25개 강우자료를 적용하였다. 이상치검정 방법으로는 타 방법에 비하여 이상치 검정력이 뛰어난 것으로 알려진 2가지 방법을 채택하였으며, 표본자료의 평균과 표준편차로 표준화된 z값을 이용하여 상 하 한계선를 초과하는 값을 확인하는 z-Score 방법중 향상된 중위수 절대편차(MAD)에 의한 수정 z-Score 방법(Hoaglin, 1993)과 Box-Plot 방법(Tukey, 1969)을 적용하였다. Box-Plot 방법(Tukey, 1969)은 전체 자료를 25%씩 사분위로 구분하는 방법으로 정렬된 자료계열을 중앙값, 박스, 수염(whiskers), 이상치로 구분한다. 정렬된 25~75% 값들을 박스로 포함하여 외곽의 수염값들을 이상치로 분류하며, 특히 사분위수의 도식화로 데이터의 분포를 파악하기 좋으며, 이상치들의 위치와 자료의 비대칭 여부를 쉽게 파악할 수 있다. 본 연구의 수행으로 수정 z-Score 방법의 경우에는 서울과 대구지점에는 이상치가 없으며, 부산지점에는 13개, 대전지점 7개, 인천지점 5개, 광주지점 32개, 울산지점 26개가 나타났다. Box-Plot 방법으로는 서울지점 35개, 부산지점 39개, 대전지점 32개, 대구지점 38개, 인천지점 51개, 광주지점 61개, 울산지점 65개의 이상치가 분석되었다. 연구를 수행한 결과, 수정 z-Score 방법에 비하여 Box-Plot 방법에 의한 이상치가 더 많이 발생하였으며, 각각의 방법으로 지속기간 및 연도별 이상치 발생자료를 확인하였다. 방법별 이상치 발생현황 등을 분석하여 지점별 발생횟수를 분석하였으며, 추후 지점 및 자료의 보완이 수행되면 활용성을 증대시킬 수 있을 것으로 판단된다.

  • PDF

Efficient Outlier Detection of the Water Temperature Monitoring Data (수온 관측 자료의 효율적인 이상 자료 탐지)

  • Cho, Hongyeon;Jeong, Shin Taek;Ko, Dong Hui;Son, Kyeong-Pyo
    • Journal of Korean Society of Coastal and Ocean Engineers
    • /
    • v.26 no.5
    • /
    • pp.285-291
    • /
    • 2014
  • The statistical information of the coastal water temperature monitoring data can be biased because of outliers and missing intervals. Though a number of outlier detection methods have been developed, their applications are very limited to the in-situ monitoring data because of the assumptions of the a prior information of the outliers and no-missing condition, and the excessive computational time for some methods. In this study, the practical robust method is developed that can be efficiently and effectively detect the outliers in case of the big-data. This model is composed of these two parts, one part is the construction part of the approximate components of the monitoring data using the robust smoothing and data re-sampling method, and the other part is the main iterative outlier detection part using the detailed components of the data estimated by the approximate components. This model is tested using the two-years 5-minute interval water temperature data in Lake Saemangeum. It can be estimated that the outlier proportion of the data is about 1.6-3.7%. It shows that most of the outliers in the data are detected and removed with satisfaction by the model. In order to effectively detect and remove the outliers, the outlier detection using the long-span smoothing should be applied earlier than that using the short-span smoothing.

공간통계분석에서 이상점 수정을 위한 방법비교

  • Lee, Jin-Hui;Sin, Gi-Il
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2003.05a
    • /
    • pp.275-280
    • /
    • 2003
  • 공간 자료에서 이상점이 존재할 경우 변이도(Variogram)를 추정함에 있어 그 효과를 줄이기 위한 방법으로 로버스트(robust) 변이도를 이용한다. 그러나 이상점이 존재하는 자료분석에서 로버스트 변이도를 사용하기에 앞서 이상점을 수정한 자료를 사용하였을 경우 그 효율성 또한 좋다고 알려져 있다. 본 논문에서는 이상점이 존재하는 자료를 분석함에 있어 기존의 이상점 수정법 및 새로운 이상점 수정법의 효율성을 비교하였다.

  • PDF

Development of a method for constructing hydrological time series input data for deep learning analysis (딥러닝 분석을 위한 수문시계열 입력자료 구성 기법 개발)

  • Yuk, Gi-moon;Cho, He-rin;Park, Chan-ho;Moon, Soo-jin;Moon, Yong-il
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.349-349
    • /
    • 2021
  • 일반적인 도시홍수모형은 수리-수문모형을 기반으로 한 홍수위 모형을 사용하고 있으나 강우사상이나 물리적 조건에 따라 모의시간의 변화가 있으며 경우에 따라서는 긴 모의시간이 소요된다. 알파고 이후 큰 관심을 갖게된 딥러닝을 이용한 데이터기반의 모의를 통해 수자원 부분에 적용하여 수위 예측을 진행하였다. 본 연구에서는 딥러닝을 이용하여 관측자료기반의 수위예측 연구를 수행하였다. 대상유역은 중랑천 유역으로 선정하였으며 2015년 ~ 2020년 사이의 10분단위 강우, 수위자료를 이용하였다. 지방자치단체에서 제공하는 강우, 수위자료의 경우 결측자료 또는 이상자료에 대한 보정이 미흡하여 기계학습을 통합 분석자료로 활용하는데 어려움이 있다. 이에, 결측 및 이상자료가 포함된 자료로부터 인위적으로 교란된 데이터 및 결측구간을 삭제한 데이터를 생성하여 자료의 시계열성을 제거하고, 딥러닝을 통한 수위 예측 결과를 정상 데이터를 적용한 결과와 비교하였다. 사용된 딥러닝 모형은 시계열 데이터 예측에 우수한성능을 보이는 LSTM모형과 GRU모형을 이용하였으며 RMSE, NSE를 이용하여 평가하였다. 본 연구에서는 결측자료 및 이상자료가 포함된 수문자료를 자료의 시계열성 제거를 통해 딥러닝 분석 입력자료 구성하기 위한 방안을 제시하였다.

  • PDF

Complement Standard Outlier Detection of National Quality Control System Hydrological Data (국가 수문자료 품질관리시스템 이상치 점검 기법 보완)

  • Cho, Herin;Park, Heeseong;Kim, Hyoung Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2017.05a
    • /
    • pp.470-470
    • /
    • 2017
  • 우리나라는 2007년부터 국토교통부 주도하에 관측소별 수문자료 품질관리시스템을 구축하여 강수량, 수위 수문자료를 축척 및 유관기관에 제공하고 있다. 또한 관측소 장비의 오작동 및 주변환경의 영향으로 수문자료에서 이상치 자료가 발견되는 것에 대해서도 자동 및 수동 품질관리 기법을 활용하여 보정하고 있다. 수문자료에 대한 신뢰도와 일관성을 확보하기 위해 이상치 점검 기법에 대한 지속적인 보완 및 개선이 필요하다. 본 연구에서는 기 구축된 수문자료 품질관리시스템에서 이상치 점검에 대한 추가 기법을 조사 및 현 시스템에 적용하여 품질관리의 신뢰도를 향상시키고자 한다. 이를 통해 각 수문자료 관측소에 맞는 품질관리시스템을 지원함으로써 수문자료의 손실을 최소화하고 신뢰도를 향상시키는데 기여할 것으로 기대된다.

  • PDF

Study of Automated Quality Check of Hydrological Water Level Data (수위자료 이상치 자동점검 기법 개선에 대한 연구)

  • Park, Heeseong;Kim, Hyung Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.192-192
    • /
    • 2019
  • 수위자료는 기초수문자료의 하나로서 자료 수집시 이에 대한 품질관리가 반드시 필요하다. 이에 우리나라 환경부에서는 국가수문자료 품질관리시스템을 개발하여 실시간으로 수집되는 수위자료의 품질을 관리하고 있다. 국가수문자료 품질관리시스템은 실시간으로 수집되는 수위자료의 품질을 수작업으로 검토하기 이전에 편의를 위해 수문자료의 품질(오류가 있는 자료인지 아닌지)을 자동으로 구분하는 프로세스를 적용하고 있다. 이러한 자동점검 기법은 실무자에 의한 수문자료의 검토 및 보완 작업을 돕기 위한 것으로 실무자가 집중해서 관리해야할 것과 아닌 것을 쉽게 판단할 수 있도록 하는 보조적인 역할을 하고 있으며, 간단한 통계에 의한 기준을 적용하여 활용하고 있는 수준이다. 본 연구에서는 수위자료 이상치를 자동으로 점검할 수 있는 기법을 개선하기 위하여 10분단위로 관측된 수위자료에 대해 다양한 통계적인 기법을 적용하여 이상치를 찾을 수 있는 방법을 고안하고, 기존의 방법과 결과 등을 비교하여 보았다. 이를 통해 향후 국가수문자료의 품질관리업무 효율을 향상시킬 수 있는 정교한 이상치 자동점검기법을 개발 할 수 있을 것으로 기대한다.

  • PDF

Outliers and Level Shift Detection of the Mean-sea Level, Extreme Highest and Lowest Tide Level Data (평균 해수면 및 최극조위 자료의 이상자료 및 기준고도 변화(Level Shift) 진단)

  • Lee, Gi-Seop;Cho, Hong-Yeon
    • Journal of Korean Society of Coastal and Ocean Engineers
    • /
    • v.32 no.5
    • /
    • pp.322-330
    • /
    • 2020
  • Modeling for outliers in time series was carried out using the MSL and extreme high, low tide levels (EHL, HLL) data set in the Busan and Mokpo stations. The time-series model is seasonal ARIMA model including the components of the AO (additive outliers) and LS (level shift). The optimal model was selected based on the AIC value and the model parameters were estimated using the 'tso' function (in 'tsoutliers' package of R). The main results by the model application, i.e.. outliers and level shift detections, are as follows. (1) The two AO are detected in the Busan monthly EHL data and the AO magnitudes were estimated to 65.5 cm (by typhoon MAEMI) and 29.5 cm (by typhoon SANBA), respectively. (2) The one level shift in 1983 is detected in Mokpo monthly MSL data, and the LS magnitude was estimated to 21.2 cm by the Youngsan River tidal estuary barrier construction. On the other hand, the RMS errors are computed about 1.95 cm (MSL), 5.11 cm (EHL), and 6.50 cm (ELL) in Busan station, and about 2.10 cm (MSL), 11.80 cm (EHL), and 9.14 cm (ELL) in Mokpo station, respectively.