• 제목/요약/키워드: Outlier Detections

검색결과 4건 처리시간 0.021초

TIME-VARIANT OUTLIER DETECTION METHOD ON GEOSENSOR NETWORKS

  • Kim, Dong-Phil;I, Gyeong-Min;Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2008년도 International Symposium on Remote Sensing
    • /
    • pp.410-413
    • /
    • 2008
  • Existing Outlier detections have been widely studied in geosensor networks. Recently, machine learning and data mining have been applied the outlier detection method to build a model that distinguishes outliers based on anchored criterion. However, it is difficult for the existing methods to detect outliers against incoming time-variant data, because outlier detection needs to monitor incoming data and classify irregular attacks. Therefore, in order to solve the problem, we propose a time-variant outlier detection using 2-dimensional grid method based on unanchored criterion. In the paper, outliers using geosensor data was performed to classify efficiently. The proposed method can be utilized applications such as network intrusion detection, stock market analysis, and error data detection in bank account.

  • PDF

규칙기반 및 상관분석 방법을 이용한 시계열 계측 데이터의 이상치 판정 (Outlier Detection in Time Series Monitoring Datasets using Rule Based and Correlation Analysis Method)

  • 전제성;구자갑;박창목
    • 한국지반환경공학회 논문집
    • /
    • 제16권5호
    • /
    • pp.43-53
    • /
    • 2015
  • 본 연구에서는 빅데이터 범주에 포함되는 각종 계측 데이터를 대상으로 각종 이상치를 판단하기 위한 기법을 고안하고, 인공 데이터 및 실 계측 데이터를 이용한 이상치 분석을 수행하였다. 계측결과에 대한 1차 차분 값 및 오차율을 적용한 규칙기반 방법은 큰 규모의 Short fault 분석 및 일정 기간 계측값에 변화가 발생하지 않는 경우의 Constant fault 분석에 효과적으로 적용될 수 있었으나, 독립적인 단일 데이터셋만을 이용하는 관계로 큰 변화폭을 보이는 실 계측 데이터의 정상 데이터를 이상치로 오판하는 문제점이 있었다. 규칙기반 방법을 이용한 Noise fault 분석은 적정 데이터 윈도우 사이즈의 선택 및 이상치 판정용 한계값 선정상의 문제로 인해 실 계측 데이터 적용에 한계가 있었다. 이종 데이터 간 상관분석 방법은 학습 데이터의 적정범위 선정이 선행된다면 장단기 계측 데이터의 이상 거동 및 국부적 이상치 판정에 매우 효과적으로 이용될 수 있음을 알 수 있었다.

Outlier Detection Based on Discrete Wavelet Transform with Application to Saudi Stock Market Closed Price Series

  • RASHEDI, Khudhayr A.;ISMAIL, Mohd T.;WADI, S. Al;SERROUKH, Abdeslam
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제7권12호
    • /
    • pp.1-10
    • /
    • 2020
  • This study investigates the problem of outlier detection based on discrete wavelet transform in the context of time series data where the identification and treatment of outliers constitute an important component. An outlier is defined as a data point that deviates so much from the rest of observations within a data sample. In this work we focus on the application of the traditional method suggested by Tukey (1977) for detecting outliers in the closed price series of the Saudi Arabia stock market (Tadawul) between Oct. 2011 and Dec. 2019. The method is applied to the details obtained from the MODWT (Maximal-Overlap Discrete Wavelet Transform) of the original series. The result show that the suggested methodology was successful in detecting all of the outliers in the series. The findings of this study suggest that we can model and forecast the volatility of returns from the reconstructed series without outliers using GARCH models. The estimated GARCH volatility model was compared to other asymmetric GARCH models using standard forecast error metrics. It is found that the performance of the standard GARCH model were as good as that of the gjrGARCH model over the out-of-sample forecasts for returns among other GARCH specifications.

평균 해수면 및 최극조위 자료의 이상자료 및 기준고도 변화(Level Shift) 진단 (Outliers and Level Shift Detection of the Mean-sea Level, Extreme Highest and Lowest Tide Level Data)

  • 이기섭;조홍연
    • 한국해안·해양공학회논문집
    • /
    • 제32권5호
    • /
    • pp.322-330
    • /
    • 2020
  • 부산, 목포 지점의 평균해수면(MSL)과 고극조위, 저극조위 자료의 이상자료 시계열 모델링을 수행하였다. 시계열 모델은 계절성분을 포함하는 SARIMA 모형이며, 일시적인 변화에 해당하는 이상자료(Additive Outlier, AO)와 영구적인 변화를 의미하는 기준고도 변화(Level Shift, LS)를 모델에 포함하였으며, AIC 기준에 의거하여 최적 모델을 선정하였다. 이상자료 모형의 매개변수 추정은 R 프로그램 'tsoutliers' 패키지('tso' 함수)를 이용하였다. 선정 모형을 이용하여 이상자료와 기준고도 변화 진단에 적용한 결과, 부산의 월 단위 고극조위 자료에서 2003, 2012년 발생한 태풍 매미(MAEMI), 산바(SANBA)에 의한 일시적인 수위상승을 65.5, 29.5 cm 정도로 추정하였으며, 목포의 월 단위 평균해수면 자료에서는 1983년의 영산강 하굿둑 건설 사업에 의한 기준고도 변화를 21.2 cm 정도로 추정하였다. 한편 본 연구에서 구성한 모형은 모형의 편향을 유발하는 이상자료의 영향을 포함하며, 모형에 의한 RMS 오차는 연간 자료를 사용한 경우, 부산은 MSL 1.95 cm, 고극조위, 저극조위 각각 5.11 cm, 6.50 cm이며, 목포의 경우에는 큰 조차의 영향으로 MSL 2.01 cm, 고극조위, 저극조위 각각 11.80 cm, 9.14 cm로 부산보다 다소 높게 나타났다.