• 대한공간정보학회지
• /
• 제15권1호통권39호
• /
• pp.23-29
• /
• 2007

공간적 이상치란 관찰값들중에서 이웃한 주변값에 비해 공간변수값이 특별히 크거나 작은 특이한 관찰값을 말한다. 최근 통계나 데이터 마이닝 분야에서 공간자기상관을 이용한 다양한 공간적 이상치 탐지방법이 제시되고 있다. 이와 같은 방법은 NASA에서 개발운영중인 AQUA위성에 탑재된 MODIS 영상자료를 이용한 산불탐지에 이용될 수 있다. 산불탐지는 휘도온도의 공간적 변동특성을 이용하여 관찰값들 중에서 지역적으로 불안전한 공간적 이상치를 찾는 과정이라 할 수 있기 때문이다. 이에 본 연구에서는 공간적 이상치를 규명할 수 있는 국지적 공간상관분석기법에 기반한 산불탐지기법을 제안하였다. 또한 기존 NASA에서 제안하여 광범위하게 이용되고 있는 Contextual algorithm방법과 정확도를 비교함으로서 제안한 방법의 적용가능성을 평가하였다.

• 상하수도학회지
• /
• 제33권2호
• /
• pp.159-167
• /
• 2019

In this paper the potential of the principal component analysis(PCA) technique for the application of detecting leaks in water pipe networks was evaluated. For this purpose the PCA was conducted to evaluate the relevance of the calculated outliers of a PCA model utilizing the recorded pipe flows and the recorded pipe leak incidents of a case study water distribution system. The PCA technique was enhanced by applying the computational algorithms developed in this study which were designed to extract a partial set of flow data from the original 24 hour flow data so that the effective outlier detection rate was maximized. The relevance of the calculated outliers of a PCA model and the recorded pipe leak incidents was analyzed. The developed algorithm may be applied in determining further leak detection field work for water distribution blocks that have more than 70% of the effective outlier detection rate. However, the analysis suggested that further development on the algorithm is needed to enhance the applicability of the PCA in detecting leaks by considering series of leak reports happening in a relatively short period.

• Ocean and Polar Research
• /
• 제38권2호
• /
• pp.149-159
• /
• 2016

The statistical measures of the coastal environmental data are used in a variety of statistical inferences, hypothesis tests, and data-driven modeling. If the measures are biased, then the statistical estimations and models may also be biased and this potential for bias is great when data contain some outliers defined as extraordinary large or small data values. This study aims to suggest more robust statistical measures as alternatives to more commonly used measures and to assess the performance these robust measures through a quantitative evaluation of more typical measures, such as in terms of locations, spreads, and shapes, with regard to environmental monitoring data in the Busan coastal sea. The detection of outliers within the data was carried out on the basis of Rosner's test. About 5-10% of the nutrient data were found to contain outliers based on Rosner's test. After removal (zero-weighting) of the outliers in the data sets, the relative change ratios of the mean and standard deviation between before and after outlier-removal conditions revealed the figures 13 and 33%, respectively. The variation magnitudes of skewness and kurtosis are 1.36 and 8.11 in a decreasing trend, respectively. On the other hand, the change ratios for more robust measures regarding the mean and standard deviation are 3.7-10.5%, and the variation magnitudes of robust skewness and kurtosis are about only 2-4% of the magnitude of the non-robust measures. The robust measures can be regarded as outlier-resistant statistical measures based on the relatively small changes in the scenarios before and after outlier removal conditions.

• 한국멀티미디어학회논문지
• /
• 제23권8호
• /
• pp.915-926
• /
• 2020

Outlier detection methods help one to identify unusual instances in data that may correspond to erroneous, exceptional, or surprising events or behaviors. This work studies conditional outlier detection, a special instance of the outlier detection problem, in the context of incorrect data label identification. Unlike conventional (unconditional) outlier detection methods that seek abnormalities across all data attributes, conditional outlier detection assumes data are given in pairs of input (condition) and output (response or label). Accordingly, the goal of conditional outlier detection is to identify incorrect or unusual output assignments considering their input as condition. As a solution to conditional outlier detection, this paper proposes the ratio-based outlier scoring (ROS) approach and its variant. The propose solutions work by adopting conventional outlier scores and are able to apply them to identify conditional outliers in data. Experiments on synthetic and real-world image datasets are conducted to demonstrate the benefits and advantages of the proposed approaches.

• 응용통계연구
• /
• 제35권3호
• /
• pp.395-406
• /
• 2022

본 논문에서는 장기 종속 다변량 시계열 자료에 대한 이상점 탐지 기법을 연구한다. 기존 다변량 시계열 이상점 탐지 방법은 단기 종속 시계열 모형인 VARMA에 기반한 방법으로, 장기억성을 띈 다변량 시계열 자료에는 적합하지 않다. 자기회귀 모형을 통해서 장기 종속성, 즉 장기억성을 고려하기 위해서는 높은 차수의 모형이 필요하고, 이는 곧 추정의 불안성으로 이어지기에 장기억성을 효율적으로 다룰 수 없기 때문이다. 따라서, 본 논문은 이러한 문제를 보완하고자 VHAR 구조에 기반한 이상점 탐지 방법을 제시하고자 한다. 또한 더욱 정확한 추론을 위해서 로버스트한 방법을 이용하여 VHAR 계수를 추정하였고 이를 활용하여 이상점을 탐지하였다. 모의실험 결과 우리가 제안한 방법론이 기존 VARMA에 기반한 방법론보다 이상점 탐지에 더 효과적임을 살펴볼 수 있었다. 주가지수에 대한 실증자료 분석에서도 기존의 방법론은 탐지하지 못하는 추가 이상점을 찾음을 확인할 수 있었다.

• Journal of the Korean Data and Information Science Society
• /
• 제10권2호
• /
• pp.369-385
• /
• 1999

성장곡선모형에서 다중 이상값들이나 영향관측값들을 탐지하는 문제는 선형회귀모형에서의 문제에 비해 매우 복잡하여 거의 이루어지지 않고 있는 실정이다. 본 연구에서는 이상점을 포함하고 있는 성장곡선모형에서 이들을 탐지하는 방법으로 평균이동모형을 이용하는 방법을 소개하였다. 이 방법을 이용하여 찾아낸 자료가 이상점인지의 여부를 예측표본재이용 의사 베이즈 우도 기준법을 이용한 등분산성의 검정을 통해 알아보았다. 끝으로 Potthoff(1964)등이 사용한 자료를 이용한 예제를 통해 이상점 탐지와 등분 산성 검정을 실시한 결과를 제시하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제24권1호
• /
• pp.33-39
• /
• 2013

반응변수의 변환을 고려하는 부분선형모형에서 이상치 문제는 선형모형에서와 마찬가지로 반응변수 변환모수의 추정에 왜곡된 결과를 초래할 수 있다. 이를 해결하기 위해서는 부분선형모형에서 반응변수 변환 모수 추정과 이상치 탐지 과정이 수행되어야 하지만 모형에 포함된 비모수 함수의 비정형성에 따른 어려움이 크다. 본 연구에서는 부분선형모형의 비모수함수에 대한 추정과 순차적 검정, 최대절사우도추정 등과 같은 이상치 제거방법의 적용을 통하여 부분선형모형에서 이상치에 강건한 반응변수 변환 과정을 제안한다. 제안된 방법들은 모의실험과 예제를 통해 효과를 비교 검증한다.

• 응용통계연구
• /
• 제29권4호
• /
• pp.699-706
• /
• 2016

검정절차가 생략된 이상치 탐지법은 구조적으로 수렁효과나 가면효과에 취약하기 때문에 다수의 이상치를 제대로 탐지하지 못할 때가 있다. 본 연구에서는 군집화에 의하여 구분된 소수 관찰치군을 이상치로 판정하는 방법에 보완될 검정절차를 다룬다. 이에 관련된 일반적인 방법은 탐지된 이상치 후보군의 개별적인 관찰치에 대해 다양한 종류의 t-검정을 수행하는 것이다. 본 연구에서는 이상치 후보군에 대한 검정을 수행하고 군집나무의 절단기준을 변경시켜 새로운 이상치군을 탐색해 나가는 순차적인 방법을 제안한다. 예제와 모의실험을 통해 제시된 방법과 기존의 방법들을 비교한다.

• Communications for Statistical Applications and Methods
• /
• 제19권3호
• /
• pp.333-344
• /
• 2012

We consider some statistical properties of the first order difference-based error variance estimator in nonparametric regression models with a single outlier. So far under an outlier(s) such difference-based estimators has been rarely discussed. We propose the first order difference-based estimator using the leave-one-out method to detect a single outlier and simulate the outlier detection in a nonparametric regression model with the single outlier. Moreover, the outlier detection works well. The results are promising even in nonparametric regression models with many outliers using some difference based estimators.

• Communications for Statistical Applications and Methods
• /
• 제1권1호
• /
• pp.33-40
• /
• 1994

The conditional expectation of a random variable in a multivariate normal random vector is a multiple linear regression on its predecessors. Using this fact, the least median of squares estimation method developed in a multiple linear regression is adapted to a multivariate data to identify influential observations. The resulting method clearly detect outliers and it avoids the masking effect.