• International Journal of Internet, Broadcasting and Communication
• /
• 제14권4호
• /
• pp.140-147
• /
• 2022

In this study, in order to efficiently detect data patterns and outliers in time series data, outlier detection processing is performed for each section based on a smart contract in the data preprocessing process, and parameters for the ARIMA model are determined by generating and reflecting the significance and outlier-related parameters of the data. It was created and applied to the modified arithmetic expression to lower the data abnormality. To evaluate the performance of this study, the normality of the data was compared and evaluated when the parameters of the general ARIMA model and the ARIMA model through this study were applied, and a performance improvement of more than 6% was confirmed.

• Communications for Statistical Applications and Methods
• /
• 제18권4호
• /
• pp.517-525
• /
• 2011

본 연구는 이상치가 존재하는 자료에 적용될 수 있는 방법을 비교한 연구로서, 이분산 시계열 모형 하에서 로버스트 추정 방법의 효용성을 보이고자 한다. GARCH 모형하에서 이상치 탐지 기법과 GARCH 모형을기반한 로버스트 추정방법의 성능을 비교하였다. 실제 인터넷 트래픽 자료에 두 방법을 적용했을때, 로버스트 추정방법이 이상치 탐지 기법에 비해 덜 복잡하고 성능이 우수함을 입증하였다.

• Journal of the Korean Statistical Society
• /
• 제28권3호
• /
• pp.311-324
• /
• 1999

The problem of 'outliers', observations which look suspicious in some way, has long been one of the most concern in the statistical structure to experimenters and data analysts. We propose a model for an outlier problem and also analyze it in linear regression model using a Bayesian approach. Then we use the mean-shift model and SSVS(George and McCulloch, 1993)'s idea which is based on the data augmentation method. The advantage of proposed method is to find a subset of data which is most suspicious in the given model by the posterior probability. The MCMC method(Gibbs sampler) can be used to overcome the complicated Bayesian computation. Finally, a proposed method is applied to a simulated data and a real data.

• 한국해안·해양공학회논문집
• /
• 제26권4호
• /
• pp.207-216
• /
• 2014

총유기탄소(TOC)는 해양의 탄소순환 연구분야에서 직접적인 생물학적 지표로 이용되는 중요한 인자다. 가용한 TOC 자료가 상대적으로 화학적산소요구량(COD) 자료 보다 부족하기 때문에 COD 자료를 활용하여 TOC 자료를 추정할 수 있다. COD를 TOC 로의 변환 시 TOC 추정에 직접적으로 영향을 미치는 COD 관측자료에 포함된 이상자료의 탐지와 적절한 처리는 합리적이고 객관적으로 수행되어야 한다. 본 연구에서는 국내 연안해역에서 관측된 염분, COD 및 TOC 자료에 대한 최적회귀모형을 제시하였다. 최적회귀모형은 이상자료와 영향자료를 여러 가지 탐색방법으로 진단하여 제거 전 후의 자료 개수 변화, 변동계수 및 RMS 오차를 비교 및 분석하여 선택하였다. 연구수행 결과, Cook의 진단방법과 SIQR의 boxplot 방법을 조합한 방법이 가장 적절한 것으로 파악되었다. 최적 회귀 함수는 TOC(mg/L) = $0.44{\cdot}COD(mg/L)+1.53$ 이고, 결정계수는 0.47 정도로 나타났으며, RMS 오차는 0.85 mg/L이다. RMS 오차와 지레계수(leverage values)의 변동계수는 이상자료 제거 전에 비하여 각각 31%, 80%로 크게 감소되었다. 본 연구에서 제시된 방법을 통해 COD와 TOC 관측자료에 포함된 이상자료와 영향자료의 과도한 영향을 진단 및 제거하였기 때문에 보다 적절한 회귀곡선식을 제시할 수 있었다.

• Geomechanics and Engineering
• /
• 제35권5호
• /
• pp.499-509
• /
• 2023

The objective of this study is to perform outlier analysis to obtain the distribution of groundwater levels through the best model. The groundwater levels are measured in 10, 25 and 30 piezometers in Seoul, Daejeon and Suncheon in South Korea. Fifty-eight empirical distribution functions were applied to determine a suitable fit for the measured groundwater levels. The best fitted models based on the measured values are determined as the Generalized Pareto distribution, the Johnson SB distribution and the Normal distribution for Seoul, Daejeon and Suncheon, respectively; the reliability is estimated through the Anderson-Darling method. In this study, to choose the appropriate confidence interval, the relationship between the amount of outlier data and the confidence level is demonstrated, and then the 95% is selected at a reasonable confidence level. The best model shows a smaller error ratio than the GEV while the Mahalanobis distance and outlier labelling methods results are compared and validated. The outlier labelling and Mahalanobis distance based on median shown higher validated error ratios compared to their mean equivalent suggesting, the methods sensitivity to data structure.

• 대한산업공학회지
• /
• 제38권1호
• /
• pp.17-24
• /
• 2012

We address some potential problems with the existing procedures of outlier detection in time series. Also we propose modifications in estimating model parameters and outlier effects in order to reduce the number of tests and to increase the detection accuracy. Experiments with some artificial data sets show that the proposed procedure significantly reduces the number of tests and enhances the accuracy of estimated parameters as well as the detection power.

• Communications for Statistical Applications and Methods
• /
• 제26권2호
• /
• pp.149-161
• /
• 2019

In this article, we suggest the following approaches to simultaneous variable selection and outlier detection. First, we determine possible candidates for outliers using properties of an intercept estimator in a difference-based regression model, and the information of outliers is reflected in the multiple regression model adding mean shift parameters. Second, we select the best model from the model including the outlier candidates as predictors using stochastic search variable selection. Finally, we evaluate our method using simulations and real data analysis to yield promising results. In addition, we need to develop our method to make robust estimates. We will also to the nonparametric regression model for simultaneous outlier detection and variable selection.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권10호
• /
• pp.589-599
• /
• 2008

정확한 소프트웨어 공수 예측은 소프트웨어 관련 여러 커뮤니티들에서 예전부터 항상 이슈가 되어 왔다. 소프트웨어 공수 예측의 정확도를 향상시키기 위해 지금까지 많은 연구들에서는 데이타 품질이 공수 예측에 중요한 요소들 중 하나임에도 불구하고 이것에 대한 고려 없이 공수 예측 기법들에만 초점을 맞추어 왔다. 본 연구에서는 소프웨어어 공수 예측 기법과 이상치 제거 기법들 사이의 영향 관계를 공수 예측 정확도의 관점에서 실험적으로 살펴본다. 두 개의 프로젝트 데이타들(ISBSG와 국내의 한 금융 조직으로부터 수집된 데이타)에 대해 일반적으로 많이 사용되는 세 가지 공수 예측 기법(최소제곱법, 신경망 네트워크, 그리고 베이지안 네트워크)과 두 가지 이상치 제거 기법(최소절사제곱법과 K-means 클러스터링)을 적용시켜 결과들을 서로 비교해 보고 이상치 제거 기법을 적용하지 않은 결과와도 비교해 본다.

• Journal of Positioning, Navigation, and Timing
• /
• 제9권4호
• /
• pp.397-403
• /
• 2020

In order to synchronize a remote system time to the reference time like Coordinated Universal Time (UTC), it is required to compare the time difference between the two clocks. The time comparison data may have some outliers and the time synchronization performance can be significantly degraded if the outliers are not removed. Therefore, it is required to employ an effective outlier detection algorithm for keeping high accurate system time. In this paper, an outlier detection method is presented for the time difference data of GNSS time transfer receivers. The time difference data between the system time and the GNSS usually have slopes because the remote system clock is under free running until synchronized to the reference clock time. For investigating the outlier detection performance of the proposed algorithm, simulations are performed by using the time difference data of a GNSS time transfer receiver corrected to a free running Cesium clock with intentionally inserted outliers. From the simulation, it is investigated that the proposed algorithm can effectively detect the inserted outliers while conventional methods such as modified Z-score and adjusted boxplot cannot. Furthermore, it is also observed that the synchronization performance can be degraded to more than 15% with 20 outliers compared to that of original data without outliers.

• 대한원격탐사학회지
• /
• 제28권5호
• /
• pp.573-586
• /
• 2012

라이다 센서로 취득된 점군에는 실제 물리적인 표면에 존재하지 않는 이상점이 포함되어 있다. 이러한 이상점들은 활용을 위한 후속처리를 하기 전에 반드시 제거되어야 한다. 특히 민감도가 아주 높은 가이거 모드 검출기를 이용하는 라이다로 취득한 데이터는 높은 비율의 이상점을 포함하고 있다. 이로 인해 기존의 알고리즘은 이러한 데이터로부터 성공적으로 이상점을 검출하는데 어려움이 있었다. 이에 본 연구는 가이거 모드 영상 라이다로 획득된 높은 이상점 비율을 갖는 점군에서 이상점을 제거하는 방법을 제안한다. 제안된 방법은 의미 있는 표적의 표면은 검출기상에서 두 개 이상의 이웃픽셀에 검출되며, 이러한 이웃픽셀들로부터 출력되는 거리값은 유사하다는 점을 이용한다. 개발된 제거 기법은 시뮬레이션으로 생성된 다양한 점밀도와 이상점 비율의 모의 데이터에 적용하여 임계값과 데이터 특성에 따른 성능을 분석하였다. 대부분의 경우에 약 99% 이상의 이상점 검출성능이 나타났으며, 데이터 특성에 강인하고 임계값에 크게 민감하지 않는 검출성능을 확인하였다. 제안된 방법은 향후 가이거 모드 라이다 데이터의 온라인 실시간 처리 또는 후처리에 효과적으로 활용될 것으로 판단된다.