• 제목/요약/키워드: outliers

검색결과 656건 처리시간 0.026초

Least quantile squares method for the detection of outliers

  • Seo, Han Son;Yoon, Min
    • Communications for Statistical Applications and Methods
    • /
    • 제28권1호
    • /
    • pp.81-88
    • /
    • 2021
  • k-least quantile of squares (k-LQS) estimates are a generalization of least median of squares (LMS) estimates. They have not been used as much as LMS because their breakdown points become small as k increases. But if the size of outliers is assumed to be fixed LQS estimates yield a good fit to the majority of data and residuals calculated from LQS estimates can be a reliable tool to detect outliers. We propose to use LQS estimates for separating a clean set from the data in the context of outlyingness of the cases. Three procedures are suggested for the identification of outliers using LQS estimates. Examples are provided to illustrate the methods. A Monte Carlo study show that proposed methods are effective.

이상치 탐지법을 이용한 강건 이분산 검정 (Robust tests for heteroscedasticity using outlier detection methods)

  • 서한손;윤민
    • 응용통계연구
    • /
    • 제29권3호
    • /
    • pp.399-408
    • /
    • 2016
  • 회귀분석에서 이분산이 발생할 경우 표준적 추정절차에 따른 결과는 유효하지 않게 되므로 이를 확인하는 것이 필요하다. 이분산 문제와 더불어 이상치가 함께 존재하면 이분산에 관한 진단은 왜곡될 수 있다. 이상치가 존재할 때 이분산을 진단하는 기존의 방법들은 강건통계량을 이용하거나 이상치를 제거하는 접근법을 사용한다. 이분산 문제에서 이상치를 탐지하기 위하여 여러 가지 접근법이 제시되었다. 본 연구에서는 이분산 진단과정에서 이상치를 배제하기 위하여 기존의 이분산 검정과정에 순차적 이상치 탐지법을 적용하는 절차를 제시한다. 제시된 방법은 모의실험 및 예제를 통해 기존의 검정방법과 검정력을 비교한다.

Outlier Impact on the Power of Significance Test for Cronbach Alpha Reliability Coefficient

  • Yonghwan Um
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권5호
    • /
    • pp.179-187
    • /
    • 2023
  • 본 논문은 크론바흐 알파 신뢰계수의 유의성 검정에서 이상치가 검정력에 미치는 영향을 연구한 것이다. 표본 크기, 문항들의 수, 이상치의 수, 모집단의 크론바흐 알파 레벨의 네 개의 변수들에 변화를 주었다. 데이터 시물에이션을 위해 다변량 정규분포를 사용했고 균일분포로부터 이상치를 추출하여 사용했다. 크론바흐 알파 신뢰도의 유의성 검정을 위해 모수적 검정(F 검정)과 퍼뮤테이션 검정을 사용하였다. 결과적으로 퍼뮤테이션 검정의 검정력은 F검정의 검정력 보다 크거나 같았고, 두 검정의 검정력은 모두 이상치의 수가 많아질수록 감소하였으며 이러한 이상치의 영향은 모집단의 알파 레벨이 증가할수록 크게 나타났다.

다변량 자료에서 다수 이상치 인식의 절차 (A Procedure for Indentifying Outliers in Multivariate Data)

  • 염준근;박종구;김종우
    • 품질경영학회지
    • /
    • 제23권4호
    • /
    • pp.28-41
    • /
    • 1995
  • We consider the problem of identifying multiple outliers in linear model. The available regression diagnostic methods often do not succeed in detecting multiple outliers because of the masking and swamping effect. Recently, among the various robust estimator of reducing the effect of outliers, LMS(Least Meadian Square) estimator has been to be a suitable method proposed to expose outliers and leverage points. However, as you know it, the data analysis method with LMS estimator is to be taken the median of the squared residuals in the sample which is extracted the sample space. Then this model causes the trouble, for the number of the chosen sample is nCp, i.e. as the size of sample space n is increasing, the number is increasing fastly. And the covariance matrix may be the singular matrix, so that matrix is approching collinearity. Thus we propose a procedure ELMS for the resampling in LMS method and study the size of the effective elementary set in this algorithm.

  • PDF

통계적 추론에서 특이점의 영향을 평가하기 위한 탐색적 자료분석 그림도구로서의 불꽃그림 (Firework plot for evaluating the impact of outliers in statistical inference)

  • 문승호
    • 응용통계연구
    • /
    • 제31권1호
    • /
    • pp.155-165
    • /
    • 2018
  • 특이점 및 영향점은 자료분석을 하는 데 사용되는 수치적 측도들을 왜곡한다. 각종 자료분석에 있어서의 특이점 검색을 위한 검정 통계량이나 그림도구에 관한 연구는 꾸준히 전개되어 왔다. Jang과 Anderson-Cook (Quality and Reliability Engineering International, 30, 1409-1425, 2014)은 불꽃그림이란 이름을 붙인 그림도구를 발표하였는데 특이점이나 영향점이 일변량/이변량 자료분석 및 회귀분석에 어떠한 영향을 미치는지 알기 위하여 3-D 불꽃그림 및 불꽃그림 행렬을 제시하였다. 본 연구에서는 이러한 불꽃그림이 통계적 추론에서 특이점을 찾아내고 이러한 특이점의 영향을 평가하기 위한 탐색적 자료분석 그림도구로서 사용될 수 있음을 보였다.

Low Outliers를 고려한 홍수빈도분석에 관한 연구 (A study on the Flood Frequency Analyzed in Consideration of Low Outliers.)

  • 이순혁;홍성표;박명근
    • 한국농공학회지
    • /
    • 제30권4호
    • /
    • pp.62-70
    • /
    • 1988
  • This study was conducted to solve the problems for the unsuitable parameters and the uncertainty of design flood can be appeared by low outliers were inclined to the lower part from the trend of the balance of the data. Derivation of reasonable design flood was attempted finally by modification of low outliers with analysis of flood frequency by means of Log Pearson Type Ill distribution. Three subwatersheds were selected as studying basins with the annual maximum series including low outliers along Geum River basin. The results through this study were analyzed and summarized as follows. 1. Log Pearson Type In distribution was confirmed as a reasonable one by X$^2$ goodness of fit test at Gong Ju, Gyu Am, og Cheon watershed along Geum River basin. 2. Probable flood flows for each watershed were derivated by flood frequency curve with outliers. 3. Weighted skew coefficient for each watershed was calculated for the evaluation of freq- uency factor which is needed for the modification of low outlier. 4. It was confirrned that adjusted frequency curve has a lower tendency than that of deletion of low outlier in common at all watersheds. 5. Final probable flood flows were derivated by modification with evaluation of modified basic statistics for three watersheds. 6. In comparison with a frequency curve with modification and one with outlier, The former has a higher probable flood flow within three years of return periods than that of the latter, and vice versa over three years of return periods.

  • PDF

이상 비트율 할당과 신호왜곡 문제점을 고려한 멀티미디어 신호의 연판정 양자화 방법 (Soft-Decision Based Quantization of the Multimedia Signal Considering the Outliers in Rate-Allocation and Distortion)

  • 임종욱;노명훈;김무영
    • 한국음향학회지
    • /
    • 제29권4호
    • /
    • pp.286-293
    • /
    • 2010
  • 기존 데이터 압축 방식에는 크게 resolution-constrained quantization (RCQ) 방식과entropy-constrained quantization (ECQ) 방식이 있다. RCQ 방식은 고정 비트율 전송을 가능하게 하지만 셀 크기의 변화에 따른 이상 신호왜곡이 발생하며, ECQ 방식은 셀 크기가 고정된 대신에 이상 비트율 할당 문제가 발생한다. 본 논문에서는 기존 RCQ 방식의 대표적인 학습기법인 generalized Lloyd algorithm (GLA)을 개선한 cell-size constrained vector quantization (CCVQ) 방식을 제안한다. CCVQ 알고리즘은 셀 크기에 따라 유동적으로 패널티 척도를 주는 방식으로 기존의 RCQ와 ECQ 사이의 soft-decision을 가능하게 한다. 제안 알고리즘을 사용할 경우 기존의 GLA에 비해 약간의 평균왜곡 증가는 발생하나 이상 신호왜곡을 줄일 수 있다.

Outlier Detection in Growth Curve Model

  • Shim, Kyu-Bark
    • Journal of the Korean Data and Information Science Society
    • /
    • 제14권2호
    • /
    • pp.313-323
    • /
    • 2003
  • For the growth curve model with arbitrary covariance structure, known as unstructured covariance matrix, the problems of detecting outliers are discussed in this paper. In order to detect outliers in the growth curve model, the test statistics using U-distribution is established. After detecting outliers in growth curve model, we test homo and/or hetero-geneous covariance matrices using PSR Quasi-Bayes Criterion. For illustration, one numerical example is discussed, which compares between before and after outlier deleting.

  • PDF

The Weight Function in BIRQ Estimator for the AR(1) Model with Additive Outliers

  • Jung Byoung Cheol;Han Sang Moon
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2004년도 학술발표논문집
    • /
    • pp.129-134
    • /
    • 2004
  • In this study, we investigate the effects of the weight function in the bounded influence regression quantile (BIRQ) estimator for the AR(1) model with additive outliers. In order to down-weight the outliers of X-axis, the Mallows' (1973) weight function has been commonly used in the BIRQ estimator. However, in our Monte Carlo study, the BIRQ estimator using the Tukey's bisquare weight function shows less MSE and bias than that of using the Mallows' weight function or Huber's weight function.

  • PDF

Corner outlier 제거를 위한 후처리 기법 (Post-Processing for Reducing Corner Outliers)

  • 홍윤표;전병우
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 신호처리소사이어티 추계학술대회 논문집
    • /
    • pp.11-14
    • /
    • 2003
  • In block-based lossy video compression, severe quantization causes discontinuities along block boundaries so that annoying blocking artifacts are visible in decoded video imases. These blocking artifacts significantly decrease the subjective image quality. In order to reduce the blocking artifacts in decoded images, many algorithms have been proposed However studies on so called, corner outliers, have been very limited. Corner outliers make image edges look disconnected from those of neighboring blocks at cross block boundary. In order to solve this problem, we propose a corner outlier detection and compensation algorithm as post-processing in spatial domain The experiment results show that the proposed method provides much improved subjective image quality.

  • PDF