• Journal of the Korean Data and Information Science Society
• /
• 제24권1호
• /
• pp.33-39
• /
• 2013

반응변수의 변환을 고려하는 부분선형모형에서 이상치 문제는 선형모형에서와 마찬가지로 반응변수 변환모수의 추정에 왜곡된 결과를 초래할 수 있다. 이를 해결하기 위해서는 부분선형모형에서 반응변수 변환 모수 추정과 이상치 탐지 과정이 수행되어야 하지만 모형에 포함된 비모수 함수의 비정형성에 따른 어려움이 크다. 본 연구에서는 부분선형모형의 비모수함수에 대한 추정과 순차적 검정, 최대절사우도추정 등과 같은 이상치 제거방법의 적용을 통하여 부분선형모형에서 이상치에 강건한 반응변수 변환 과정을 제안한다. 제안된 방법들은 모의실험과 예제를 통해 효과를 비교 검증한다.

• ETRI Journal
• /
• 제42권6호
• /
• pp.886-898
• /
• 2020

Unusual data patterns or outliers can be generated because of human errors, incorrect measurements, or malicious activities. Detecting outliers is a difficult task that requires complex ensembles. An ideal outlier detection ensemble should consider the strengths of individual base detectors while carefully combining their outputs to create a strong overall ensemble and achieve unbiased accuracy with minimal variance. Selecting and combining the outputs of dissimilar base learners is a challenging task. This paper proposes a model that utilizes heterogeneous base learners. It adaptively boosts the outcomes of preceding learners in the first phase by assigning weights and identifying high-performing learners based on their local domains, and then carefully fuses their outcomes in the second phase to improve overall accuracy. Experimental results from 10 benchmark datasets are used to train and test the proposed model. To investigate its accuracy in terms of separating outliers from inliers, the proposed model is tested and evaluated using accuracy metrics. The analyzed data are presented as crosstabs and percentages, followed by a descriptive method for synthesis and interpretation.

• Communications for Statistical Applications and Methods
• /
• 제12권3호
• /
• pp.635-642
• /
• 2005

In statistical diagnostics a large number of influence measures have been proposed for identifying outliers and influential observations. However it seems to be few accounts of the influence diagnostics on test statistics. We study influence analysis on the likelihood ratio test statistic whether the two sets of variables are uncorrelated with one another or not. The influence of observations is measured using the case-deletion approach, the influence function. We compared the proposed influence measures through two illustrative examples.

• Communications for Statistical Applications and Methods
• /
• 제6권3호
• /
• pp.967-976
• /
• 1999

In this paper we study the Hellinger distance based goodness-of-fit tests that are analogs of likelihood ratio tests. The minimum Hellinger distance estimator (MHDE) in normal models provides an excellent robust alternative to the usual maximum likelihood estimator. Our simulation results show that the Hellinger deviance test (Simpson 1989) based goodness-of-fit test is robust when data contain outliers. The proposed hellinger deviance test(Simpson 1989) is a more direcct method for obtaining robust inferences than an automated outlier screen method used before the likelihood ratio test data analysis.

• 한국해양환경ㆍ에너지학회지
• /
• 제15권2호
• /
• pp.156-162
• /
• 2012

연안 환경모니터링 사업이 확대되면서 방대하게 축적되어 있는 연안 환경모니터링 자료의 통계적 분석을 위해서는 모니터링 자료에서 빈번하게 발생하는 이상 자료의 감지 처리가 우선적으로 필요하다. 본 연구에서는 연안 환경모니터링 자료의 어림성분과 나머지(또는 잔차)성분을 이용한 이상자료 진단기법을 제안하였다. 주기함수를 이용한 조화분석 방법과 국지 회귀함수추정 방법을 이용하여 각각 어림성분과 나머지성분을 추출한 후, 추출된 나머지성분 자료에 범용적인 Grubbs 검정기법 및 수정표본점수기법을 적용하여 이상자료를 진단 제거한 후 이상자료가 제거된 자료로 재구성하는 방법이다. 제안된 이 기법을 국립수산과학원 실시간어장정보시스템 제공하는 연안 수온 연속 모니터링 자료에 적용한 결과 이상자료가 성공적으로 제거되는 양상을 보이는 것으로 파악되었다.

• Communications for Statistical Applications and Methods
• /
• 제16권1호
• /
• pp.163-168
• /
• 2009

Given the specific mean shift outlier model, the standard approaches to obtaining test statistics for outliers are discussed. Accuracy of outlier tests is investigated using subset curvatures. These subset curvatures appear to be reliable indicators of the adequacy of the linearization based test. Also, we consider obtaining graphical summaries of uncertainty in estimating parameters through confidence curves. The results are applied to the problem of assessing the accuracy of outlier tests.

• 대한토목학회논문집
• /
• 제7권1호
• /
• pp.1-9
• /
• 1987

이 논문(論文)은 조정결과(調整結果)의 해석(解析)을 통한 돌출오차(突出誤差)의 검출(檢出)과 측지망(測地網)의 신뢰도(信賴度)에 대한 것으로서 기존의 최소제곱조정 프로그램에 추가되는 방법(方法)이 제시되었다. 실제로 테스트망에 적용한 결과(結果)로부터 신뢰도(信賴度)를 고려해야 하는 문제에 효과적으로 활용할 수 있음을 보여주고 있다.

• 응용통계연구
• /
• 제7권2호
• /
• pp.213-224
• /
• 1994

두개의 공분산 행렬의 동질성을 검정하는데 있어서, influence curve 방법을 이용하여 outlier를 찾는데 유용한 진단법을 제시한다. 이러한 진단법은 두개 이상의 공분산 행렬의 경우에 쉽게 일반화된다. 경험적 분포함수에 입각한 진단법의 sample version을 고려하며, 이것은 Wilks가 제안한 한개의 outlier를 찾는데 필요한 통계량과 두개의 모집단의 경우로 일반화된 Wilks 통계량을 포함한다.

• 대한토목학회논문집
• /
• 제33권2호
• /
• pp.691-702
• /
• 2013

본 연구에서는 요일별 교통량 변동 패턴 기반 평활화법을 활용하여 정량적 이상치 판정 알고리즘을 개발하였다. 또한 개발된 알고리즘을 활용하여 2010년 일반국도 상시조사 지점 중 14개 지점의 교통량 자료에 대한 이상치 필터링을 수행하여 알고리즘의 적합성 여부를 평가하였다. 그 결과 정상일 필터링율은 98.2%, 이상일 중 오필터링율은 8.0%로 평가되었다. 따라서 본 연구에서 개발된 알고리즘은 수집된 교통량 자료의 1차적인 이상치 필터링에 충분히 적용 가능할 것이다.

• 분석과학
• /
• 제22권1호
• /
• pp.82-91
• /
• 2009

국내산 석회석을 이용하여 석회석 시료의 RRT 시험용 시료를 제조하여 XRF 및 습식 분석, ICP-OES를 이용한 기기 분석을 수행하였고 그 결과를 통계적 방법에 의하여 시료의 균질도를 평가하였다. 분석 결과 몇몇 시료의 경우 예상치 못했던 정규 분포로부터의 이상성이 발견되었으며 이상치를 제거한 후 측정한 모든 성분에 대하여 정규 분포 곡선에서 95% 신뢰 구간에서의 신뢰성 있는 표준 시료를 얻을 수 있었다.