• Communications for Statistical Applications and Methods
• /
• 제30권2호
• /
• pp.135-147
• /
• 2023

Skipped median is more robust than median when outliers are not symmetrically distributed. In this work, we propose a novel algorithm to estimate the skipped median. The idea of skipped median and the new algorithm are extended to regression problem, which is called least clipped absolute deviation (LCAD). Since our proposed algorithm for nonconvex LCAD optimization makes use of convex least absolute deviation (LAD) procedure as a subroutine, regularizations developed for LAD can be directly applied, without modification, to LCAD as well. Numerical studies demonstrate that skipped median and LCAD are useful and outperform their counterparts, median and LAD, when outliers intervene asymmetrically. Some extensions of the idea for skipped median and LCAD are discussed.

• Wind and Structures
• /
• 제26권6호
• /
• pp.383-395
• /
• 2018

An accurate determination of wind speed distribution is the basis for an evaluation of the wind energy potential required to design a wind turbine, so it is important to estimate unknown parameters of wind speed distribution. In this paper, Gumbel distribution is used in modelling wind speed data, and alternative robust estimation methods to estimate its parameters are considered. The methodologies used to obtain the estimators of the parameters are least absolute deviation, weighted least absolute deviation, median/MAD and least median of squares. The performances of the estimators are compared with traditional estimation methods (i.e., maximum likelihood and least squares) according to bias, mean square deviation and total mean square deviation criteria using a Monte-Carlo simulation study for the data with and without outliers. The simulation results show that least median of squares and median/MAD estimators are more efficient than others for data with outliers in many cases. However, median/MAD estimator is not consistent for location parameter of Gumbel distribution in all cases. In real data application, it is firstly demonstrated that Gumbel distribution fits the daily mean wind speed data well and is also better one to model the data than Weibull distribution with respect to the root mean square error and coefficient of determination criteria. Next, the wind data modified by outliers is analysed to show the performance of the proposed estimators by using numerical and graphical methods.

• 한국ITS학회 논문지
• /
• 제12권6호
• /
• pp.10-21
• /
• 2013

본 연구에서는 교통정보시스템에서 통행시간의 이상치 자료를 제거하기 위한 복합 필터링 모형을 제시하였으며, 이는 중위절대편차법과 Voting Rule을 기반으로 하는 이중화된 필터링 모형에 해당한다. 본 모형은 중위절대편차법을 이용해 표본을 정규분포화 시키기 위한 1차 필터링을 수행하며, 이후 Voting Rule을 이용해 중위절대편차법의 적용 이후에도 남아 있는 이상치 자료를 제거하는 방식에 해당한다. 이때 Voting Rule은 표본의 통행시간과 평균통행시간의 차이가 임계치를 초과하는 경우 해당 표본을 이상치로 판정하며, 다수결의 원칙을 이용하여 이상치 자료의 비율에 따라 이상치에 대한 제거 여부를 결정한다. 일반국도 3호선의 경기도 광주시 구간을 대상으로 한 사례분석을 통해 복합 필터링 모형이 이상치 표본 만을 선택적으로 제거하여 통행시간 추정의 정확도 개선에 기여할 수 있음을 확인하였다.

• 한국전자통신학회논문지
• /
• 제9권12호
• /
• pp.1381-1388
• /
• 2014

본 논문에서는 지형의 형태 파악에 주로 이용되는 SAR(Synthetic Aperture Radar) 영상의 화질을 저해하는 주된 요소인 잡음을 제거하기 위하여 웨이블렛 변환 기반 MAD순서통계량 알고리즘을 논의한다. 효과적인 영상개선을 위하여 SAR 영상에 근사부분대역의 웨이블렛 계수에 가중평균(Weighted average)법으로 영상처리하고 상세 부분대역의 웨이블렛 계수에 중앙절대편차(MAD : Median Absolute Deviation)를 이용한 임계값을 설정하여 왜곡요소를 제거하는 방법을 제안한다. 특히 제안 방법의 임계값은 잡음과 같은 왜곡요소를 배재하고 영상의 통계량을 고려하여 설정하였다. 제안된 방법은 실시간처리를 보장하기 위하여 DSP와 FPGA를 이용한 하드웨어로 구현하였으며 Xilinx FPGA를 사용하여 실험 하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제14권1호
• /
• pp.67-74
• /
• 2003

Median regression analysis has robustness properties which make it an attractive alternative to regression based on the mean. Support vector machine (SVM) is used widely in real-world regression tasks. In this paper, we propose a new SV median regression based on check function. And we illustrate how this proposed SVM performs and compare this with the SVM based on absolute deviation loss function.

• 한국정보통신학회논문지
• /
• 제17권11호
• /
• pp.2636-2644
• /
• 2013

본 논문에서는 서로 다른 감지장치로부터 획득한, 특성이 상이한 다중영상인 가시광선 영상과 적외선 영상의 까다로운 영상융합을 수행할 수 있는 웨이블렛 기반 MAD순서통계량을 논의한다. 상이한 두 영상의 효과적인 영상융합을 위하여 근사부분대역의 웨이블렛 계수에 가중평균(Weighted average)법으로 융합처리하고 상세 부분대역의 웨이블렛 계수에 중앙절대편차(MAD: Median Absolute Deviation)를 이용한 임계값을 비교하여 두 영상의 장점만을 표현하는 방법을 제안한다. 특히 기존의 융합규칙들은 두 영상간의 화소나 지표 값의 대 소 관계에 의해 융합 영상이 이루어짐으로서 왜곡요소가 융합영상에 포함되어 왜곡된 융합영상을 얻을 가능성이 높다. 이러한 단점을 보완하기 위하여 제안 방법의 임계값은 잡음과 같은 왜곡요소를 배재하고 영상의 통계량을 고려하여 설정하였다. 다양한 다중영상을 기존 영상 융합 방법들과 비교하여 제안한 영상융합 방법의 우수성을 종합적 실험결과를 통하여 확인할 수 있었다. 제안된 방법은 실시간처리를 보장하기위하여 DSP와 FPGA를 이용한 하드웨어로 구현하였으며 Xilinx FPGA를 사용하였다.

• 전자공학회논문지 IE
• /
• 제43권4호
• /
• pp.65-75
• /
• 2006

본 연구에서는, 열상장비(thermal imaging equipment)로 촬영한 적외선 영상의 화질을 저해하는 주된 요소인 임펄스 잡음(impulse noise)과 가우시안 잡음(Gaussian noise)을 제거하는 웨이브렛 변환 기반 방법을 논의한다. 효과적인 잡음제거를 위하여 잡음으로 손상된 적외선 영상에 대하여 상세 부분대역 웨이브렛 계수에 대한 미분과 중앙절대편차(median absolute deviation)를 이용한 문턱값 설정방법을 제안하였다. 특히, 임펄스성 잡음제거를 위해서 웨이브렛 계수를 미분하여 임펄스 잡음의 위치를 나타내는 이진 마스크를 생성하는 방법을 채택하였다. 이와 같은 방법에 의해, 모서리와 잡음을 구분하는 적응 문턱 값 설정을 보다 효율적으로 얻을 수 있었고, 기존 웨이브렛 수축법과 비교를 통하여 제안한 잡음제거 방법의 타당성을 확인하였다.

• 응용통계연구
• /
• 제14권2호
• /
• pp.463-473
• /
• 2001

선형모형의 회귀계수의 L$_1$-추정량의 점근분포는 오차항의 중앙값에 종속되어있는데, 이 값은 잔차의 순서통계량의 함수로 추정될 수 있다. 본 논문에서는 오차항 중앙값의 추정량을 유도하는 몇 가지 방법을 소개하고 몬테칼로 실험을 통하여 가장 바람직한 추정량의 형태를 제안하였다. 또한 제안한 추정량을 이용하면 검정문제에서도 좋은 결과를 얻을 수 있음을 보였다.

• 한국산학기술학회논문지
• /
• 제18권3호
• /
• pp.249-257
• /
• 2017

신뢰성 있는 통행시간 예측을 위해 DSRC로부터 수집된 통행시간에서의 이상치(outlier) 필터링은 필수이다. 통행시간 예측을 위해 사용되는 보편적 기법인 TRANSGUIDE는 특정 분석 시간동안 통행시간의 변동이 크게 발생하는 조건에서 수집데이터의 이상치 제거를 효율적으로 처리하지 못하는 문제점이 존재한다. 이에 본 연구에서는 TRANSGUIDE의 한계점 을 보완할 수 있는 알고리즘을 제안하고자 한다. TRANSGUIDE가 특정 분석 시간대 충분한 데이터 관측이 어려울 경우 Median Absolute Deviation(MAD)를 이용하여 이상치 제거를 위한 새로운 유효 분석 영역을 설정하였다. 새로운 분석 영역 설정 후 특정 시간대 교통 조건하에서 최대 허용 가능한 이상치를 고려한 변수 ${\alpha}$, ${\beta}$를 제안하였다. 변수 ${\alpha}$, ${\beta}$를 추정하기 위해 과거 데이터와 도로 구간의 특성을 반영하였다. 개발된 알고리즘은 수도권 일반국도 3호선, 2013년 1월 1달간 DSRC 데이터가 존재하는 다차로 일반국도에 적용하였다. 누적상대도수를 이용하여 모형의 정산 수행 후 성능에 대해 정량적 평가를 수행하였다. 개발된 알고리즘은 기존의 TRANSGUIDE가 특정 조건, 즉 일정 분석 시간동안 교통 조건이 급하게 변동되는 구간에서 이상치 제거에 취한한 점을 보완하는 것으로 판단되었다. TRANSGUDIDE가 특정 조건에서 통행시간 예측이 어려울 경우 본 개발 알고리즘은 활용될 것으로 판단한다.

• 한국해안해양공학회지
• /
• 제18권2호
• /
• pp.124-136
• /
• 2006

백령도 용기포항 연안해역에서 2004년 6월에 채취한 총 90개 퇴적물을 분석하여 추정된 정보를 기준격자정보로 하여, 내삽기법과 퇴적물 추출 밀도변화에 따른 추정 퇴적물 입도분포 정보(중앙입경(D50) 등)의 변화를 분석하였다. 격자정보 추출방법에 의한 절대편차의 표준편차는 자료수가 많은 6월에는 $8.0 {\mu}m$ 정도, 적은 경우인 11월은 $10{\mu}m$ 이상으로 분석되었다. 표본추출밀도에 따른 격자내용과 기준격자정보를 비교하여 추정한 절대편차의 통계정보는, 표본의 수가 감소할수록 절대편차의 평균오차는 증가하는 경향을 보인다. 연구사업에서 요구되는 퇴적물 정보의 정확도(절대편차 평균기준) 수준이 10% 이하인 경우에는 50개정도의 표본이 적당한 수준으로 파악되었다. 이 경우의 표본추출밀도는 용기포항 연안해역 격자정보 전환 면적(5.9 $km^2$)을 기준으로 50개 정도를 적용하는 경우, $km^2$당 9개 정도이다.