• 제목/요약/키워드: 이상치제거

검색결과 418건 처리시간 0.031초

이상치 탐지법을 이용한 강건 이분산 검정 (Robust tests for heteroscedasticity using outlier detection methods)

  • 서한손;윤민
    • 응용통계연구
    • /
    • 제29권3호
    • /
    • pp.399-408
    • /
    • 2016
  • 회귀분석에서 이분산이 발생할 경우 표준적 추정절차에 따른 결과는 유효하지 않게 되므로 이를 확인하는 것이 필요하다. 이분산 문제와 더불어 이상치가 함께 존재하면 이분산에 관한 진단은 왜곡될 수 있다. 이상치가 존재할 때 이분산을 진단하는 기존의 방법들은 강건통계량을 이용하거나 이상치를 제거하는 접근법을 사용한다. 이분산 문제에서 이상치를 탐지하기 위하여 여러 가지 접근법이 제시되었다. 본 연구에서는 이분산 진단과정에서 이상치를 배제하기 위하여 기존의 이분산 검정과정에 순차적 이상치 탐지법을 적용하는 절차를 제시한다. 제시된 방법은 모의실험 및 예제를 통해 기존의 검정방법과 검정력을 비교한다.

서포트벡터 기계를 이용한 이상치 진단 (Outlier Detection Using Support Vector Machines)

  • 서한손;윤민
    • Communications for Statistical Applications and Methods
    • /
    • 제18권2호
    • /
    • pp.171-177
    • /
    • 2011
  • 실생활에서 얻어지는 자료에서 근사함수를 구성하기 위하여 모델링을 하기 전에 측정된 원자료로부터 이상치를 제거하는 것이 필요하다. 기존의 이상치 진단의 방법들은 시각화나 최대 잔차들을 이용해왔다. 그러나 종종 다차원의 입력자료를 가지는 비선형함수에 대한 이상치 진단은 좋지 않은 결과를 얻었다. 다차원 입력자료를 갖는 비선형함수에 대한 전형적인서포트 벡터 회귀에 기초한 이상치 진단방법들은 좋은 수행능력을 얻어지지만, 계산비용이나 모수들의 보정 등의 실질적인 문제점들을 가지고 있다. 본 논문에서 계산비용을 감소하고 이상치의 문턱을 적절히 정의하는 서포트 벡터회귀를 이용한 이상치 진단의 실질적인방법을 제안한다. 제안한 방법을 실제자료들에 적용하여 타당성을 보일 것이다.

국소가중다항회귀분석을 이용한 이상치제거 및 자료보정기법 개발 (GPS를 이용한 개별차량 주행속도를 중심으로) (Correction of Erroneous Individual Vehicle Speed Data Using Locally Weighted Regression (LWR))

  • 임희섭;오철;박준형;이건우
    • 대한교통학회지
    • /
    • 제27권2호
    • /
    • pp.47-56
    • /
    • 2009
  • 현장에서 수집되는 교통원시자료는 수집장비의 결함 및 주변환경 등에 의해 다양한 이상치가 발생한다. 원시자료의 품질은 추가 가공을 통해 생성되는 교통정보의 신뢰도에 직접적인 영향을 미치는 중요한 요인이다. 실시간으로 수집되는 교통원시자료를 1차 가공하는데 있어서 핵심은 이상치(Outlier)를 검지하고 보정하는 것이라고 할 수 있다. 본 연구에서는 GPS장비를 이용해 얻은 개별차량의 주행속도에서 발생하는 이상치를 제거하고 보정하는 기법을 제안하였다. GPS는 광범위한 교통네트워크상의 차량추적에 용이하게 사용될 수 있는 장점이 있다. 수집된 개별차량의 주행속도에서 이상치를 검지하고 보정하기 위해 국소가중다항회귀분석(LWR: Locally Weighted Regression)을 적용하였다. 또한 국소가중다항회귀분석을 수행하기 위한 파라미터 결정 알고리즘을 개발하여 적용하였다. 개발된 필터링 기법의 성능 평가를 위해 Synthetic Outlier를 생성 및 주입하여 개발된 필터링 기법을 통해 보정시키고 원시자료와 비교 분석 하였고, LWR을 이용한 기법의 상대적 성능 평가를 위해 지수평활화를 이용한 기법과 비교하였다. 평가 결과 LWR기법이 지수평활화를 이용한 기법보다 낮은 오차율을 보여 상대적으로 우수함을 검증하였다. 본 연구에서 제안한 방법론은 교통정보공학 분야의 자료처리 및 정보가공을 위한 도구로서 활용도가 클 것으로 기대된다.

불안정한 교통류상태에서 TRANSGUIDE 이상치 제거 기법 개선을 통한 교통 통행시간 예측 향상 연구 -DSRC 수집정보를 중심으로- (Study on Enhancement of TRANSGUIDE Outlier Filter Method under Unstable Traffic Flow for Reliable Travel Time Estimation -Focus on Dedicated Short Range Communications Probes-)

  • 모타즈 케들러;윤덕근
    • 한국산학기술학회논문지
    • /
    • 제18권3호
    • /
    • pp.249-257
    • /
    • 2017
  • 신뢰성 있는 통행시간 예측을 위해 DSRC로부터 수집된 통행시간에서의 이상치(outlier) 필터링은 필수이다. 통행시간 예측을 위해 사용되는 보편적 기법인 TRANSGUIDE는 특정 분석 시간동안 통행시간의 변동이 크게 발생하는 조건에서 수집데이터의 이상치 제거를 효율적으로 처리하지 못하는 문제점이 존재한다. 이에 본 연구에서는 TRANSGUIDE의 한계점 을 보완할 수 있는 알고리즘을 제안하고자 한다. TRANSGUIDE가 특정 분석 시간대 충분한 데이터 관측이 어려울 경우 Median Absolute Deviation(MAD)를 이용하여 이상치 제거를 위한 새로운 유효 분석 영역을 설정하였다. 새로운 분석 영역 설정 후 특정 시간대 교통 조건하에서 최대 허용 가능한 이상치를 고려한 변수 ${\alpha}$, ${\beta}$를 제안하였다. 변수 ${\alpha}$, ${\beta}$를 추정하기 위해 과거 데이터와 도로 구간의 특성을 반영하였다. 개발된 알고리즘은 수도권 일반국도 3호선, 2013년 1월 1달간 DSRC 데이터가 존재하는 다차로 일반국도에 적용하였다. 누적상대도수를 이용하여 모형의 정산 수행 후 성능에 대해 정량적 평가를 수행하였다. 개발된 알고리즘은 기존의 TRANSGUIDE가 특정 조건, 즉 일정 분석 시간동안 교통 조건이 급하게 변동되는 구간에서 이상치 제거에 취한한 점을 보완하는 것으로 판단되었다. TRANSGUDIDE가 특정 조건에서 통행시간 예측이 어려울 경우 본 개발 알고리즘은 활용될 것으로 판단한다.

건설 계측 데이터에 대한 통합 이상치 분석 시스템 개발 (Development of Integrated Outlier Analysis System for Construction Monitoring Data)

  • 전제성
    • 한국지반환경공학회 논문집
    • /
    • 제21권5호
    • /
    • pp.5-11
    • /
    • 2020
  • 구조물의 이상징후 판단 및 장단기 안정성, 장래 거동 등의 판단에 다양한 계측결과가 효율적으로 이용되기 위해서는 계측 데이터 내에 포함한 각종 이상치의 판정 및 제거가 필요하다. 본 연구에서는 장기 시계열 데이터에 대한 이상치 평가를 수행하기 위한 통합 이상치 분석 시스템을 개발하였다. 이상치 평가는 시계열 분석법에 의한 단일 데이터셋 대상의 1차 이상치 분석과 합성신호 기반의 다중 데이터셋에 대한 2차 이상치 분석으로 구분하여 단계별로 수행되었다. 통합 이상치 분석 시스템은 구조물에 대한 종합 안전관리 플랫폼과 실시간 연동되어 구조물의 각종 안전성 평가 및 거동 예측 등을 위한 기초자료를 제공할 수 있도록 개발되었다. 현장 적용을 통해 일정 경향을 보이는 동종의 다수 센서들의 합성신호와 개별 데이터셋 간의 상관성이 크게 증가함을 확인할 수 있었으며, 상관성에 대한 가중치 적용을 통해 차별 거동을 보이는 다양한 센서 계측치들도 모두 통합 이상치 분석에 활용될 수 있음을 확인 할 수 있었다.

선형회귀에서 변수선택, 변수변환과 이상치 탐지의 동시적 수행을 위한 절차 (A procedure for simultaneous variable selection, variable transformation and outlier identification in linear regression)

  • 서한손;윤민
    • 응용통계연구
    • /
    • 제33권1호
    • /
    • pp.1-10
    • /
    • 2020
  • 본 연구에서는 선형회귀모형에서 이상치와 변수변환을 고려한 변수선택 알고리즘을 다룬다. 제안된 방법은 잠재적 이상치를 탐지하여 제거한 후 변수변환 추정을 위해 최소 절사 제곱 추정법을 적용하며 가능한 모든 회귀모형을 비교하여 최종적으로 변수를 선택한다. 정확한 변수 선택과 추정된 모델의 적합도의 맥락에서 방법의 효율성을 보여주기 위해 실제 데이터 분석 및 시뮬레이션 결과가 제시된다.

국토해양부 NDGPS 정확도 향상을 위한 의사거리 보정치의 이상점 및 노이즈 제거기법 개발 (Development of Removal Techniques for PRC Outlier & Noise to Improve NDGPS Accuracy)

  • 김군택;김혜인;박관동
    • 대한공간정보학회지
    • /
    • 제19권2호
    • /
    • pp.63-73
    • /
    • 2011
  • DGPS(Differential Global Positioning System) 측위에 보정정보로 사용되는 의사거리 보정치(PRC, Pseudo Range Correction)에는 불규칙적으로 이상점, 노이즈, 이상현상이 발생한다. 이러한 의사거리 보정치를 보정정보로 사용한 DGPS 측위의 경우 측위 오차는 증가하게 된다. 따라서 이 연구에서는 발생되는 의사거리 보정치의 이상점, 노이즈, 이상현상을 다항식 곡선 접합을 적용한 모델링을 통해 검출 및 보정하는 기법을 제안하였다. 또한 의사거리 보정치 모델의 검증을 위해 보정 전 후의 의사거리 보정치를 DGPS 측위에 사용하여 측위오차를 분석하였다. 분석 결과, 이상점, 노이즈, 이상현상이 발생하는 의사거리 보정치를 사용한 측위의 RMS 오차는 수평방향으로 3.84m로 나타났고, 보정된 의사거리 보정치를 사용한 측위에서는 RMS 오차가 수평방향으로 1.49m로 나타나서 측위 정확도가 향상되는 것을 확인하였다.

외상성교합의 처치 (Treatment of Traumatic Occlusion)

  • 황광세
    • 대한치과의사협회지
    • /
    • 제21권6호통권169호
    • /
    • pp.459-462
    • /
    • 1983
  • 교합의 부조화는 외상성교합을 야기시킬 뿐만 아니라 치태의 침착을 용이하게 하며 일단 침착된 치태의 제거에도 애로점이 있고 외과적으로 치주낭을 제거하기 위한 술식을 적용할 때에도 문제점이 있다. 따라서 교합의 부조화를 치료해주는 교합치료는 완벽한 치주처치를 위한 중요한 한 분야이다. 특히 치주과 영역에서 외상성교합의 처치는 필수적이며, 그 방법도 대단히 다양하다. 외상성 교합의 증상에 따라서 치료방법을 선택하자면 다음과 같다. 우선 치은조직에 치은퇴축 혹은 형태의 이상이 야기되었을 때에는 이에 따라 외과적인 처치가 선행되어야 함은 물론이며 다음 단계가 치아의 위치이상을 교정적인 처치를 통하여 정복하거나 동요치를 안정시켜줄 필요가 있으며 또한 정확한 교합조정술이 필요하다. 교합조정술에 대한 제반 사항과 술식에 대하여는 본지, 1982년도 6월호에 상세히 언급되었으므로 본 원고에서는 교정적인 처치방법과 치주고정장치의 적용에 대하여 기술 하고자 한다.

  • PDF

고정성 치과보철물의 제거원인 및 지대치 재사용에 관한 연구 (A Study of Causes for Removal of Fixed Prostheses and Fate of Abutment)

  • 목원균;김희중;정재헌;오상호
    • 구강회복응용과학지
    • /
    • 제24권1호
    • /
    • pp.1-17
    • /
    • 2008
  • 이 연구의 목적은 고정성 보철물의 제거와 지대치의 생존율을 위한 원인을 조사하는 것이었다. 총 192개의 고정성 보철물이 조선대 치과병원에서 제거되었고 308개의 지대치가 조사되었다. 제거의 가장 빈번한 이유는 치주 문제였고(30.7%), 그 다음이 우식(29.7%), 그리고 치근단 문제(18.8%) 였다. 금속도재관에서 치주 문제는 가장 빈번한 제거의 원인이었다. 완전주조관에서는 우식이 제거의 가장 흔한 이유였다. 치근단과 치주의 문제는 각각 40대 이하와 50대 이상의 사람들에서 가장 흔한 원인이었다. 308개의 지대치 중 생활치와 실활치는 각각 135(43.8%)와 173(56.2%) 이었다. 135개의 생활치 중에서 39(28.9%)개가 발거되었고, 173개의 실활치 중에서 85(49.1%)개가 발거되었다. 고정성 보철물의 제거와 지대치의 발거를 위한 각각의 위험 요소는 최종 보철물과 지대치의 예상과 진단을 위해 더 명확히 평가되어야만 한다.