• 제목/요약/키워드: outlier adjustment

검색결과 15건 처리시간 0.017초

가중치 보정을 이용한 다중대체법 (Multiple Imputation Reducing Outlier Effect using Weight Adjustment Methods)

  • 김진영;신기일
    • 응용통계연구
    • /
    • 제26권4호
    • /
    • pp.635-647
    • /
    • 2013
  • 다중 대체법은 표본조사에서 결측값이 발생하였을 때 가장 흔히 사용하는 방법이다. 이 방법은 여러 요인에 의해 그 성능이 좌우되며 특히 이상점의 영향을 많이 받는다. 본 연구에서는 가중치 보정법을 이용하여 이상점의 영향력을 줄여 다중 대체법의 성능을 향상시키는 방법을 연구하였다. 가중치 보정법을 이용하여 얻어진 최종 가중치를 다중대체에 사용하였으며 SAS의 PROC MI가 다중 대체를 위해 사용되었다. 모의실험과 매월노동통계 자료를 이용한 실제 자료 분석을 통하여 제안된 방법의 우수성을 확인하였다.

이상점 영향력 축소를 통한 무응답 대체법 (A Multiple Imputation for Reducing Outlier Effect)

  • 김만겸;신기일
    • 응용통계연구
    • /
    • 제27권7호
    • /
    • pp.1229-1241
    • /
    • 2014
  • 이상점과 무응답이 동시에 존재하는 경우에는 무응답만 있는 경우에 비해 무응답 대체의 성능이 떨어지게 된다. 이러한 경우에는 먼저 이상점을 탐지하고, 탐지된 이상점의 영향력을 축소한 후 무응답 대체를 실시하여야 한다. 본 논문에서는 이상점의 영향력을 축소하여 무응답 대체법의 성능을 향상시키는 방법을 연구하였다. 이를 위해 She and Owen (2011)이 제안한 이상점 탐지법을 살펴보았고, 탐지된 이상점의 영향력을 줄이기 위한 방법으로 흔히 사용되는 가중치 조정법과 이상점 대체법을 살펴보았다. 또한 이상점 처리 방법을 적용한 무응답 대체법을 살펴보았으며 모의실험과 사례분석을 통하여 이상점 영향력 축소 효과를 살펴보았다.

데이터 저장소를 이용한 이상치 및 결측치 보정 시스템 (Adjustment System for Outlier and Missing Value using Data Storage)

  • 김광호;김능회
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권5호
    • /
    • pp.47-53
    • /
    • 2023
  • 현재 4차 산업혁명 시대에 오면서 다양하고 많은 데이터가 쌓여왔다. 농업사회도 스마트팜이나 노지에서 작물의 성장에 영향을 주는 환경 데이터를 센서로 수집해왔다. 환경 데이터는 측정하는 지역에 따라 특징을 가지고, 측정하는 시기에 따라서도 특징을 보이는 데이터이다. 수집된 농업 데이터를 활용해 통계, 인공지능을 사용하여 성장을 예측하거나 수확량을 예측하는 연구가 진행되어왔다. 이러한 연구는 기반이 되는 데이터에 따라 결과가 크게 차이난다. 이에 성능 향상을 위해서 데이터의 품질을 개선하기 위한 연구 또한 지속해서 진행되어왔다. 높은 성능을 위하여 많은 양의 데이터가 필요하고, 양이 충분하여도 데이터의 이상치나 결측치가 있을 경우 결과에 큰 영향을 미친다. 따라서 이상치와 결측치 값의 보정은 데이터 전처리 과정에서 필수이다. 이에 본 논문에서는 실제 농가에서 수집된 데이터를 통합하고 이를 기반으로 이상치와 결측치 보정 시스템을 제안한다.

이중추출법에서 일반화 ratio-cum-product 방법을 이용한 이상점 가중치 보정법 (An outlier weight adjustment using generalized ratio-cum-product method for two phase sampling)

  • 오정택;신기일
    • 응용통계연구
    • /
    • 제29권7호
    • /
    • pp.1185-1199
    • /
    • 2016
  • 이중추출법은 모집단 정보가 충분하지 않아 층화 추출법을 사용할 때 정확한 층화 정보가 없는 경우에 흔히 사용하는 표본추출법이다. 특히 최근에는 이중추출법을 위해 1차 조사에서 얻어진 보조 정보를 이용하여 추정의 정확성을 향상시키는 방법들이 제안되었다. 본 연구에서는 최근 제안된 일반화 ratio-cum-product 추정량에서 사용하는 가중치를 이상점 처리를 위한 가중치 보정에 맞도록 보정하여 추정의 정밀성을 향상시키는 방법을 제안하였다. 모의실험을 통하여 본 연구에서 제안한 방법과 기존의 이상점 가중치 보정법의 성능을 비교하였으며 사례 분석을 통하여 제안된 방법의 우수성을 확인하였다.

수정된 BLS 가중치보정법 (Modified BLS Weight Adjustment)

  • 박정준;조기종;이상은;신기일
    • Communications for Statistical Applications and Methods
    • /
    • 제18권3호
    • /
    • pp.367-376
    • /
    • 2011
  • BLS 가중치보정법은 사업체 조사 시 발생한 무응답 및 이상점을 처리하기 위해 사용하는 가중치 보정방법중의 하나이다. 최근의 연구에 의하면 총계 추정에 있어 BLS 무응답 가중치보정법의 결과가 비추정법을 사용한 대체 결과와 일치하는 것으로 알려졌다. 본 논문에서는 이상점과 무응답이 동시에 있는 경우, BLS 무응답 가중치보정법을 비추정 대체법으로 바꾸어 총계를 추정하는 새로운 방법을 제안하였다. 매월 노동 통계 자료를 이용한 모의 실험을 통하여 제안된 방법의 우수성을 확인하였다.

BLS 보정 방법의 민감도에 관한 연구 (A Study on the Sensitivity of the BLS Methods)

  • 이석진;신기일
    • Communications for Statistical Applications and Methods
    • /
    • 제15권6호
    • /
    • pp.843-858
    • /
    • 2008
  • 사업체 조사에서 사용되는 BLS 보정방법은 표본으로 선택된 사업체의 설계 가중치를 사후에 보정해 줌으로써 모집단의 대표성을 유지해 줄 뿐만 아니라 더욱 정확한 총계 추정을 가능하게 해준다. 일반적으로 BLS 보정은 설계가중치와 표본 틀(Sample frame)의 보조변수를 이용하여 정해지기 때문에 사용된 보조변수에 따라 보정인자의 결과 값이 다르게 된다. 본 논문에서는 보조변수가 있는 경우, 보조 변수가 없는 경우 그리고 다른 보조변수를 사용할 경우에 최종가중치가 어떻게 변하는지를 파악하기 위해 보조변수의 민감도를 살펴보았다. 본 논문에서 사용된 자료는 노동부의 2007년 매월노동통계 자료이다.

상관관계와 표본 크기에 따른 BLS 무응답 보정의 효율성 비교 (A Study on the Efficiency of the BLS Nonresponse Adjustment According to the Correlation and Sample Size)

  • 김석;신기일
    • 응용통계연구
    • /
    • 제22권6호
    • /
    • pp.1301-1313
    • /
    • 2009
  • 미국 노동통계청에서 사용하고 있는 BLS 방법의 효율성과 민감성에 관한 연구 결과에 의하면 표본 틀 (Sample frame) 자료와 조사된 자료의 상관관계가 높을수록 BLS 무응답 보정 효과는 커지는 것으로 알려져 있다 (이석진과 신기일, 2008). 그러나 표본 틀 자료와 조사된 자료의 상관계수가 층별로 크기가 다른 경우, BLS 보정 효과는 달라질 수 있다. 따라서 일반적으로 실시되는 표본 설계에서는 층화추출 방법이 사용되기 때문에 각 층의 표본 크기와 상관계수가 다른 경우의 BLS 보정 효과률 살펴보는 것은 매우 중요하다. 본 논문에서는 층의 표본 크기와 상관계수 그리고 무응답 비율에 따른 BLS 무응답 보정 효과를 살펴보았다. 이를 위해 사용된 자료는 노동부의 월별 자료인 2007년 매월노동통계 자료이다.

Detection Power when outliers are present at or near the end of time series

  • 이종선;안미혜;이재준
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2003년도 추계 학술발표회 논문집
    • /
    • pp.281-283
    • /
    • 2003
  • 시계열 모형을 따르는 자료의 예측(Forecasting)이나 공정조정(Process Adjustment)의 경우, 자료의 마지막 부분에 발생한 이상치(Outlier)에 의해 크게 영향 받을 수 있다. 그러나 지금까지 제안된 이상치 탐지 방법은 주로 자료의 중간 부분에 발생한 이상치를 검출하는데 효율적이라고 알려져 왔다. 본 연구에서는 자료의 마지막 부분에 발생한 이상치에 대한 기존 탐지 방법의 검출력을 모의 실험을 통해 분석하였다 또한, 이를 개선할 수 있는 방안을 제시하고, 모의 실험을 통해 기존의 검출력과 비교하였다.

  • PDF

다중빔 음향측심기 자료의 이상치 보정에 관한 연구 (A Study on Outlier Adjustment for Multibeam Echosounder Data)

  • 이정숙;김수영;이용국;신동완;주형태;김한준
    • 한국해양학회지:바다
    • /
    • 제6권1호
    • /
    • pp.35-39
    • /
    • 2001
  • 해저면의 지형과 형상을 조사하기 위해 획득되는 다중빔 음향측심자료는 조사선의 움직임과 빔의 위치에 따른 음압의 보정부족 등에 기인하는 이상치를 포함하고 있다. 이 연구에서는 자기회귀이동평균(ARMA)기법을 이용하여 이상치에 의해 왜곡된 자료를 보정해주는 통계학적 절차를 소개하고 이를 동해에서 얻어진 자료에 적용하였다. 이 방법에서는 자료의 자기 상관을 1차 자기회귀모형 AR(1)으로 표현하고 이를 추정한 후 추정된 모형에 현저하게 부합하지 않는 자료(이상치)는 추정된 모형을 인용하여 수정한다. 이러한 방법을 이상치가 발견되지 않을 때까지 반복적으로 되풀이한다. 자료의 처리결과 해저지형을 나타내는 신호에 비해 월등히 큰 이상치들이 대부분 제거되었음을 볼 수 있다.

  • PDF

히스토리컬 프로파일 구축과 시.공간 자료합성에 의한 단속류 통행시간 예측 (Travel Time Forecasting in an Interrupted Traffic Flow by adopting Historical Profile and Time-Space Data Fusion)

  • 여태동;한경수;배상훈
    • 대한교통학회지
    • /
    • 제27권2호
    • /
    • pp.133-144
    • /
    • 2009
  • 현재 국내에서는 지역간 교통의 이동성 및 안전성을 향상시키기 위해 국도를 대상으로 ITS사업을 추진중에 있다. 이러한 ITS 사업을 통해 교통정보를 이용자에게 실시간으로 제공해 줌으로써 기존의 교통시설의 이용을 극대화 하는데 목적을 두고 있다. 이러한 정보 제공시 운전자에게 보다 정확한 통행시간정보를 제공해 주는것이 가장 중요하므로 본 연구에서는 자료의 전처리를 통해 원시데이터의 이상치 제거 및 결측처리를 실시하였다. 이를 통해 통행시간 예측의 기본이 되는 원시데이터의 정확성을 향상시켜 정보의 신뢰도를 높일 수 있는 방안을 모색하였다. 그리고 통행시간 예측을 위해 단속류 도로의 특성을 보다 정확히 반영할 수 있는 히스토리컬 프로파일 모형을 구축하였으며 실제 교통류의 특성을 적극적으로 반영하기 위해 보정식을 개발하였다. 따라서 제안된 모형과 히스토리컬 프로파일 모형과 보정식을 통해 통행시간을 예측한 후 기존의 방식인 신경망 모형, 칼만필터 모형과의 비교검증을 실시하였다. 결과적으로 일반적인 상황에서는 칼만필터 모형과 비슷한 예측력을 보였으나, 첨두시나 유고상황에서는 개발모형이 실제 교통흐름을 상대적으로 정확히 반영하여 예측을 수행함을 확인하였다.