• 제목/요약/키워드: non-response imputation

검색결과 18건 처리시간 0.019초

패널자료의 무응답 대체법 (Non-Response Imputation for Panel Data)

  • 박기덕;신기일
    • Communications for Statistical Applications and Methods
    • /
    • 제17권6호
    • /
    • pp.899-907
    • /
    • 2010
  • 무응답 대체(non-response imputation) 방법에 관한 많은 이론과 방법이 제안되었으며 실제 자료 분석에 이용되고 있다. 흔히 횡단면 무응답 대체를 위하여 다중대체법(multiple imputation)이 사용되고 있으며 2차년도 이상의 패널자료에는 종시점회귀대체법(cross-wave regression imputation)이 사용되고 있다. 본 연구에서는 패널자료 분석을 위하여 종시점회귀대체법의 일반형태인 시계열 대체법과 횡단면 무응답 대체법을 결합한 시계열-횡단면 다중 대체법을 제안하였다. 노동부의 매월노동통계 자료를 이용하여 제안한 방법과 기존의 종시점회귀대체법을 비교하여 우수함을 보였다.

무시할 수 없는 무응답에서 편향 보정을 이용한 무응답 대체 (Bias corrected imputation method for non-ignorable non-response)

  • 이민하;신기일
    • 응용통계연구
    • /
    • 제35권4호
    • /
    • pp.485-499
    • /
    • 2022
  • 표본오차와 비표본오차를 포함하는 총오차(total survey error)를 관리하는 것은 표본설계에서 매우 중요하다. 무응답으로 인해 발생한 비표본오차는 총오차에서 차지하는 비중이 매우 크며 이를 해결하는 방법인 무응답 대체에 관한 다수의 연구가 수행되었다. 최근 전통적 통계학 관련 기법에 추가하여 기계학습 관련 기법을 이용한 무응답 대체법이 다수 연구되고 실질적으로 사용되고 있다. 기존에 발표된 다수의 방법은 MCAR(missing completely at random) 또는 MAR(missing at random) 가정을 사용하고 있다. 그러나 관심변수에 영향을 받는 MNAR(missing not at random) 또는 무시할 수 없는 무응답(non-ignorable non-response; NN)은 편향을 발생시켜 대체 결과의 정확성을 크게 떨어뜨리지만 이에 관한 연구는 상대적으로 미미하다. 본 연구에서는 무시할 수 없는 무응답이 발생한 경우에 적용 가능한 무응답 대체법을 제안하였다. 특히 편향을 추정한 후 이를 제거하는 방법을 이용하여 무응답 대체 결과의 정확성을 향상하는 방법을 제안하였다. 또한, 모의실험을 이용하여 제안된 방법의 타당성을 확인하였다.

BLS 무응답 보정법을 이용한 대체법과 이월대체법에 관한 연구 (A Comparison of BLS Non-Response Adjustment and Cross-Wave Regression Imputation Methods)

  • 이상은;신기일
    • 응용통계연구
    • /
    • 제23권5호
    • /
    • pp.909-921
    • /
    • 2010
  • 패널 자료에서 무응답이 발생한 경우에는 횡시점회귀대체법(cross-wave regression imputation) 등과 같은 대체법을 이용하여 무응답 문제를 해결한다. 최근 표본 틀(sampling frame) 자료를 이용하여 무응답 가중치 보정을 하는 BLS 무응답 보정법은 패널 자료에도 적용 가능한 방법으로 알려져있다. 본 논문에서는 패널자료에서 BLS 무응답 보정법을 이용한 대체법을 연구하였으며 자료가 경향이 있는 비정상시계열(nonstationary process with drift)을 따른 다는 조건하에서 BLS 무응답 보정법과 횡시점회귀대체법의 하나인 이월대체법(carry-over imputation)과의 이론적 관계를 살펴보았다. 모의실험을 통하여 이론적인 결과를 확인하였으며, 2007년 매월노동통계 자료를 이용하여 두 방법의 우수성을 비교하였다.

초모집단 모형의 오차가 이분산일 때 무시할 수 없는 무응답에서 편향수정 무응답 대체 (Bias-corrected imputation method for non-ignorable nonresponse with heteroscedasticity in super-population model)

  • 이유진;신기일
    • 응용통계연구
    • /
    • 제37권3호
    • /
    • pp.283-295
    • /
    • 2024
  • 무응답을 적절히 처리하기 위한 많은 방법이 연구되었다. 최근 다수의 무응답 대체법이 개발되고 실질적으로 사용되고 있다. 기존에 발표된 다수의 방법은 MCAR (missing completely at random) 또는 MAR (missing at random) 가정을 사용하고 있다. 그러나 관심변수에 영향을 받는 MNAR (missing not at random) 또는 무시할 수 없는 무응답(non-ignorable non-response; NN)은 편향을 발생시켜 대체 결과의 정확성을 크게 떨어뜨리지만 이에 관한 연구는 상대적으로 미미하다. Lee와 Shin (2022)은 등분산 가정하에서 무시할 수 없는 무응답을 적절히 처리할 수 있는 편향수정 무응답 대체법을 제안하였다. 본 연구에서는 Lee와 Shin (2022)이 제안한 방법을 확장한 무응답 대체법으로 초모집단 모형의 오차가 이분산인 경우에서 편향을 제거함으로써 추정의 정확성을 향상하는 방법을 제안하였다. 모의실험을 이용하여 제안된 방법의 타당성을 확인하였다.

Imputation Methods for the Population and Housing Census 2000 in Korea

  • Kim, Young-Won;Ryu, Jeabok;Park, Jinwoo;Lee, Jaewon
    • Communications for Statistical Applications and Methods
    • /
    • 제10권2호
    • /
    • pp.575-583
    • /
    • 2003
  • We proposed imputation strategies for the Population and Housing Census 2000 in Korea. The total area of floor space and marital status which have relatively high non-response rates in the Census are considered to develope the effective missing value imputation procedures. The Classification and Regression Tree(CART) is employed to construct the imputation cells for hot-deck imputation, as well as to predict missing value by model-based approach. We compare three imputation methods which include CART model-based imputation, hot-deck imputation based on CART and logical hot-deck imputation proposed by The Korea National Statistical Office. The results suggest that the proposed hot-deck imputation based on CART is very efficient and strongly recommendable.

Two-stage imputation method to handle missing data for categorical response variable

  • Jong-Min Kim;Kee-Jae Lee;Seung-Joo Lee
    • Communications for Statistical Applications and Methods
    • /
    • 제30권6호
    • /
    • pp.577-587
    • /
    • 2023
  • Conventional categorical data imputation techniques, such as mode imputation, often encounter issues related to overestimation. If the variable has too many categories, multinomial logistic regression imputation method may be impossible due to computational limitations. To rectify these limitations, we propose a two-stage imputation method. During the first stage, we utilize the Boruta variable selection method on the complete dataset to identify significant variables for the target categorical variable. Then, in the second stage, we use the important variables for the target categorical variable for logistic regression to impute missing data in binary variables, polytomous regression to impute missing data in categorical variables, and predictive mean matching to impute missing data in quantitative variables. Through analysis of both asymmetric and non-normal simulated and real data, we demonstrate that the two-stage imputation method outperforms imputation methods lacking variable selection, as evidenced by accuracy measures. During the analysis of real survey data, we also demonstrate that our suggested two-stage imputation method surpasses the current imputation approach in terms of accuracy.

수정된 BLS 가중치보정법 (Modified BLS Weight Adjustment)

  • 박정준;조기종;이상은;신기일
    • Communications for Statistical Applications and Methods
    • /
    • 제18권3호
    • /
    • pp.367-376
    • /
    • 2011
  • BLS 가중치보정법은 사업체 조사 시 발생한 무응답 및 이상점을 처리하기 위해 사용하는 가중치 보정방법중의 하나이다. 최근의 연구에 의하면 총계 추정에 있어 BLS 무응답 가중치보정법의 결과가 비추정법을 사용한 대체 결과와 일치하는 것으로 알려졌다. 본 논문에서는 이상점과 무응답이 동시에 있는 경우, BLS 무응답 가중치보정법을 비추정 대체법으로 바꾸어 총계를 추정하는 새로운 방법을 제안하였다. 매월 노동 통계 자료를 이용한 모의 실험을 통하여 제안된 방법의 우수성을 확인하였다.

Monte-Carlo expectation-maximaization 방법을 이용한 무응답 모형 추정방법 (An estimation method for non-response model using Monte-Carlo expectation-maximization algorithm)

  • 최보승;유현상;윤용화
    • Journal of the Korean Data and Information Science Society
    • /
    • 제27권3호
    • /
    • pp.587-598
    • /
    • 2016
  • 각종 선거를 앞두고 여러 여론조사 기관들은 다양한 방법으로 선거 결과를 예측한다. 조사를 통한 선거 예측을 수행하는 데 있어서 발생할 수 있는 문제점 중 하나는 무응답이며 무응답 대체 방법에 따라 예측 결과는 완전히 다른 결과를 생산해 낼 수 있다. 본 연구에서는 무응답 대체의 방법으로 모형을 기반으로 한 대체 방법에 대하여 연구하였다. 특히, 최대 우도 추정 방법을 적용했을 때 무시할 수 없는 무응답 (non-ignorable non-response) 체계 하에서 발생할 수 있는 변방 값 문제를 해결하기 위해 Wei와 Tanner (1990)가 제안한 Monte Carlo EM 알고리즘을 적용하였다. 모의 실험을 통하여 MCEM 방법과 기존의 최대 우도 추정 방법, 베이지안 추정 방법 사이의 비교 연구를 진행하였고 그 결과 MCEM 방법이 기존 방법들에 대한 대안 방법으로 이용될 수 있음을 보였다. 또한 2012년에 시행된 제18대 대통령 선거 당일의 출구조사 자료를 적용하여 실증 분석을 수행하였다. 예측 결과를 비교하기 위해 Bautista 등 (2007)이 제안한 MWPE (modified within precinct error)를 이용하였다.

경제활동인구조사 자료를 위한 다중대체 방식 연구 (A study on multiple imputation modeling for Korean EAPS)

  • 박민정;배윤종;김정연
    • 응용통계연구
    • /
    • 제34권5호
    • /
    • pp.685-696
    • /
    • 2021
  • 경제활동인구조사는 고용 관련 통계를 생성하는 국가조사로서, 국민의 경활상태(취업/실업/비경활)를 파악하는 것이 주요 목적이다. 정확한 통계를 내기 위해 무응답률을 낮추는 것이 중요하고, 이미 발생한 무응답을 보완하기 위한 방법으로 무응답 대체가 가능하다. 경제활동인구조사는 응답 방식이 순차적 흐름을 따라가기 때문에 구조적인 무응답이 존재한다. 또한 전체 가구원내 무응답 항목이 하나라도 있으면 해당 가족 구성원 전체를 무응답 처리하기에 최종 자료에는 항목 무응답이 아닌 단위 무응답만 존재한다는 특징이 있다. 본 연구에서는 구조적 무응답 이해 및 연계자료를 통한 과거 자료의 활용 등을 통해 기존의 방법보다 효과적인 무응답 대체 모형을 제시하고자 한다. 대체 모형의 성능을 일치도/비일치도를 기반으로 평가한다. 이를 위해, 2019년 11월 경제활동인구조사 자료를 기반으로 모의실험을 실시한다. 총 59,996명의 응답자 중 일부를 랜덤하게 선택한 뒤, 경활상태를 판정하는데 결정적인 설명변수 6개와 경활상태를 무응답 처리한다. 기존 무응답 대체 모형에서 사용하였던 설명 변수 이외에 산업변수와 종사상지위 변수를 추가함으로써 모형을 개선한다. 이는 과거자료의 연계 및 활용을 가정한 것으로, 기존의 모형모다 성능이 향상되는 것을 확인한다. 또한, 경활상태별 무응답자 수에 대한 다양한 시나리오를 고려한다.

CART를 활용한 결측값 대체방법 : 인구주택총조사 혼인상태 항목을 중심으로 (Missing Value Imputation Method Using CART : For Marital Status in the Population and Housing Census)

  • 김영원;이주원
    • 한국조사연구학회지:조사연구
    • /
    • 제4권2호
    • /
    • pp.1-21
    • /
    • 2003
  • 본 연구예서는 일반적인 사회조사에서 사용될 수 있는 효과적인 결측값 대체방법을 검토하기 위해 인구주택총조사 조사항목 중 혼인상태의 결측값을 대체할 수 있는 두 가지 방법을 제안하고 있다. 첫 번째 방법은 CART(Classification and Regression Tree)모형에서 얻어진 최대 예측확률을 기준으로 결측값을 대체하는 일종의 모형기반 접근법이고, 두 번째 방법은 CART 모형에서 얻어진 결과를 근거로 대체층을 구성하여 핫덱(hot-deck) 방법을 적용하는 대체방법이다. 효율성 비교를 위해 2000년 인구주택총조사를 위한 시험조사에서 얻어진 제조사 결과를 이용하여 오분류율을 검토해 본 결과 두 방법 중 CART 모형을 기반으로 핫덱 방법을 적용하는 것이 효율적이라는 결론을 얻을 수 있었다. 아울러 전국에 대해 동일한 모형을 설정한 경우와 거주지 특성에 따라 광역시$.$도의 동지역, 도의 읍$.$면지역으로 구분하여 대체방법을 적용하는 경우를 비교해 본 결과 지역 구분을 통한 효율성 향상 효과는 미흡한 것으로 파악되었다.

  • PDF