Sample Distortion in Social Surveys and Effects of Weighting Adjustment: A Study of 18 Cases

사회조사에서 표본의 왜곡과 가중치 보정의 결과: 18개 사례연구

We collected and analyzed 18 social surveys to assess the quality of samples with respect to region, gender, age-band, education level and occupation. We found in our samples that highly educated people and house wives are over-represented whereas low educated people, self-employed/blue collars and white collars are under-represented. To correct such sample distortions, we applied the iterative proportional weighting or the raking to our samples. We observed sizable changes in survey results. Also, the effective sample sizes were shrunken up to 20%-40%, that could be interpreted as the necessity of larger samples to meet the claimed sampling error limits.

우리나라에서 수행되는 사회조사들은 대부분 지역, 성과 나이대를 고려한 할당추출법(quota sampling)을 사용하며 전화번호부를 표집틀로 한 전화조사가 주류를 이룬다. 이러한 표본들이 지역, 성, 나이대 외의 인구사회적 속성 측면에서 모집단을 잘 대표하는지, 아니면 일정 방향으로 기울어져 있는지를 검토할 필요가 있다. 또한 표본 편향을 줄이기 위하여 가중법을 적용하는 경우 조사 결과에 어떤 영향을 주는가를 살펴볼 필요가 있다. 이 연구는 2000년부터 2003년 사이에 전화조사로 수행된 18례의 사회조사에서 표본의 모집단 대표성을 지역, 성. 나이대, 학력과 직업 측면에서 살펴본 것이다. 사례들을 종합한 결과, 지역, 성과 나이대를 보정한다고 하더라도 표본들에서 고학력자와 가정주부가 과다하고 반면 저학력자와 자영업/블루칼러, 화이트칼러가 과소한 것으로 나타났다. 학력과 직업에서의 왜곡은 많은 사회조사에서 본조사 항목의 편향을 초래할 가능성이 있다. 반복비례가중법으로 이러한 표본왜곡을 시정하여 보았더니 본조사 항목에서 원조사 결과와 상당한 차이가 나타났다. 가중치 보정을 하면 유효표본크기가 감소하는 결과가 초래되는데, 각 조사가 명목적으로 제시하는 일정 수준의 오차한계를 지키기 위해서는 현재보다 20~4-% 정도 표본을 크게 해야 한다는 결론을 얻었다.