Systematic Bias of Telephone Surveys: Meta Analysis of 2007 Presidential Election Polls

For 2007 Korea presidential election, most polls by telephone surveys indicated Lee Myung-Bak led the second runner-up Jung Dong-Young by certain margin. The margin between two candidates can be estimated accurately by averaging individual poll results, provided there exists no systematic bias in telephone surveys. Most Korean telephone surveys via telephone directory are based on quota samples, with the region, the gender and the age-band as quota variables. Thus the surveys may result in certain systematic bias due to unbalanced factors inherent in quota sampling. The aim of this study is to answer the following questions by the analytic methods adopted in Huh et al. (2004): Question 1. Wasn't there systematic bias in estimates of support rates. Question 2. If yes, what was the source of the bias? To answer the questions, we collected eighteen surveys administered during the election campaign period and applied the iterated proportional weighting (the rim weighting) to the last eleven surveys to obtain the balance in five factors - region, gender, age, occupation and education level. We found that the support rate of Lee Myung-Bak was over-estimated consistently by 1.4%P and that of Jung Dong-Young was underestimated by 0.6%P, resulting in the over-estimation of the margin by 2.0%P. By investigating the Lee Myung-Bak bias with logistic regression models, we conclude that it originated from the under-representation of less educated class and/or the over-representation of house wives in telephone samples.

전화조사의 체계적 편향 - 2007년 대통령선거 여론조사들에 대한 메타분석 -

2007년 12월의 대통령선거 과정에서 행해진 수많은 전화 여론조사에서 이명박 후보가 일관되게 앞자리를 지켰다. 많은 수의 여론조사가 시행되는 경우 개별 여론조사의 표본추출오차는 상쇄되어 소멸한다. 그러나 일정한 편향은 많은 수의 조사가 실행된다 하더라도 잔존하므로 중요한 문제가 아닐 수 없다. 우리나라의 전화조사는 지역, 성과 연령대를 고려한 할당추출(quota sampling)을 사용하며 대부분 전화번호부를 표집 틀로 한다. 조사 거절률도 높은 편이다. 이에 따라 조사표본들이 할당변인 외의 인구사회적 속성에서 모집단을 잘 대표하지 못할 수 있다. 이 연구의 목적은 허명회 등 (2004)의 연구 방법른을 2007년에 수행된 대통령선거 여론조사 L8개 사례에 적용하여 다음 물음에 답하는 데 목적이 있다. - 물음 1. 각후보에 대한 선호도 또는 지지율에 체계적 편향이 있지 않았는가? - 물음 2. 편향이 있었다면, 그 원인이 어디에 있는가? 첫째 물음에 답하기 위하여 2007년 11월 이후 시행된 11개 사례 자료에 지역, 성과 연령대 외에 직업과 학력까지 고려한 반복비례가중법(rim weighting)을 적용해보았다. 그 결과, 이명박 후보의 지지율이 평균 1.4%P 과다 추정되었던 것으로 나타났다. 반면, 정동영 후보의 지지율은 평균 0.6%P 과소 추정되었고 이에 따라 두 후보간 지지율 차이가 2.0%P (= 1.4+0.6) 과다하게 추정되었던 것으로 보여진다. 둘째 물음에 답하기 위하여 위의 11개 사례 자료에서 이명박 후보 지지를 종속변수로 하는 로지스틱 회귀 분석을 하였다. 그 결과, 전화조사 표본에서의 저학력자 과소 및 가정주부의 과다가 이명박 편향의 원인이 되는 것으로 밝혀졌다.