서베이조사실험을 통한 폐쇄형과 개방형 설문 응답 차이: 2016년 한국종합사회조사

Survey Experiment on Close-Ended and Open-Ended Questions: 2016 Korean General Social Survey (KGSS)

한국에서는 조사의 가장 근본적인 도구인 설문지 설계에 관한 조사방법론 연구가 거의 없다. 본 연구는 2016년 한국종합사회조사의 표본분할을 통한 조사실험을 통하여 한국의 가장 중요한 문제에 대한 폐쇄형 질문과 개방형 질문에 대한 응답의 차이를 분석하였다. 폐쇄형과 개방형에서 모두 경제(35% 대 33.2%)가 가장 많이 언급되었고, 폐쇄형 설문에서는 범죄(24.4%), 교육(15.4%), 빈곤(6.3%)순으로, 개방형에서는 정치(10.8%), 범죄(9.5%), 교육(7.6%)순이었다. 즉, 정치가 포함되지 않은 폐쇄형 질문 응답과 개방형에서 응답순위가 일관성이 있었다. 최대 응답범주였던 경제를 답한 응답자의 특성이 폐쇄형과 개방형에서 인구학적 변수 중 연령과 가구소득 그리고 경제상태만족도 측면에서 제한적으로 차이가 있음을 확인하였다. 본 연구는 타국의 설문문항을 수용할 때 한국적 맥락에서 설문의 질문 부분뿐만 아니라 응답범주의 적정성에 대한 주의가 필요하고, 사전조사에 조사실험이 더 많이 시도될 필요가 있다는 점을 제시한다.

Despite the importance of questionnaires, little survey methodology research on questionnaire design has been conducted in Korea. The purpose of this study was to explore whether two questionnaire forms (close-ended vs. open-ended questions) about 'the most important problem in Korea' elicited similar responses. During the 2016 Korean General Social Survey (KGSS), a random half of respondents were asked the open-ended question form and the remaining half were asked the close-ended question form. While the economy is the most mentioned response (35% vs. 33.2%) to both close-ended and open-ended question forms, there is similarity in the order of highly mentioned responses if we consider that 'politics' is not provided as one of response categories in the close-ended question form. The order of second to fourth response category is crime (24.4%), education (15.4%), and poverty (6.3%) to the closed-ended question form, and politics (10.8%), crime (9.5%), and education (7.6%) to the open-ended question form. Also, the characteristics of respondents who responded with the economy as being the most important are slightly different between the two halves in terms of age, household income, and satisfaction with economic condition. Our findings suggest that we need to be careful when we adopt questions developed in other countries and to consider using survey experiments in pre-testing questionnaire items.