The Detection of Unreliable Data in Survey Database

The Non-Sampling Error can happen any time by means of the intended or unintended error by the interviewer or respondent, but it is very difficult to find the error in survey database because it can hardly be computed mathematically and systematically. Until now, we have found it accidentally through the simple relation between the items or through the inspection from the random field. Therefore we introduced an heuristic methodology that can detect the interviewer's error by statistical decision-making or data mining techniques with a case study. It will be helpful so as to improve the statistical duality and provide efficient field management for the supervisor.

조사자료 데이터베이스의 허위 잠재 가능성 분류군 탐지

인간이 자료를 생산하여 구축하는 조사자료 데이터베이스는 응답자나 조사자의 고의 또는 실수로 인해 비표본오차는 언제든지 발생할 수 있고 그에 따른 오차를 찾아내는 조사관리는 시간적 비용적 기술적으로 대단히 어렵다. 조사관리를 시의성 있게 수리적이고 체계적으로 찾아내는 일이 결코 쉽지 않기 때문에, 지금까지는 단순히 조사항목 연관성 불일치 또는 임의로 선택한 현장을 방문하여 착오 자료 등을 찾아냄으로써 조사관리 하는 것에 불과하였다. 이에 본 연구에서는 비표본오차 중에서 응답자나 조사원의 허위응답과 허위조사를 예방할 수 있는 잠재 가능성을 분류하는 휴리스틱한 방법을 제시하고자 한다. 먼저 일정한 기간마다 지속적으로 실시되는 조사를 대상으로 질적, 양적 자료의 구성에 관계없는 이항반응 자료로 변환하여 허위일 가능성이 있는 패턴을 찾아보았다. 그리고 조사구의 지리적 위치도 고려하여 최종 허위응답과 허위조사 잠재 가능성 분류군을 탐지하였다. 분석결과 허위조사의 경우를 정확히 탐지하였으며, 허위조사 잠재 가능성 분류군에 대한 특징적인 지식을 얻을 수 있었다. 본 연구결과는 비표본오차를 보다 정확하고 시의성 있게 관리할 수 있는 조사관리 방법론을 제공함으로써, 조사자료 데이터베이스 품질을 높일 수 있는 가능성과 의의를 가진다.