Effect of Guessing on the Correct Answer in a Multiple Choice

Various items were used as evaluation tools that identify the student's abilities accurately to confirm the completion of learning. Among them, the multiple choice item has the advantages of high objectivity and reliability in scoring, but it cannot remove the factor of guessing. In this paper, the multiple choice items are classified into two types according to the relationship between the questionnaire and the choices. One is the type used in the classical test theory with the probability of guessing 1/k for k choices and the other is the novel proposed type which introduces the concept of partial knowledge. In the proposed type, the probability of guessing when the number of knowledge i is (i+1)/k for k choices. Based on the assumptions of the previous theories about multiple choice items, we derive the guessing parameter about the proposed type. And we analyzed the effect of the guess on the correct answer in the existing type and the proposed type. This shows that the proposed type has more question guessing than the existing type.

객관식 선다형문항에서 추측이 정답에 미치는 영향

학생의 능력을 정확하게 파악하기 위하여 다양한 문항들이 평가도구로 사용되었다. 그 중에 선다형 문항은 채점에 있어서 객관성과 신뢰성이 높다는 이점이 있지만 추측의 요인을 제거할 수 없다. 본 논문은 선다형 문항을 질문지와 선택지 사이의 관계에 따라 2개의 유형으로 분류하였다. 하나는 선택지 k개에 대해 추측의 확률이 1/k인 기존의 고전검사이론에서 사용하는 유형이며 다른 하나는 부분적 지식이라는 개념을 도입한 유형이다, 제안한 유형에서 부분적 지식의 개수가 i일 때 추측의 확률을 (i+1)/k인 유형이다. 기존 이론에서의 문항 추측도를 기초하여 제안된 유형에 대한 문항 추측도를 유도하였다. 이를 기존의 유형과 제안된 유형에서 추측이 정답에 미치는 영향을 상호 분석하였다. 이는 제안된 유형이 기존의 유형보다 문항 추측도가 더 크다는 것을 보여주고 있다.