A Study of Variables Related to Item Difficulty in College Scholastic Ability Test

대학수학능력시험 난이도 관련 변인 탐색

The purpose of this study was to examine particular variables that play a significant role in the difficulty of math test items in College Scholastic Ability Test (CSAT). The study also aimed to develop a model of measuring the item difficulty. Variables correlated to item difficulty were drawn from the review of the related literature and the analysis of the content and difficulty of the past test items of CSAT. The first instrument was designed by using the correlated variables. According to the results of correlation analysis, the second instrument was made by deleting the variables which showed relatively low correlation with item difficulty and by refining some variables. Several models were proposed by using the revised instrument. The comparison of the R square and cross validity of each model reveals that integrated regression model was the most stable and accurate among the proposed models. The study also showed that statistically significant predictors were choice format, content domain, behavior domain, and the degree of item familiarity in the order of proportion of variance accounted by the predictors. Despite the limited scope of the present research, it can be suggested that its findings provide useful insights into predicting math test item difficulty.

본 연구의 목적은 대학수학능력시험에서 출제되는 수리 영역의 문항에 대한 난이도를 결정짓는 변인을 탐색하고, 난이도를 측정할 수 있는 구체적인 검토도구를 개발하는 것이다. 이를 위해 문헌 분석과 기출 수능 문항에 대한 내용 및 난이도 분석을 시도하였다. 여기서 추출된 변인을 토대로 1차 검토도구를 만들고 오답률과 추출된 변인들 사이의 상관분석을 시도하여 상관도가 비교적 낮은 변인은 삭제하거나 수정 보완하여 2차 검토도구를 만들었다. 2차 검토도구를 이용하여 여러 가지 예측 모형을 개발하고, 각 모형에 대하여 회귀계수를 비교하고, 교차타당도를 분석한 결과 안정성과 정확성이 가장 높은 최적의 예측모형은 '통합 회귀방정식 모형'으로 나타났다. 또한 통합 회귀방정식 모형을 토대로 분석하였을 때 오답률에 대한 설명력은 답지의 형식, 내용 영역, 행동 영역, 문항의 생소성 등의 순으로 나타났다. 본 연구는 난이도 관련 변인에 대한 연구가 전무한 상태에서 이루어졌기 때문에 많은 한계가 있으며 추후에 난이도를 보다 정확하게 추정할 수 있는 연구 방법이 기대 된다.