A Study on the Factors Affecting Examinee Classification Accuracy under DINA Model : Focused on Examinee Classification Methods

DINA 모형에서 응시생 분류 정확성에 영향을 미치는 요인 탐구 : 응시생 분류방법을 중심으로

The purpose of this study was to examine the classification accuracies of ML, MAP, and EAP methods under DINA model. For this purpose, this study examined the classification accuracies of the classification methods under the various conditions: the number of attributes, the ability distribution of examinees, and test length. To accomplish this purpose, this study used a simulation method. For the simulation study, data was simulated under the various simulation conditions including the number of attributes (K= 5, 7), the ability distribution of examinees (high, middle, low), and test length (J= 15, 30, 45). Additionally, the percent of agreements between true skill patterns(true ${\alpha}$) and skill patterns estimated by the ML, MAP, and EAP methods were calculated. The summary of the main results of this study is as follows: First, When the number of attributes was 5 and 7, the EAP method showed relatively higher average in the percent of exact agreement than the ML and MAP methods. Second, under the same conditions, as the number of attributes increased, the average percent of exact agreement decreased in ML, MAP, and EAP methods. Third, when the prior distribution of examinees ability was different from low to high under the conditions of the same test length, the EAP method showed relatively higher average in the percent of exact agreement than those of the ML and MAP methods. Fourth, the average percent of exact agreement increased in all methods, ML, MAP, and EAP when the test length increased from 15 to 30 and 45 under the conditions of the same the ability distribution of examinees.

본 연구의 목적은 DINA(deterministic-input, noisy "and" gate)모형에서 최대우도(maximum likelihood: ML), 최대사후확률(maximum a posteriori: MAP), 사후기대(expected a posteriori: EAP)방법들의 분류 정확성이 어느 정도인가를 알아보는 것이다. 연구 목적을 달성하기 위하여 다양한 모의실험 조건들[인지요소의 수(K= 5, 7), 응시생 능력분포(고능력, 중간능력, 저능력 집단), 검사 길이(J= 15, 30, 45)]에 따라 모의자료를 생성했다. 응시생 분류 정확성을 평가하기 위한 준거로 참 인지요소(true ${\alpha}$)와 ML, MAP, EAP방법으로 추정된 인지요소가 어느 정도 일치하는지를 계산했다. 본 연구의 주요결과를 요약하면 다음과 같다. 첫째, 본 연구에서 설정한 검사 조건에서 ML, MAP방법보다 EAP방법의 정확일치도 평균이 높았다. 둘째, 다른 검사 조건이 동일할 때, 인지요소의 수가 증가하면 ML, MAP, EAP방법 모두에서 정확일치도 평균이 낮아졌다. 셋째, 동일한 검사 길이에서 사전분포로 고능력, 중간능력, 저능력 집단을 각각 가정했을 때 ML, MAP방법보다 EAP방법의 정확일치도 평균이 높았다. 넷째, 동일한 응시생 능력분포에서 검사 길이가 증가하면 ML, MAP, EAP방법 모두에서 정확일치도 평균이 높아졌다. 인지요소의 수에 따라 응시생을 정확하게 분류하기 위한 적절한 검사 길이를 보면, 인지요소의 수가 5, 7개이고 이에 대응하는 검사 길이가 각각 30, 45문항일 때 본 연구에서 설정한 높은 분류 정확성 기준에 부합하는 것으로 나타났다.