Analysis of Test Result at Secondary Science Using Cognitive Diagnosis theory

The purpose of this study is to search effective assessments methods by using the Fusion model of Cognitive diagnosis theory. Attributes are skills or cognitive processes that are required to perform correctly on a particular item. After test items were developed, item's attributes were decided and Q-matrix about item's attributes was made. After testing, the result was analyzed according to gender and achievement level. The results of the analysis showed that students mastered 'Interpreting data' best, and 'synthesizing' worst among the five attributes. Female students showed higher ability than male students in 'recalling.' Students of high achievement level mastered more scientific attributes than students of low achievement level. Conventional assessments only provided a single summary score but Cognitive diagnosis modeling provided useful information by estimating individual knowledge states by assessing whether an examinee has mastered specific attributes measured by the science test. The skill profiles can offer a skill level of strong, weak, or mixed for each student for each skill. Therefore, the skill profiles will provide useful diagnostic information in addition to single overall scores.

인지 진단 이론을 활용한 중학교 과학 시험 결과의 분석

본 연구는 인지 진단 이론을 활용하여 과학 시험 결과를 분석하는 방안을 모색하고자 하는 목적 하에 실시되었다. 중학교 2학년을 대상으로 한 시험 문항을 개발하여 평가를 실시하였고, Fusion Model을 이용하여 시험 결과를 분석하였다. 결과를 분석하기 위해 문항별로 학생들이 문항을 풀기 위해 숙달해야 할 속성을 판별하여 Q 행렬을 작성한 후 분석을 실시하여 속성에 대한 문항 모수의 수렴을 확인하고 학생 전체와 성별, 성취수준별로 숙달한 속성과 그 속성의 개수를 분석하였다. 전통적인 평가가 학생들의 성취도 총점만을 제공하는 반면 인지 진단 이론은 평가에서 측정된 과학적 속성의 숙달 여부에 대한 정보를 제공해 주었다. 여학생은 남학생에 비해 회상하기의 능력이 유의하게 높은 것으로 나타났다. 분석결과 회상하기, 정보 해석하기, 계산하기 설명하기, 종합하기의 5개 속성 중에서 학생들이 가장 많이 숙달한 속성은 정보 해석하기였으며 가장 적게 숙달한 속성은 종합하기였다. 분석 결과 얻어진 프로파일은 교사들에게 학생 개개인의 과학적 능력에 대한 정보를 구체적으로 제공해 줄 수 있으므로 이 결과는 학생들의 과학 학습에 대한 진단과 처방, 추후 학습 지도에 유용한 정보로 활용될 수 있을 것이다.