• Korean journal of medical education
• /
• 제30권4호
• /
• pp.347-357
• /
• 2018

Purpose: The purpose of this study was to apply alternative standard setting methods for the Korean Medical Licensing Examination (KMLE), a criterion-referenced written examination, and to compare them to the conventional cut score used on the KMLE. Methods: The process and results of criterion-referenced standard settings (i.e., the modified-Angoff and bookmark methods) were evaluated. The ratio of passing and failing examinees determined using these alternative standard setting methods was compared to the results of the conventional criteria. Additionally, the external, internal and procedural evaluation of these methods were reviewed. Results: The modified-Angoff method yielded the highest cut score, followed sequentially by the conventional method and the bookmark method. The classification agreement between the modified-Angoff and bookmark methods was 0.720 measured by Cohen's ${\kappa}$ coefficient. The intra-panelist classification consistency of modified-Angoff method was higher than bookmark method. However, the inter-panelist classification consistency was vice versa. The standard setting panelists' survey results showed that the procedures of both methods were satisfactory, but panelists had more confidence in the results of the modified-Angoff method. Conclusion: The modified-Angoff method showed results that were more similar to those of the conventional method. Both new methods showed very high concordance with the conventional method, as well as with each other. The modified-Angoff method was considered feasible for adoption on the KMLE. The standard setting panelists responded positively to the modified-Angoff method in terms of its practical applicability, despite certain advantages of the bookmark method.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제22권2호
• /
• pp.109-124
• /
• 2008

2007년 개정 수학과 교육과정의 특징 중 하나는 단계형 수준별 교육과정을 폐지하고 수준별 수업을 내실화하는 것이다. 수준별 수업의 실제 운영을 위해서는 학생들의 성취수준을 어떤 기준으로 어떻게 판단할 것인가의 문제가 선결되어야 한다. 이를 통해 개별 학생이 어떤 성취수준에 있는지, 그리고 특정 성취수준에 속한 학생은 교육과정에 제시된 각각의 성취기준에 얼마만큼 도달하였는지를 판단할 수 있어야 하고, 이를 토대로 해당 학생의 수준에 부합하는 교육을 제공하여야 할 것이다. 본 논문에서는 수준별 반 편성을 위한 학생들의 성취수준 판단 방법으로서 현행 국가수준 학업성취도 평가에서 활용되고 있는 앙고프 방법(Angoff method)을 소개한다 그리고 성취수준별 대표 문항의 개념 및 수준별 수업에의 활용 방안을 학생들의 성취수준 진단 문제를 중심으로 논의한다.

• 한국수학사학회지
• /
• 제24권3호
• /
• pp.145-163
• /
• 2011

수학 학습에서 학생들의 정의적 성취 여부를 판단할 수 있도록 본 연구는 준거 참조 평가의 준거인 기준 점수를 설정하였다. 타당도와 신뢰도가 확보된 표준화된 정의적 성취 검사 도구에 대하여 변형된 Angoff 방법을 적용하였고 수학교사 전문가 협의회를 통하여 합의된 점수가 설정되었다. 이 점수는 학습지향성, 자기통제, 불안, 흥미, 가치인식, 자신감의 6가지 요소에 대하여 각각 설정되었다. 학습지향성은 20점 만점에 기준 점수가 12점, 자기통제는 24점 중 14점, 불안은 16점 중 11점, 흥미는 20점 중 13점, 가치 인식은 24점 중 16점, 자신감은 16점 중 10점이었다. 우리나라 중학교 2학년 학생들은 수학에 대한 가치 인식을 성취한 비율이 가장 높았고, 성별이나 수준별 수업 시행 여부 별로 정의적 성취 비율의 차이는 나타나지 않았다.

• 한국수학교육학회지시리즈C:초등수학교육
• /
• 제16권2호
• /
• pp.163-182
• /
• 2013

최근 몇 년간 국가수준에서 학생들의 기초학력 향상을 위한 다양한 정책이 수행되었다. 2011년 초등학교 3학년 기초학습 진단평가는 학생들의 학습부진을 조기에 확인하고 그에 따른 보정 교육을 실시할 목적으로 실시되었다. 본 연구에서는 초등학교 3학년 기초학습 진단평가 기초수학의 평가 결과를 토대로 초등학교 3학년 학생들의 성취수준을 분석하였고, 성취수준별 학생들의 학업성취도를 분석하였으며, 3) 학생들의 반응이 특이한 문항 분석을 실시하였다.

• 대한수학교육학회지:학교수학
• /
• 제6권3호
• /
• pp.301-312
• /
• 2004

이 논문은 한국교육과정평가원에서 2002년에 실시하고 이듬해인 2003년에 분석한 국가수준 학업성취도 평가의 결과 보고 내용 중에서 특별히 성취수준과 관련된 부분을 요약한 것이다. 이 성취도 평가에서는 ‘수정된 앙고프 방법’을 도입하여 성취수준을 합리적으로 설정하고자 하였으며, 그렇게 설정된 성취수준을 바탕으로 우리나라 초등학교 6학년, 중학교 3학년, 고등학교 1학년 학생들의 학력의 수준을 분석하였다. 이 논문에서는 평가 영역, 성, 지역별로 각 학년급의 성취수준 비율을 제시하고, 이로부터 교육정책과 수학교육과정에 관련된 제언을 하였다.

• 대한수학교육학회지:학교수학
• /
• 제7권1호
• /
• pp.33-54
• /
• 2005

2003년 국가수준 학업성취도 평가에서는 결과 분석의 하나로, 각 문항별로 우수학력, 보통학력, 기초학력 수준 각각에 속한 학생들의 정답률을 산출하였다. 이 논문에서는 특별히 초등학교 6학년을 대상으로 한 결과 분석 내용을 활용하여, 먼저 문항별 성취수준의 특징을 분석하고, 다음으로 성취수준별 학생들의 특징을 추출하였다. 이 결과는 최근 활발히 논의되고 있는 수준별 교육과정이나 수준별 수업의 운영에 필요한 기본적인 정보로 활용될 수 있을 것으로 생각된다.

• 공학교육연구
• /
• 제26권6호
• /
• pp.40-50
• /
• 2023

This study is to examine the validity of assessing basic-level proficiency in physics among incoming engineering freshmen through item analysis and standard setting. For empirical analysis, we examined the physics subject taken by the freshman class of 2021 at K University, considering its significance for engineering students. In this study, we initially performed item analysis utilizing both classical test theory and item response theory. Subsequently, leveraging the item and test information, we employed a modified Angoff method and the Bookmark method for standard setting. Consequently, the difficulty level initially set during item development was found to be higher than the actual performance level exhibited by the students. This study highlights a discernible disparity between the expected university standard and the real proficiency level of incoming freshmen in terms of basic academic ability in physics. Based on these research findings, a comprehensive discussion on the fundamental academic competence of engineering students was conducted, underscoring the necessity for formulating a tailored learning approach leveraging the outcomes from the basic ability test.