• 영어어문교육
• /
• 제7권2호
• /
• pp.17-36
• /
• 2002

This article begins by exploring recent developments in the use of the world wide webs in language testing about what a Web-based language test (WBT) is and how they are used in language testing. After a brief review of computer-based testing, WBTs are defined and categorized as low-tech or high tech. Since low-tech tests are the more feasible, they will constitute the focus of this paper. Next, item types for low-tech WBTs are described, and validation concerns that are specific to WBTs are discussed. After a brief overview of the combination of computer-adaptive and Web-based tests, the general advantages as well as design and implementation issues of WBTs are considered before examining the role that testing consequences play in deciding whether a WBT is an appropriate assessment instrument. It is argued that WBTs are most appropriate in low-stakes testing situations; but with proper supervision, they can also be used in medium-stakes situations although they are not generally recommended for high-stakes situations. Some possible ideas for future research are suggested.(169)

• 영어어문교육
• /
• 제15권4호
• /
• pp.157-175
• /
• 2009

This paper offers a critical review of a newspaper argument regarding the problems of high school education assessment for university entrance examination system in the United Kingdom. The media account raises three sets of questioning to hold that the nation's long-standing A-levels have failed and is no longer viable as a high-stakes test. However, it is found that the writer's argumentations involving misleading conceptions can be deconstructed because of invalid reasoning and unreliable evidence. So, it is proposed that a reasonable solution to replace the discredited A-level exams should be to adopt an eclectic approach for assessing candidates' multiple capabilities; performance, potentiality and critical thinking skills. These criteria for component-oriented assessments are designed to measure their high school academic achievements and intellectual capacity for tertiary education; in the process of such measurement, critical-logical reasoning abilities for sound judgment and problem-solving tasks should be incorporated with the basic precondition that each university possesses its own discretion for the determination of adequate proportions to reflect each of the assessment outcomes. It is, therefore, expected that this critical review will inspire the readers to understand aspects of assessment as an educational field and to confirm how seriously they may be misguided by a distorted media argumentation without substantive background knowledge.

• 영어어문교육
• /
• 제18권2호
• /
• pp.189-211
• /
• 2012

The purpose of the study was to explore ways to improve the test items on the Korean scholastic ability test. More specifically, the researchers investigated whether use of the target language in test items would make a difference in total scores, discriminatory power, and item difficulty. A total of 288 high school seniors participated in the study. The subjects were divided into the experimental group (N=145) and the control group (N=143). A 25-item test resembling the Korean scholastic ability test was administered to both groups. The experimental group was given items whose questions and alternatives were all presented in English, whereas the control group was given items whose questions and alternatives were presented in Korean only. Statistical analyses revealed that use of English vs. Korean in the questions and alternatives made a significant difference in total scores, item discrimination, and item difficulty level. The findings strongly suggest that use of English is one way to improve the quality of the Korean scholastic ability test by enhancing item discrimination and face validity. Considering that the test in question is a high-stakes exam in Korea, further research on how to improve the Korean scholastic ability test is urgently called for.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제28권2호
• /
• pp.195-217
• /
• 2014

대학수학능력시험은 고등학교 교육과정을 바탕으로 대학 교육에 필요한 수학 능력을 측정하는 시험으로, 대학입시제도가 갖고 있는 사회적 영향력으로 인해 모든 국민의 관심을 받고 있는 고부담 시험이다. 대학수학능력시험은 교육 과정의 개정에 따른 영향 뿐 아니라 공교육의 정상화, 수험생의 학습 부담 완화 등과 같은 외적 요인에 의해 여러 차례 변화되어왔다. 본 고에서는 교육과정의 개정에 따른 수학 영역의 평가 내용의 변화와 해외 대학입학 수학시험의 내용 영역에 대한 분석을 통해 향후 대학수학능력시험의 개선 방향 탐색을 위한 시사점을 도출하고자 한다.

• 대한한의학회지
• /
• 제45권1호
• /
• pp.1-16
• /
• 2024

Introduction: The importance of clinical skills training in traditional Korean medicine education is increasingly emphasized. Since the clinical skills tests are high-stakes tests that determine success in national licensing exams, it is essential to develop reliable multifaceted analysis methods for clinical skills tests in actual education settings. In this study, we applied the multifaceted validity evaluation methods to the evaluation results of the cardiopulmonary resuscitation module to confirm the applicability and effectiveness of the methods. Methods: In this study, we used internal consistency, factor analysis, generalizability theory G-study and D-study, ANOVA, Kendall's tau, descriptive statistics, and other statistical methods to analyze the multidimensional validity of a cardiopulmonary resuscitation test in clinical education settings over the past three years. Results: The factor analysis and internal consistency analysis showed that the evaluation rubric had an unstable structure and low concordance. The G-study showed that the error of the clinical skills assessment was large due to the evaluator and unexpected errors. The D-study showed that the variance error of the evaluator should be significantly reduced to validate the evaluation. The ANOVA and Kendall's tau confirmed that evaluator heterogeneity was a problem. Discussion and Conclusion: Clinical skills tests should be continuously evaluated and managed for validity in two steps of pre-production and actual implementation. This study has presented specific methods for analyzing the validity of clinical skills training and testing in actual education settings. This study would contribute to the foundation for competency-based evidence-based education in practical clinical training.

• 컴퓨터교육학회논문지
• /
• 제17권2호
• /
• pp.39-51
• /
• 2014

서답형 문항이 포함된 대규모 평가에서 학생들의 답안이 어떻게 채점자들에게 분배되고 어떠한 체계적인 채점 과정을 거쳐야 하는 지에 대한 채점의 효율성은 전반적인 평가의 성공에 중요한 사안이다. 서답형 문항 채점에서 채점자 신뢰도를 확보하기 위해 채점자의 채점 결과가 얼마나 일관성이 있으며, 또한 채점자 간의 채점 결과 또한 서로 일관성을 유지해야하는 것이 중요하다. 이 연구의 목적은 지필 평가로 시행된 서답형 문항 채점을 위한 온라인 채점 시스템을 설계하고 개발한 후, 이를 시행한 결과를 기반으로 온라인 채점 시스템에 대한 신뢰도를 확인하고자 하였다. 이러한 서답형 문항 온라인 채점은 채점자들의 채점 과정에 대한 정보로, 기존의 전통적인 채점 방식과의 비교와 함께 채점자 내 및 채점자 간의 신뢰도를 제공하고 있다. 그 결과로 온라인 채점 시스템이 신뢰롭고 타당한 서답형 문항 채점 결과를 얻는데 효과적이었다는 것을 알 수 있었다.

• 영재교육연구
• /
• 제17권2호
• /
• pp.392-412
• /
• 2007

유교문화는 창의적 문제해결력의 계발과 발휘를 방해하는 것으로 이해되어 왔다. 그러나 본 연구는 유교문화가 창의적 문제해결력 발휘에 방해가 되기만 한 것은 아님을 주장한다. 유교문화는 창의적 문제해결력의 계발에 도움이 되기도 하고 방해가 되기도 하였다. 창의적 문제해결력은 동기, 일반적인 지식과 기능, 특정 영역의 지식과 기능을 기반으로 확산적 수렴적 사고라는 도구를 사용할 때 발휘된다. 유교문화는 배움의 즐거움을 강조하며, 열심히 정진하는 자세의 소중함을 가르쳤고, 이로 인해 부모들은 높은 교육열을 끌어냈다. 그러나 유교문화 중에서도 위계사회에서 순종하고 타협하는 태도를 강조함과 계층 이동의 주요 수단으로서의 과거제도는 시험 문제 풀이에 치중하는 교육을 초래하여 창의적 문제해결력의 수단이 되는 사고기회를 박탈하고 학생들의 흥미, 호기심, 자아효능감 등을 저하시킴으로써 창의적 문제해결력의 발휘를 억제하는 부정적인 기능을 했다. 이런 문제점에 대한 인식을 바탕으로 영재의 선발과 학업수행에 대한 평가, 교육 프로그램의 개발 및 운영, 교사 연수, 대학입학전형 등을 개선하는데 필요한 방안을 제시했다.