• 한국수학교육학회지시리즈A:수학교육
• /
• 제43권2호
• /
• pp.151-162
• /
• 2004

For the past several years, performance assessment has been widely used by mathematics teachers. The superiority of performance assessment items compare to multiple choice items has been discussed by many researchers, however these discussions tend to be lack of empirical data. Thus, this study aims to examine the effectiveness of tree response items in comparison with multiple choice items. Using the information function in Item Response Theory(IRT), item information of free response items and multiple choice items from the Third International Mathematics and Science Study-Repeat(TIMSS-R) were obtained and compared. Test informations of the whole mathematics area as well as each content area of mathematics were computed. On average, tree response items yielded more information than multiple choice items, especially in measurement and data interpretation. This study also revealed that free response items estimated students' mathematics ability more accurately than multiple choice items with smaller number of items.

• 과학교육연구지
• /
• 제37권2호
• /
• pp.278-293
• /
• 2013

이 연구에서는 2009 개정 교육과정에 따른 고등학교 융합형 '과학' 교과에서 사용된 선다형 평가 문항의 특성을 분석하였다. 문항의 출제 경향을 분석하기 위해 융합형 교과에 특이적인 분석틀을 구안하여 분석하였으며, 문항 반응 이론을 적용하여 문항의 특성을 양적으로 분석하였다. 문항의 출제 경향 분석 결과, 문항 출처, 융합 범위, 인지 수준 측면에서 융합형 '과학' 교과의 취지를 제대로 반영하고 있지 못하는 것으로 나타났으며, 기존 교육과정의 과학 교과와 같은 분과적 교수-학습 및 평가가 이루어지고 있음을 알 수 있었다. 문항 반응 이론을 적용한 분석 결과, 대체로 문항의 난이도는 적절하며, 변별도는 높은 수준인 것으로 나타났다. 하지만 분석틀을 구성하는 3개 범주와의 연관성은 나타나지 않았다. 이와 같은 연구 결과를 토대로 융합형 '과학' 교과의 취지를 반영한 교수-학습과 평가를 위한 개선점을 논의하였다.

• 한국초등과학교육학회지:초등과학교육
• /
• 제32권2호
• /
• pp.139-158
• /
• 2013

This study investigated elementary students' (grade 4~6) learning progressions for water cycling drawn from iterative assessments using ordered multiple-choice (OMC) items. An assessment system, which consisted of construct map, item design, outcome space, and measurement model, was employed in this study to examine children's learning progressions. At the first stage of the assessment system, a construct map was designed on which children's conceptual understandings from naive to most sophisticated were represented. At the item design stage, 8 OMC items were drawn from the construct map. Each item option of the OMC items was scored from 0 to 3 according to its level of understanding at the stage of outcome space. As a measurement model, Rasch model, a branch of item response theory, was applied to interpreting the outcomes of the OMC items. This cycle of assessment system was furtherly implemented iteratively in order to elaborate on the first version of water cycling learning progression. In conclusion, children's understanding of water cycling could be described in two aspects: water distribution and water movement. We identified children's conjectural developmental pathways about water cycling existed from superficial and naive accounts to more complex and abstract accounts.

• 한국과학교육학회지
• /
• 제22권1호
• /
• pp.122-131
• /
• 2002

본 연구는 수행 평가 방식의 중요성이 대두됨에 따라 실지로 수행형 평가 문항이 전통적인 선다형 평가문항에 비해 어떤 학생들에게 어떻게 유용한지를 분석한 연구이다. 이를 위하여 제 3차 수학 과학 성취도 국제비교 반복 연구에 사용된 선다형과 수행형 평가문항들을 내용영역별로 분석하여, 수행형의 평가문항과 선다형의 평가문항의 효율성을 비교 분석하였다. 자료분석 결과 수행형의 문항이 선다형의 문항에 비하여 학생들의 능력을 더 정확하게 추정함으로써 효율성이 높은 것으로 나타났다. 특히 환경이나 과학의 본성 영역에 비하여 지구과학, 생물, 물리와 화학 영역에서 수행형의 문항이 선다형의 문항에 비하여 학생들의 능력을 더 정확하게 추정하고 있음을 보여주었다. 또한 선다형의 문항에 비하여 적은 수의 문항으로 학생들의 능력을 추정함에도 불구하고 추정오차가 적어, 적은 수의 수행형 문항으로도 학생들의 능력을 정확하게 추정할 수 있음을 시사하고 있다.

• 한국과학교육학회지
• /
• 제24권1호
• /
• pp.17-28
• /
• 2004

The purpose of this study is to determine the patterns of differences between genders in science achievement. Eleventh grade, 140 female and male students were sampled from a school in Seoul. According to the analysis results of pilot study, 20 items were finally selected for the main study. To sharpen our interpretations of the factors and provide some confirmation, we supplemented the statistical analysis with a more detailed cognitive study of the items using think-aloud protocols and interviews with student test takers. The analysis of this study took into account the different item formats, contexts, and presentation styles. The findings are as follows: First, there was no significant gender difference between multiple-choice and open-ended items. Second, male students achieved significantly better in the context of everyday life in multiple-choice items. Third, male students favored items presented as written texts. Fourth, in problem-solving process, female students tend to apply their science concepts, whereas male students tend to apply their everyday experiences. The results of this investigation indicate that gender difference in science achievement depends heavily on item characteristics.

• International Journal of Contents
• /
• 제5권1호
• /
• pp.51-55
• /
• 2009

In this paper, we present a structure of personalized e-Learning system to study for a test formalized by uniform multiple-choice using on/off line mixed estimations as is the case of Driver :s License Test in Korea. Using the system a candidate can study toward the license through the Internet (and/or mobile instruments) within the personalized concept based on IRT(item response theory). The system accurately estimates user's ability parameter and dynamically offers optimal evaluation problems and learning contents according to the estimated ability so that the user can take possession of the license in shorter time. In order to establish the personalized e-Learning concepts, we build up 3 databases and 2 agents in this system. Content DB maintains learning contents for studying toward the license as the shape of objects separated by concept-unit. Item-bank DB manages items with their parameters such as difficulties, discriminations, and guessing factors, which are firmly related to the learning contents in Content DB through the concept of object parameters. User profile DB maintains users' status information, item responses, and ability parameters. With these DB formations, Interface agent processes user ID, password, status information, and various queries generated by learners. In addition, it hooks up user's item response with Selection & Feedback agent. On the other hand, Selection & Feedback agent offers problems and content objects according to the corresponding user's ability parameter, and re-estimates the ability parameter to activate dynamic personalized learning situation and so forth.

• 한국초등과학교육학회지:초등과학교육
• /
• 제23권4호
• /
• pp.332-343
• /
• 2004

Multiple choice items have been widely used. However the difficulties in understanding and solving the items have not been known well. The purpose of this study is to analyze the difficulties and errors in the process of solving multiple choice items. Twelve multiple choice items were developed based on the Unit 5 Separation of Mixtures in the 4th grade. Four items which students had hardly given the correct answer were selected and six students were chosen for interview. Interview results were analyzed with regard to the errors in the process of solving the multiple choice items. The findings of this study are as follows: I) The students who misread and misunderstand the questions choose the incorrect answers. 2) Most of the students activate daily knowledge in the process of problem solving. 3) The students who have misconception with the daily knowledge or have no experiences choose incorrect answers, while students who activate both daily knowledge and school knowledge choose correct answer. 4) The students of high level commit errors mainly in the latter part of problem solving process, but the students of low level do from early.

• 컴퓨터교육학회논문지
• /
• 제23권1호
• /
• pp.29-36
• /
• 2020

학생의 능력을 정확하게 파악하기 위하여 다양한 문항들이 평가도구로 사용되었다. 그 중에 선다형 문항은 채점에 있어서 객관성과 신뢰성이 높다는 이점이 있지만 추측의 요인을 제거할 수 없다. 본 논문은 선다형 문항을 질문지와 선택지 사이의 관계에 따라 2개의 유형으로 분류하였다. 하나는 선택지 k개에 대해 추측의 확률이 1/k인 기존의 고전검사이론에서 사용하는 유형이며 다른 하나는 부분적 지식이라는 개념을 도입한 유형이다, 제안한 유형에서 부분적 지식의 개수가 i일 때 추측의 확률을 (i+1)/k인 유형이다. 기존 이론에서의 문항 추측도를 기초하여 제안된 유형에 대한 문항 추측도를 유도하였다. 이를 기존의 유형과 제안된 유형에서 추측이 정답에 미치는 영향을 상호 분석하였다. 이는 제안된 유형이 기존의 유형보다 문항 추측도가 더 크다는 것을 보여주고 있다.

• Communications for Statistical Applications and Methods
• /
• 제6권2호
• /
• pp.403-412
• /
• 1999

A block replacement policy where at failure the item is either replaced by a new or used item or remains inactive until the next planned replacement is considered. in this paper our interests are focused on reusing all the used items created by the policy. Numerical results for the case where the underlying life distribution is gamma are obtained.

• 한국과학교육학회지
• /
• 제19권1호
• /
• pp.146-158
• /
• 1999

본 연구에서는 과학 탐구능력을 구성하는 하위 요소들 중에서 변인확인 능력을 측정하는 평가 문항의 유형에 따른 차이와 최근에 한층 더 강조되고 있는 수행평가 방법중의 하나인 면접법을 통한 변인확인능력 평가 결과간의 상관 관계를 알아보고자 하였다. 연구 결과에 제시한 바와 같이 선다형 지필 평가 문항 유형별 변인확인 능력은 대체로 높은 상관관계를 나타냈으나, 선다형에 의한 변인확인능력 평가 결과와 수행평가 방법에 의한 평가 결과는 매우 낮은 상관 관계를 나타냈다. 특히, 독립변인 확인 능력과 종속변인 확인 능력은 거의 상관 관계가 없는 것으로 나타나 두 능력 중 어느 한쪽의 인지 여부가 다른 한쪽의 인지 여부를 결정해 주지는 못하는 것으로 볼 수 있다. 이는 과학교육 활동에서 이 두 능력을 동시에 강조하는 과학과 교수 학습 전략의 적용이 필요함을 함의한다. 또한 선다형에 의한 평가 결과와 수행평가에 의한 평가 결과가 상이한 결과를 보이는 것으로 보아 선다형만을 이용한 과학 탐구능력 평가와 그에 관련된 연구보다는 수행평가 방법과 같은 과정 평가를 이용한 정성적 방법을 병행하는 것이 평가의 결과와 연구 결과의 해석에 대한 타당성을 한층 높여줄 것으로 해석된다.