• East Asian mathematical journal
• /
• 제40권4호
• /
• pp.355-374
• /
• 2024

This study was conducted under the necessity and importance of having to looking into how teachers understood and carried out the analytic scoring method on the essay type item. Namely, this study explored there would be difference in the analytic scoring method consequent on the nature of the essay type item between the preliminary mathematics teachers in the secondary school. For this purpose, in this study, pre-test was conducted for the subject on the 2nd 15 undergraduate students. The pre-test was conducted without (before) lecture on the analytic scoring method on the essay type item, and the post-test was conducted after lecture on the analytic scoring method on the essay type item and practice on the scoring the item with the analytic method. Then this study used a problem on the mathematical assessment(the analytic scoring method) which was one of the items in 2016 secondary school teacher selection exam. After the experiment, the subjects were enhanced not only to understand the importance of the scoring methods but to narrow the difference the results of score on the items between the subjects.

• 과학교육연구지
• /
• 제34권1호
• /
• pp.155-163
• /
• 2010

이 연구의 목적은 본 연구는 영재선발도구로서 지필 검사 문항의 적합성에 대한 검토를 위해 초등과학영재교육원의 학생 선발에 지난 3년간 사용된 지필 검사 문항들을 대상으로 문항 분석을 하여, 영재교육 대상자 선발 방법에 대한 새로운 전형방식에 주는 교훈을 얻기 위하여 실시하였다. 문항 분석 결과, 평균 문항 난이도와 변별도는 대체로 양호한 편이었으며, 교과 및 내용별로도 큰 차이가 없는 것으로 분석되었다. 서술형 문항이 객관형 문항에 비해 어렵게 출제되었으며, 변별력이 높았던 것으로 분석되었다. 특정 문항들과 총점과의 상관관계에서 객관형 문항의 경우는 물질 문항과, 자료변환 및 자료해석 문항에서 가장 높은 상관이 나타났으며, 서술형 문항의 창의성 문항이 총점과의 상관이 가장 높은 것으로 분석되었다. 선발 시험에 응시한 학생들의 성별의 따른 차이를 t 검증으로 분석한 결과, 자료변환 및 자료해석과 창의성에서 남학생의 평균이 유의미하게 높은 것으로 나타났다.

• 영재교육연구
• /
• 제20권1호
• /
• pp.61-77
• /
• 2010

본 연구는 영재선발도구로서 지필 검사 문항의 적합성에 대한 검토를 위해 과학영재교육원 중학교 물리 전공 학생 선발에 지난 3년간 사용된 문항들을 대상으로 문항 분석을 하여, 새로운 전형방식에 주는 교훈을 얻기 위하여 실시되었다. 분석결과, 객관형 문항의 평균 문항 난이도와 변별도는 대체로 양호한 편이었으나, 교과 및 내용별로 차이가 많은 것으로 나타났다. 서술형 문항이 객관형 문항에 비해 어렵게 출제되었으며, 변별력이 높았던 것으로 분석되었다. 특정 문항들과 총점과의 상관관계에서 객관형 문항의 경우는 수학과 물리, 화학 문항들과, 과학영재성 및 창의성 문항들에서 가장 높은 상관이 나왔으며, 서술형 문항이 객관형 문항보다 총점과 의 상관이 더 높은 것으로 분석되었다. 선발 시험에 응시한 학생들 가운데서 다른 영재교육기관에서 영재교육을 받은 학생과 그렇지 않은 학생들의 차이를 t 검증으로 분석한 결과, 영재교육을 받은 적이 있는 학생들의 총점 평균이 유의미하게 높은 것으로 나타났다. 그러나 서술형 문항에서는 두 집단 간에 유의미한 차이가 없었다.

• 한국과학교육학회지
• /
• 제25권2호
• /
• pp.173-183
• /
• 2005

본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

• 한국가정과교육학회지
• /
• 제32권3호
• /
• pp.135-159
• /
• 2020

본 연구는 교육과정, 수업, 평가의 일체화를 강조하고 있는 교육의 변화 속에서 2015 개정 가정과 교육과정에서 수업과 평가를 연계할 수 있는 서술형 평가 문항을 개발하는 것에 목적을 두었으며 연구의 내용은 다음과 같다. 첫째, 평가계획 수립 단계에서는 평가기준에 제시된 평가 영역 중 서술형 평가에 적합한 14개의 성취기준이 분석되었으며 총 29개 문항의 내용요소를 포함하여 문항요소를 개발하였다. 둘째, 평가도구 개발 단계에서는 서술형 문항의 구조에 알맞은 문항을 사전개발하고, 문항에서 활용할 자료, 채점기준의 제시 방법을 각 문항에 맞게 선택하였다. 셋째, 답안 및 채점기준표 작성 단계에서는 채점기준과 부분점수별 예시 답안을 채점기준표로 작성하고 평가목표와 채점 항목, 항목별 배점을 검토하였다. 넷째, 전문가 검토 및 수정·보완 단계에서는 개발된 문항과 답안들은 전문적 교과학습공동체 교사들과 함께 문항 구성요소, 평가목표의 구체화, 출제 의도의 구현 여부, 채점 결과에 대하여 예비검토와 상호검토를 거쳐 수정·보완하였다. 본 연구는 서술형 평가 문항과 채점기준 개발을 위한 기초 연구로 활용될 수 있으며, 이를 통해 교사의 평가 전문성에 대한 인식변화를 도모하고 추후 학습자의 지식 적용능력을 높이기 위한 서술형 문항개발 연구에 도움이 될 수 있을 것이다.

• 한국초등과학교육학회지:초등과학교육
• /
• 제24권3호
• /
• pp.301-309
• /
• 2005

The purpose of this study was to investigate the measuring range of portfolio assessment on students' abilities, using correlation coefficients of portfolio assessment with four other assessment methods. A portfolio system was developed based on low units of elementary fourth grade science, and applied to three fourth-grade science classes in Daejeon Metropolitan area and Gyunggi-do. Four different assessment methods, multiple-choice (short answer type), essay-type item, mind-mapping and laboratory assessment were also administered and scored by two elementary teachers attending graduate school. Correlation coefficients between portfolio assessment and four assessment methods were calculated with SPSS. Portfolio assessment showed moderate correlation with multiplechoice (short answer), essay-type, and mind-mapping, and low correlation with laboratory assessment. Portfolio assessment showed high correlation with multiple-choice assessment in 'understanding' and 'application' domains, but showed low correlation in 'recall' and 'inquiry' domains. In conclusion, portfolio assessment could measure various abilities measured by other assessment methods.

• 한국과학교육학회지
• /
• 제16권3호
• /
• pp.314-328
• /
• 1996

This study investigated the literature about science process skills' evaluation to analyse transition of evaluation objectives before and after a Scholastic Ability Test for College Entrance. In the literature survey the researcher established a 3 dimensional science assessment framework with X axis as science concept, Y axis as science process skills and Z axis as problem context. In order to analysis and compare each items the researcher selected 210 items from the 1st to the 7th trials and 138 items from the 1st to 4th Scholastic Ability Test for College Entrance and sampled 2873 science achievement test items from 10 high schools. In accordance with this taxonomy the researcher analysed and compared science process skills item forms. The following results were drawn : The items were evenly distributed in all the four areas(Earth Science, Biology, Physics and Chemistry) of the science concept domain, but they were heavily concentrated on data analysis and drawing a conclusion in science process domain. In the domain of problem context school context was the majority. In spite of distribution like this the ratio on science process skills measurement items and science achievement test items was increased after the Scholastic Ability Test for College Entrance was given. Also the ratio on item expression type was increased. Item form was almost 5 options selection type in the national level test. Although there were 4 options selection type, 5 options selection type, short answer type, essay type in school level test, rising from 33.1% to 65.5% on 5 options selection type is exhibited. This study showed that the school level item form was better various than the nation level. This point like this is the evidence for the improvement toward the science process skills test and influenced by Scholastic Ability Test for College Entrance. The ratio on the item which joined with the 3 axes had a mean of 99.3% in nation level test and mean 44.9% in school achievement test level. But the ratio in the school achievement test level increased after the Scholastic Ability Test for College Entrance was given. In view of this study we must furthermore study the item types which can evaluate valjdately science process skill's five stage each and evaluation method by the high school students' problem solving patterns and features in scientific inquiry on all science process skills elements.

• 한국지구과학회지
• /
• 제26권6호
• /
• pp.511-523
• /
• 2005

본 연구에서는 한국 지구과학 올림피아드 문항의 질 향상 방안을 모색하고자 1회와 2회 예선 및 본선 문항을 다양한 측면에서 분석하였다. 문항 분석을 위해 내적 및 외적 문항 분류틀을 구안하여 적용하였다. 고전 검사이론을 적용하여 문항의 난이도와 변별도, 상관계수, 그리고 신뢰도를, 일반화가능도 이론을 적용하여 일반화가능 도를 각각 추정하였다. 문항 분류틀 적용 결과는 다음과 같다: (1) 내용 차원에서는 지질 영역과 천문 영역에, 지식 및 탐구과정 차원에서는 자료 분석 및 해석에 집중되는 경향을 보였다. 또한 맥락 차원에서는 거의 대부분의 문항이 교과서적인 상황을 토대로 한 것이었다. (2) 요구 사고 수준에서 예선과 본선간의 차이를 발견할 수 없었다. (3) 문항 표현 범주에서는 그림의 사용 비율이 가장 높았고, 문항 유형 범주에서는 예선은 선다형과 단답형의 비율이, 본선은 서술형의 비율이 높았다. 또한 문항 형식 범주에서는 중학부와 예선은 단독형의 비율이 높고, 고교부와 본선은 복합형의 비율이 높았다. 문항을 분석한 결과는 다음과 같다: (1) 중학부는 대체로 난이도가 낮고, 변별도는 적절하였다. 그러나 고교부는 일반고와 과학고간에 상당한 차이가 있었다. (2) 중학부는 대기 영역과 총점과의 상관이, 고교부는 천문 영역과 총점과의 상관이 가장 높았다. (3) 양호한 문항이 가장 많은 일반고부의 문항 내적 일관성신뢰도와 일반화가능도가 가장 높았다. (4) 일반 고는 출제된 문항 수로 적정 수준의 일반화가능 도에 도달되나, 중학부나 과학고는 출제된 문항보다 2배 이상 많은 문항수가 필요한 것으로 나타났다.

• 대한가정학회지
• /
• 제39권10호
• /
• pp.169-186
• /
• 2001

The purpose of the study was to verify validity and reliability of performance assessment in home economics by applying performance assessment tools developed by Korean Curriculum Assessment Institute and by the researcher to a class of 17 high school female students in a rural area. For the purpose of this study, the research question was formulated and addressed:“How are the validity and reliability of performance assessment in home economics\ulcorner” The results of the study were as follows. 1. The results of testing validity a. Thirteen high school home economics teachers, whose average teaching years is ten years verified high validity in the contents of performance assessment. b. In the validity of the items that is verified being based on the scores of high school entrance examination of 2000 school year, the essay type showed its characteristics as performance assessment. c. The generalizability among assessment methods was not high. 2. The results of testing reliability Both Cronbach's $\alpha$, inter-item reliability of the assessment tools used in the research, and reliability among the raters were high. But reliability among the tasks was relatively low. This study proposed that the diverse performance methods, the increasing number of assessment, the explicit assessment criterion, and scoring criterion are needed to satisfying validity and reliability of performance assessment.

• 컴퓨터교육학회논문지
• /
• 제21권1호
• /
• pp.31-42
• /
• 2018

빠른 사회 변화를 이끌고 있는 기술의 발전에 대처하기 위해 세계 각국은 정보교육을 강화하고 있다. 보통교육을 통해 육성해야 할 역량의 마지막 단계는 고등학생이다. 본 연구는 대학진학을 목표로 하는 고등학생들이 갖추어야 할 정보교과에 대한 역량과 수준을 검사도구의 측면에서 알아보기 위한 목적이 있다. 연구 진행을 위해 일본, 독일, 미국 등, 고등학생 대상의 정보교육 관련 검사 도구를 분석하였다. 분석 결과, 첫째, 선다형 문항 형식 뿐만 아니라 논술형과 단답형 문항을 검사도구에 함께 포함한다. 둘째, 현실세계의 모델을 문항으로 활용하여 실제적인 문제해결력에 컴퓨팅 파워를 활용할 수 있는 지 묻고 있다. 셋째, 대학 교육과 직접 연계되는 내용을 문항에 반영하고 있다. 본 연구는 검사도구의 특징 및 논의사항을 도출하고 정보교육의 검사도구 개발 방향성을 세우는데 도움을 주었다는 데 시사점이 있다.