Analysis of Assessment Types, Scoring Methods and Reliability of Science Performance Assessment in Middle and High School

중등학교 과학 수행평가의 평가 유형과 채점 방식 및 신뢰도 분석

  • Published : 2005.04.30

Abstract

In this study, we questioned what assessment types and scoring methods of science performance assessment(SPA) were being used in middle and high school, and how much these SPA scores were reliable(generalizable). To answer these questions, SPA data obtained from the seven schools were classified according to assessment type and scoring method. Based upon this classification, we analyzed the reliability by applying generalizability theory. The result, from the classification of assessment type and scoring method, showed that SPA types of the seven schools were divided into two types: paper-pencil type and task type. Paper-pencil type included answer(content)-restricted essay-type test solely. Task type has two parts: process and outcome assessment. As the results of analyzing scoring methods of the seven schools, there were two cases in the way of scoring methods: one case is scoring all essay-type items and performance tasks by one teacher, the other is scoring assigned performance tasks by two teachers. But the case of scoring assigned essay-type items or the case of cross scoring by two or more teachers were not found. The findings of the reliability analysis are as follows: (1) Effect of essay-type item to SPA score was larger than that of performance task. (2) There was remarkable difference among the seven schools' interaction effect of person and rater in scoring performance tasks. (3) Most of generalizability(reliability) coefficients of SPA for the seven schools were smaller than the acceptable generalizability coefficient(0.80). Therefore, the population of statistical parameters such as number of item, task and rater, should be increased for approaching the acceptable generalizability level.

본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

Keywords

References

  1. 김성숙, 김양분(2001). 일반화가능도 이론. 교육과학사
  2. 성태제(1995). 고등정신능력 신장을 위한 교육평가 방안탐색. 국립교육평가원: 전국교육평가 심포지움 보고서, 12, 45-90
  3. 성태제(1998). 교육평가 방법의 변화와 결과타당도. 한국교육평가학회: 21세기 한국교육평가의 과제와 전망, 125147
  4. 최은경(2002). 과학과 수행평가에 관한 중등학생의 인식 및 자아효능감 조사. 서울대학교 석사학위논문
  5. Brennan, R. L.(2000). Performance assessments from the perspective of generalizability theory. Applied Psychological Measurement, 24(4), 339-353 https://doi.org/10.1177/01466210022031796
  6. Burns, K. J.(1998). Beyond classical reliability: Using generalizability theory to assess dependability. Research in Nursing & Health, 21, 83-90 https://doi.org/10.1002/(SICI)1098-240X(199802)21:1<83::AID-NUR9>3.0.CO;2-P
  7. Crick, J. E., & Brennan, R. L.(1983). Manual of GENOVA: A GENeralized Analysis Of VAriance System. Iowa city, IA: American College Testing Program
  8. Cronbach, L. J., Gieser, G. C., Nanda, H., & Rajaratnam, N.(1972). The dependability of behavioral measurements: Theory of generalizability of scores and profiles. John Wiley: New York
  9. Doran, R., Chan, F., & Tamir, P.(1998). Science educator's guide to assessment. National Science Teachers Association, Virginia
  10. Linn, R. L., Baker. E. L., & Dunbar, S. B.(1991). Complex, performance-based assessment: Expectations and validation criteria. Educational Researcher, 20(8), 15-21 https://doi.org/10.3102/0013189X020008015
  11. Messick, S.(1989). Validity. In R. L. Linn(Ed), Educational Measurement(3rd ed). American Council on Educational and MacMillan: New York, 13-103
  12. Stiggins, R. J.(1994). Student-Centered Classroom Assessment. Macmillan: New York