Abstract
The purpose of the study is to develop major types of scoring rubrics of portfolio system, and estimate the reliability of the rubrics developed. The portfolio system was developed by Science Education Laboratory, Chongju National University of Education in summer, 2000. The portfolio is based on the Unit 2, The Layer and Fossil, and Unit 4, Heat and Change of Objects at fourth-grade level. Four types of scoring rubrics, holistic-general, holistic-specific, analytical-general, and analytical-specific, were developed. Students' portfolios were scored and inter-rater and intra-rater reliability were calculated. To estimate inter-rater reliability, 3 elementary teachers per each rubric(total 12) scored 12 students' portfolios. Teachers who used analytical-specific rubric scored only six portfolios because it took much more time than other rubrics. To estimate intra-rater reliability, second scoring was administered by two raters per rubric in two and half month. The results show that holistic-general rubric has high inter-rater and moderate intra-rater reliability. Holistic-specific rubric shows moderate inter- and intra-rater reliability. Analytical-general rubric has high inter-rater and moderate intra-rater reliability. Analytical-specific rubric shows high inter- and intra-rater reliability. The raters feel that general rubrics seems to be practical but not clear. Specific rubrics provide more clear guidelines for scoring but require more time and effort to develop the rubrics. Analytical-specific rubric requires more than two times of time to score each portfolio and is proved to be highly reliable but less practical.
본 연구의 목적은 초등학교 과학과 포트폴리오를 채점할 수 있는 다양한 채점기준을 개발하고, 개발된 각 채점기준의 신뢰도를 검증해 보고자 하는 것이다. 채점기준을 개발하기 위한 포트폴리오는 4학년 2학기 '단원 2. 지층과 화석', '단원 4. 열과 물체의 변화' 를 중심으로 청주교대 과학교육 연구실에서 2000년 여름에 개발한 체제를 같은 해 가을, 경기도 중도시의 한 초등학교 4학년 한 학급에 적용하여 얻은 것이다. 총괄-일반, 총괄-특수, 분석-일반, 분석-특수의 4가지 채점기준을 개발하고, 각 채점기준에 근거하여 학생들이 작성한 포트폴리오 증거물을 채점하여 각 채점 기준별 채점자간 신뢰도와, 채점자내 신뢰도를 구하였다. 1차 채점에서는 총 12명의 채점자들이 각 채점기준별로 3명씩 그룹을 나누어 그룹당 12권의 포트폴리오 증거물을 채점하였다. 단, 분석-특수 채점기준의 경우 6권의 포트폴리오 증거물만을 채점하였다. 채점자내 신뢰도를 알아보기 위해 실시한 채점시기별 신뢰도에서는 l차 채점에 참가한 채점자 중 각 채점기준별로 2명씩 총 8명이 2차 채점에 참가하여 l차 채점과 동일한 방식으로 채점을 실시하였다. 채점결과를 SPSS 통계 프로그램에 입력하여 상관계수를 구한 결과, 총괄-일반 채점기준은 채점자간 신뢰도가 높고 채점자내 신뢰도가 있는 것으로 나타났고 총괄-특수 채점기준은 채점자간 신뢰도와 채점자내 신뢰도가 있는 것으로 나타났다. 분석-일반 채점기준은 채정자간 신뢰도가 높고 채점자내 신뢰도는 있는 것으로 나타났으며, 분석-특수 채점기준은 채점자간 신뢰도와 채점자내 신뢰도가 모두 높은 것으로 나타났다. 일반적인 채점기준들(총괄-일반, 분석-일반)의 경우, 하나의 채점 기준으로 모든 포트폴리오 목표를 채점할 수 있으므로 매우 경제적이고 실용적이나, 채점자들은 채점시 모호함을 느낀다고 하였다. 반면에, 특수적인 채점기준들(총괄-특수, 분석-특수)의 경우, 채점은 더 명확하게 할 수 있으나, 목표별로 채점기준을 개발해야 하므로 많은 시간과 노력이 필요하게 된다. 채점기준의 실용도 측면에서는 분석-특수 채점기준이 다른 기준보다 2배 이상의 시간이 결려 실용도는 낮은 것으로 나타났다.