• 한국지구과학회지
• /
• 제23권8호
• /
• pp.632-639
• /
• 2002

이 연구의 목적은 마인드 맵의 채점 기준을 개발하는 것이다. 이 연구에는 평택시 소재 한 초등학교 4학년 2개 학급 학생들이 참여하였다. 학생들은 마인드 맵 작성 기초 훈련을 받고, 과학 단원 2개를 배우는 동안 마인드 맵 4개를 작성하였다. 마인드 맵을 채점하기 위해서 채점기준을 개발하였다. 채점기준의 채점자간 신뢰도를 검증하기 위하여 표집한 마인드 맵을 초등 현직 교사 3인이 채점하고, 채점자간 상관계수를 산출하였다. 연구 결과 중심원, 가지, 표현의 세 영역으로 구성된 마인드 맵 채점 기준을 개발하였다. 채점 기준의 신뢰도는 높음에서 매우 높음의 범위를 보였다.

• 한국과학교육학회지
• /
• 제30권2호
• /
• pp.275-290
• /
• 2010

중학생의 과학탐구활동 수행평가 시 총체적 채점과 분석적 채점의 신뢰도를 비교 분석하였으며, 분석적 채점을 하는 경우에는 신뢰도 확보를 위하여 채점척도의 수준을 어느 정도로 분석적으로 해야 하는지를 조사하였다. 중학생들이 작성한 4개의 과학탐구과제에 대한 활동지를 두 명의 채점자가 총체적 채점 방식, 분석적 채점 방식, 분석적 채점 중 채점척도를 2, 3, 4~7수준으로 다르게 하여 채점하였다. 총체적 채점 방식은 과제 간 내적 일치도가 높게 나타났으며, 분석적 채점 방식은 채점자간 신뢰도가 높게 나타났다. 또한 채점척도 3수준의 경우는 4~7수준의 경우와 활동간 내적 일치도와 채점자간의 신뢰도가 유사하게 나타났으나, 능력추정치별 학생의 분포, 문항곤란도 및 문항특성곡선의 경우 채점척도 3수준의 경우가 적절한 것으로 나타났다. 이러한 연구 결과는 과학탐구활동 수행평가 시 총체적 채점 방식을 선택하는 경우는 과제 간 내적일치도를 높일 수 있으며 분석적 채점 방식에 비해 낮게 나타나는 채점자 간 일치도를 높이기 위한 채점자간 협의등 방안이 필요하다는 것을 시사한다. 또한 분석적 채점 방식을 선택하는 경우는 채점척도 3수준으로 충분히 신뢰도를 확보할 수 있다는 점을 시사한다.

• 영어어문교육
• /
• 제12권3호
• /
• pp.147-166
• /
• 2006

This study investigates the effect of misplacement in a written Computer-delivered ESL Placement Test (CEPT) context. The study aims to address the following two research questions: a) which scoring rubric features cause the misplacement of ESL learner's writing scores? and b) which scoring rubric features improve ESL learner's writing scores? Thirty-four international examinees took the test and participated in surveys at the University of Illinois. Twelve examinees of them attended the CEPT workshop test. In the workshop test, they carried out self-evaluation on their first essays using a scoring rubric and compared with expert raters' results. After the workshop, the examinees responded to a survey and interview. For the first research question, the results of the survey and interview addressed that the majority disagreed with the raters' rating results. The self-evaluation results also indicated that their misunderstanding of organization feature caused the misplacement. For the second question, the CEPT workshop scores were improved due to the score improvement in the organization feature while the contribution of other features to the total scores was little. Most of the examinees pointed out that a lesson on the scoring rubric enhanced their understanding of the writing features of the rubric so that their placement scores were generally improved.

• 컴퓨터교육학회논문지
• /
• 제20권2호
• /
• pp.1-11
• /
• 2017

고등교육의 비전공자 대상 정보과학 교육의 수요가 늘고 있지만, 컴퓨팅 사고력 관점에서 적절하게 학생들의 창의적 산출물을 평가하는 도구는 부족하다. 이에 본 연구는 고등교육의 비전공자를 위한 정보 과학 수업에서 학생들이 개발한 창의적 산출물을 컴퓨팅 사고력 관점에서 평가하는 루브릭을 개발하기 위한 목적으로 진행되었다. 루브릭 초안의 준거틀(framework)은 CT Practices Design Pattern이며, 개발된 루브릭의 구성 요소는 영역, 역량요소, 평가요소, 평가자료, 평가단계의 다섯 가지이다. 루브릭은 '추상화 모델의 설계', '창의적 산출물의 설계 및 적용', 그리고 '산출물의 자가 평가'의 세 영역으로 구분하여 개발되었다. 전문가 검토를 통해 내용 타당성을 확보하였으며, 신뢰도 측면의 일관성이 검증되었다. 본 연구에서 개발된 루브릭은 해당 목적에 맞게 수정하여 사용할 수 있다.

• 한국가정과교육학회지
• /
• 제20권3호
• /
• pp.85-105
• /
• 2008

본 연구는 중학교 1, 2, 3학년 가정 교과에서 실험 실습법을 적용한 수행과제 평가도구로써 서술식 채점 기준표인 분석적 루브릭을 교사-학생간의 협상 과정을 통해 개발하는데 목적을 두었다. 본 연구에서는 다음과 같이 정의, 개발, 평가의 3단계 과정을 거쳐 분석적 루브릭을 총 3개, 1학년 [영양김밥 만들기] 2학년 [보조가방 만들기] 3학년 [미래의 나의 공간 꾸미기]를 개발하였다. 정의 단계에서는 루브릭을 개발할 수 있는 준비 단계로 루브릭을 적용할 수행과제를 설문지법을 통해 조사한 후 선정하였으며, 수행과제를 위한 방법 및 절차, 준비물, 유의사항 등을 구체적으로 제시하고, 루브릭 협상 학급 및 개발 일정을 선정 계획하였다. 그리고 Ainsworth와 Christinson(1998)이 제시한 교사-학생 협상 루브릭을 사용하였다. 개발 단계에서는 수행과제의 성취기준을 지식, 기능, 태도로 나누어 확인하고 평가하고자 하는 내용에 따라 채점 준거와 단계를 정하였다. 선정한 채점 준거의 평가기준을 참고로 A, B, C에 따라 구체적으로 관찰 가능하고 평가 가능한 행동으로 루브릭을 기술하도록 하였다. 그리고 모둠별로 작성된 루브릭을 교사-학생간의 협상 과정을 거쳐 1차 루브릭을 개발하였다. 평가 단계에서는 개발한 1차 루브릭의 초안을 가정과교육 전문가 1인에게 내용타당도에 대한 검토를 거쳐 수정 보완하여 최종 루브릭을 제시하였다. 최종 개발된 루브릭 평가 도구의 적합성을 평가하기 위하여 H대학의 교육대학원 학생을 대상으로 임의로 편의 표집하여 46부의 질문지를 분석 자료로 사용하였다. 현장 교사의 설문지 평가 결과 적합성 여부의 결과, 평가도구의 이해도, 타당도, 신뢰도, 활용의 용이성, 교사의 준비도, 결과의 활용도가 비교적 높아 적합한 것으로 판단되었다. 다만 활용의 용이성은 5점 척도에서 3점 이상이나 다른 것에 비해서 상대적으로 낮게 나타났다. 본 연구에서 개발한 루브릭의 활용을 위해 후속 연구를 위해서 다음의 몇 가지 제언을 하고자 한다. 첫째, 후속 연구로서 본 평가도구와 루브릭을 실제로 적용해 보고, 그 효과를 측정해 볼 필요가 있다. 둘째, 가정과에 루브릭에 대한 연구가 많지 않기 때문에 더 많은 영역에서 수행과제에 대한 루브릭이 개발되어 할 것이다. 셋째, 학생들이 루브릭에 대한 이해도가 낮고 학교 현장에서 학생들의 협의 협상하는 토론 능력이 많이 부족하기 때문에 루브릭 개념에 대한 명확한 이해를 도울 수 있도록 사전에 협상하고 토론하는 과정을 단계별로 구체화할 교수-학습 과정안과 보조 자료를 개발할 필요가 있다.

• 한국과학교육학회지
• /
• 제22권1호
• /
• pp.176-189
• /
• 2002

본 연구의 목적은 초등학교 과학과 포트폴리오를 채점할 수 있는 다양한 채점기준을 개발하고, 개발된 각 채점기준의 신뢰도를 검증해 보고자 하는 것이다. 채점기준을 개발하기 위한 포트폴리오는 4학년 2학기 '단원 2. 지층과 화석', '단원 4. 열과 물체의 변화' 를 중심으로 청주교대 과학교육 연구실에서 2000년 여름에 개발한 체제를 같은 해 가을, 경기도 중도시의 한 초등학교 4학년 한 학급에 적용하여 얻은 것이다. 총괄-일반, 총괄-특수, 분석-일반, 분석-특수의 4가지 채점기준을 개발하고, 각 채점기준에 근거하여 학생들이 작성한 포트폴리오 증거물을 채점하여 각 채점 기준별 채점자간 신뢰도와, 채점자내 신뢰도를 구하였다. 1차 채점에서는 총 12명의 채점자들이 각 채점기준별로 3명씩 그룹을 나누어 그룹당 12권의 포트폴리오 증거물을 채점하였다. 단, 분석-특수 채점기준의 경우 6권의 포트폴리오 증거물만을 채점하였다. 채점자내 신뢰도를 알아보기 위해 실시한 채점시기별 신뢰도에서는 l차 채점에 참가한 채점자 중 각 채점기준별로 2명씩 총 8명이 2차 채점에 참가하여 l차 채점과 동일한 방식으로 채점을 실시하였다. 채점결과를 SPSS 통계 프로그램에 입력하여 상관계수를 구한 결과, 총괄-일반 채점기준은 채점자간 신뢰도가 높고 채점자내 신뢰도가 있는 것으로 나타났고 총괄-특수 채점기준은 채점자간 신뢰도와 채점자내 신뢰도가 있는 것으로 나타났다. 분석-일반 채점기준은 채정자간 신뢰도가 높고 채점자내 신뢰도는 있는 것으로 나타났으며, 분석-특수 채점기준은 채점자간 신뢰도와 채점자내 신뢰도가 모두 높은 것으로 나타났다. 일반적인 채점기준들(총괄-일반, 분석-일반)의 경우, 하나의 채점 기준으로 모든 포트폴리오 목표를 채점할 수 있으므로 매우 경제적이고 실용적이나, 채점자들은 채점시 모호함을 느낀다고 하였다. 반면에, 특수적인 채점기준들(총괄-특수, 분석-특수)의 경우, 채점은 더 명확하게 할 수 있으나, 목표별로 채점기준을 개발해야 하므로 많은 시간과 노력이 필요하게 된다. 채점기준의 실용도 측면에서는 분석-특수 채점기준이 다른 기준보다 2배 이상의 시간이 결려 실용도는 낮은 것으로 나타났다.

• 대한수학교육학회지:학교수학
• /
• 제3권2호
• /
• pp.325-354
• /
• 2001

The study aims to develop balanced performance assessment tasks for primary school mathematics which can be implemented in the primary school easily. In order to these purposes, I suggest the types of performance assessment tasks and the framework of assessment standards for the balanced performance assessment with describing the procedures of developing tasks and rubrics. The types of task are journal writing, problem posing, constructed task, and descriptive task. In the framework of assessment standards, I suggest holistic scoring which are classified as four levels according to the degree of excellence which students perform totally concerning about the criterion of implication, reasoning, accuracy, and communication. Also I analyse the responses of children to the task “make a beautiful pattern” and suggest its assessment rubric and anchor papers for each level for illustrating the process of developing a rubric in holistic scoring. In order to reflect the viewpoints of children and their Parents concerning about the tasks, the responses in self assessment and parent assessment are analysed. Finally, methods of implementing the assessment tasks and considerations are discussed.

• 대한수학교육학회지:수학교육학연구
• /
• 제11권1호
• /
• pp.207-221
• /
• 2001

The purpose of this study is to develop the assessment rubric of mathematical communication ability by each type: listening, speaking, reading, writing, and graphic. This rubric is qualified in the content-validity and reliability by professional educators' evaluation and correlation coefficient. 16 math educators judged that this involves the results of learning mathematical communication, the results of possible instruction, and the content of scoring mathematical communication by teachers. 170 middle school students were tested by the assessment task according to the types of mathematical communication. After two researchers and two teachers scored the tasks, correlation coefficient was calculated between evaluators. The coefficient is evaluated high in that it is more than 0.70.

• 영어어문교육
• /
• 제17권4호
• /
• pp.339-356
• /
• 2011

This study explored pre-service English teachers' participation in the development of a rubric and examined evaluation of their own English poetry. The current study would investigate: 1) the pre-service English teachers' perception as a rubric developer and self-evaluator, 2) the number of analytic area that the participants included in their rubrics and the scoring scheme that they designed in their rubrics, and 3) the inter-rater differences between self-assessemnt and expert-assessment across analytic areas. Twenty-four EFL learners participated in the current study. The researchers analyzed the learners' own English poetry, their field notes which contained the process of their writing, their rubrics, scores of self-assessment, and expert raters' scores. The results revealed that learners showed positive responses on learner-directed assessment, that 'content' is the most important area, and that inter-rater difference is small across all analytic areas.

• 한국과학교육학회지
• /
• 제38권3호
• /
• pp.355-367
• /
• 2018

이 연구의 목적은 학생들의 시스템 사고 수준을 측정하는 문항을 개발하기 위하여 첫째, 문헌 분석을 통해 시스템 사고 수준과 정의를 제시하고 둘째, 시스템 사고 정의와 수준에 근거하여 문항 개발을 위한 Framework을 개발하고 셋째, 시스템 사고 측정을 위한 열린 응답형 검사지를 채점할 수 있는 루브릭을 개발하는 것이다. 이를 위하여 문헌 분석 틀을 적용하여 국외 논문 60편에 대한 문헌 분석을 실시하였으며 분석된 내용을 근거로 시스템 사고 수준과 정의를 제시하였다. 그리고 시스템 사고 수준과 정의에 근거하여 각 수준별 핵심 아이디어와 평가 요소를 포함한 Framework을 개발하였다. 또한 순위선다형 문항 외에 열린 응답형 검사 문항의 채점을 위한 루브릭을 개발하였다. 루브릭은 Hung(2008)이 개발한 시스템 사고 측정을 위한 루브릭에 기반하여 연구팀에서 시스템 사고 수준과 정의에 적합하도록 문항과 위계를 수정하였다. 그리고 각 문항마다 1~5점 척도로 변환이 가능하도록 각 점수에 대한 정의를 제시하였다. 연구팀이 개발한 시스템 사고 수준과 정의, 문항 개발을 위한 Framework, 열린 응답형 검사지 채점을 위한 루브릭에 대하여 과학교육 전문가 7인에게 내용 타당도 검증을 의뢰하였으며 그 결과 CVI가 세 도구에서 모두 .95이상이 확인되었다. 이 연구 결과를 바탕으로 앞으로 학생들의 시스템 사고 수준을 측정할 수 있는 문항을 개발하고 개발된 문항에 대한 구인 타당도 및 준거 타당도 검증을 실시하고자 한다. 나아가 2015 개정 교육과정에서 강조하는 핵심 역량과 관련된 시스템 사고수준의 체계적인 측정을 위한 타당화 연구도 진행하고자 한다.