• 한국과학교육학회지
• /
• 제22권1호
• /
• pp.176-189
• /
• 2002

본 연구의 목적은 초등학교 과학과 포트폴리오를 채점할 수 있는 다양한 채점기준을 개발하고, 개발된 각 채점기준의 신뢰도를 검증해 보고자 하는 것이다. 채점기준을 개발하기 위한 포트폴리오는 4학년 2학기 '단원 2. 지층과 화석', '단원 4. 열과 물체의 변화' 를 중심으로 청주교대 과학교육 연구실에서 2000년 여름에 개발한 체제를 같은 해 가을, 경기도 중도시의 한 초등학교 4학년 한 학급에 적용하여 얻은 것이다. 총괄-일반, 총괄-특수, 분석-일반, 분석-특수의 4가지 채점기준을 개발하고, 각 채점기준에 근거하여 학생들이 작성한 포트폴리오 증거물을 채점하여 각 채점 기준별 채점자간 신뢰도와, 채점자내 신뢰도를 구하였다. 1차 채점에서는 총 12명의 채점자들이 각 채점기준별로 3명씩 그룹을 나누어 그룹당 12권의 포트폴리오 증거물을 채점하였다. 단, 분석-특수 채점기준의 경우 6권의 포트폴리오 증거물만을 채점하였다. 채점자내 신뢰도를 알아보기 위해 실시한 채점시기별 신뢰도에서는 l차 채점에 참가한 채점자 중 각 채점기준별로 2명씩 총 8명이 2차 채점에 참가하여 l차 채점과 동일한 방식으로 채점을 실시하였다. 채점결과를 SPSS 통계 프로그램에 입력하여 상관계수를 구한 결과, 총괄-일반 채점기준은 채점자간 신뢰도가 높고 채점자내 신뢰도가 있는 것으로 나타났고 총괄-특수 채점기준은 채점자간 신뢰도와 채점자내 신뢰도가 있는 것으로 나타났다. 분석-일반 채점기준은 채정자간 신뢰도가 높고 채점자내 신뢰도는 있는 것으로 나타났으며, 분석-특수 채점기준은 채점자간 신뢰도와 채점자내 신뢰도가 모두 높은 것으로 나타났다. 일반적인 채점기준들(총괄-일반, 분석-일반)의 경우, 하나의 채점 기준으로 모든 포트폴리오 목표를 채점할 수 있으므로 매우 경제적이고 실용적이나, 채점자들은 채점시 모호함을 느낀다고 하였다. 반면에, 특수적인 채점기준들(총괄-특수, 분석-특수)의 경우, 채점은 더 명확하게 할 수 있으나, 목표별로 채점기준을 개발해야 하므로 많은 시간과 노력이 필요하게 된다. 채점기준의 실용도 측면에서는 분석-특수 채점기준이 다른 기준보다 2배 이상의 시간이 결려 실용도는 낮은 것으로 나타났다.

• 한국지구과학회지
• /
• 제23권8호
• /
• pp.632-639
• /
• 2002

이 연구의 목적은 마인드 맵의 채점 기준을 개발하는 것이다. 이 연구에는 평택시 소재 한 초등학교 4학년 2개 학급 학생들이 참여하였다. 학생들은 마인드 맵 작성 기초 훈련을 받고, 과학 단원 2개를 배우는 동안 마인드 맵 4개를 작성하였다. 마인드 맵을 채점하기 위해서 채점기준을 개발하였다. 채점기준의 채점자간 신뢰도를 검증하기 위하여 표집한 마인드 맵을 초등 현직 교사 3인이 채점하고, 채점자간 상관계수를 산출하였다. 연구 결과 중심원, 가지, 표현의 세 영역으로 구성된 마인드 맵 채점 기준을 개발하였다. 채점 기준의 신뢰도는 높음에서 매우 높음의 범위를 보였다.

• 한국과학교육학회지
• /
• 제30권2호
• /
• pp.275-290
• /
• 2010

중학생의 과학탐구활동 수행평가 시 총체적 채점과 분석적 채점의 신뢰도를 비교 분석하였으며, 분석적 채점을 하는 경우에는 신뢰도 확보를 위하여 채점척도의 수준을 어느 정도로 분석적으로 해야 하는지를 조사하였다. 중학생들이 작성한 4개의 과학탐구과제에 대한 활동지를 두 명의 채점자가 총체적 채점 방식, 분석적 채점 방식, 분석적 채점 중 채점척도를 2, 3, 4~7수준으로 다르게 하여 채점하였다. 총체적 채점 방식은 과제 간 내적 일치도가 높게 나타났으며, 분석적 채점 방식은 채점자간 신뢰도가 높게 나타났다. 또한 채점척도 3수준의 경우는 4~7수준의 경우와 활동간 내적 일치도와 채점자간의 신뢰도가 유사하게 나타났으나, 능력추정치별 학생의 분포, 문항곤란도 및 문항특성곡선의 경우 채점척도 3수준의 경우가 적절한 것으로 나타났다. 이러한 연구 결과는 과학탐구활동 수행평가 시 총체적 채점 방식을 선택하는 경우는 과제 간 내적일치도를 높일 수 있으며 분석적 채점 방식에 비해 낮게 나타나는 채점자 간 일치도를 높이기 위한 채점자간 협의등 방안이 필요하다는 것을 시사한다. 또한 분석적 채점 방식을 선택하는 경우는 채점척도 3수준으로 충분히 신뢰도를 확보할 수 있다는 점을 시사한다.

• 한국과학교육학회지
• /
• 제22권2호
• /
• pp.398-409
• /
• 2002

본 연구는 개념도 채점 방법의 타당도, 신뢰도 그리고 평가 도구로서 개념도의 현실 적용가능성을 알아보는데 목적이 있다. Burry-Stock의 채점 방법, Novak과 Gowin의 채점 방법, McClure와 Bell의 채점 방법을 모두 사용했고, 각 채점 방법에 대해 2명의 채점자를 배정하였다. 채점자는 지방 국립 사범대 과학교육학부 4학년 학생들이었다. Burry-Stock의 채점 방법을 제외하고는 과제의 제시 유형에 상관없이 두 채점자간의 정수 차이가 크지 않았고, 점수 차이가 통계학적으로도 유의하지 않았다. Novak과 Gowin과 McClure와 Bell의 채점 기준을 따를 때 개념도는 타당도가 높은 평가 도구인 것으로 나타났다. Burry-Stock의 채점 방법은 개념을 주고 개념도를 만들도록 한 과제를 위해 개발된 것인 만큼 그 유형의 과제를 가지고 개념도를 만들도록 했을 때는 타당도가 있었다. 각각 3가지 채점 방법에 따른 Pearson의 단순 적률상관 계수를 이용하여 채점자간 신뢰도롤 분석한 결과 신뢰도는 $.449{\sim}.975$의 범위였다. Novak과 Gowin의 채점 방법을 사용할 때는 .94 이상의 높은 일치도를 보여주었다. McClure와 Bell의 채점 방법 또한 환경 오염에서 .816의 비교적 높은 상관 관계를 보여 주었다. 채점자들이 개념도률 채점하는데 걸린 시간은 최소 1.13분에서 최대 3.70분까지 소요되었다. 본 연구 결과 개념도가 생물 개념 평가 도구로서 타당도 신뢰도 그리고 현실적용 가능성이 충분히 있다고 사료된다. 작성하는데 필요한 시간은 평균 29분이었다(n=40. S.D=5.10). 채점자들이 40개의 개념도를 채점하는데 필요한 시간을 기록하였다. Table 5는 각 평가 방법에 따른 개념도 채점에 평균 소요 시간을 나타낸 것이다. 전체적으로 1.13분에서 3.70분까지 소요되었다. 채점자에 따라 채점 시간에서 차이를 보였다.

• 한국과학교육학회지
• /
• 제32권1호
• /
• pp.160-181
• /
• 2012

본 연구의 목적은 과학탐구활동 수행평가 시 총체적 채점의 신뢰도를 높이기 위하여 채점자간 불일치의 정도와 유형을 이해하는 것이다. 이를 위하여 중학생 60명을 대상으로 과학탐구 수행평가를 실시하였고, 4명의 훈련된 채점자 채점을 실시하였다. 분산 분석결과 교사 관련 분산성분에 의해 전체 분산의 25%를 설명할 수 있으며, 4명의 채점자중 2명은 관대한 채점자, 2명은 엄격한 채점자의 경향을 지닌 것으로 나타났다. 전체 240 채점 사례 중 4명의 채점자가 모두 일치한 사례는 51사례이다. 채점자간 불일치가 나타나는 189사례에 대하여 채점자 협의를 통하여 확인한 결과, 채점자간 중요하게 생각하는 부분의 차이 때문에 발생하는 불일치 유형1이 38%, 채점자의 관대함과 엄격함에 의해 발생하는 불일치 유형2가 25%, 채점자가 중요하게 생각하지 않은 부분에서 간과하기 때문에 발생하는 등 실수에 의한 불일치 유형3이 31%로 나타났다. 불일치 유형1은 채점자마다 중요하게 생각하는 과제 요소와 평가 요소가 다른 경우로 나누어서 나타났으며, 맥락상의 의미를 강조하는 채점자는 관대한 경향을, 특정 요소를 강조하여 분석적으로 해석하는 채점자는 엄격한 경향을 나타냈다. 불일치 유형 2는 많은 경우 채점 척도의 경계에 학생의 응답에 대하여 나타났으며, 채점자들은 이러한 학생 응답에 대하여 옳은 서술의 개수를 세는 등 분석적인 채점을 수행하는 것을 확인할 수 있었다. 또한 불일치 유형3은 채점자의 실수로 발생하는 불일치로 주로 학생의 응답 중 평가 기준에 부합하는 부분인데 채점자가 중요하게 생각하지 않기 때문에 간과하여 발생하는 것으로 파악할 수 있었다. 이상과 같은 채점자간 불일치를 제어하기 위해서는 채점자가 중요하게 생각하는 과제 요소와 평가 요소에 대하여 사전 및 진행 중 협의를 할 필요가 있다고 판단된다. 또한 총체적 채점을 하는 경우도 각 수준에 해당하는 평가 기준과 함께 경계에 놓인 학생 응답을 변별하는 기준을 제시하는 것이 필요하다. 채점자들은 자신의 채점경향이 엄격한지 관대한지를 파악하고 경계에 놓인 학생의 응답에 대한 판단을 주의 깊게 하여야 불일치를 줄일 수 있다. 실수에 의한 오차를 줄이기 위해서는 여러 명의 채점자가 교차 채점하는 것이 필요하다. 동일한 채점 기준에 대한 채점자의 해석이 다르게 나타나는 경향과 원인에 대한 추후 연구가 필요하다.

• Communications for Statistical Applications and Methods
• /
• 제1권1호
• /
• pp.206-214
• /
• 1994

본 논문은 1994학년도 부터 부활된 대학별고사 실시에 따른 문항분석, 표준 점수제 그리고 검사동등화의 문제점을 지적하기 위하여 교육측정이론의 기본 개념을 소개하는데 있다. 대학별고사의 타당성과 신뢰성을 보장받기 위하여는 양질의 문항제작이 우선하여야하며, 이를 위하여 문항분석은 종전에 사용하던 고전검사이론 보다는 문항반응이론을 이용하는 것이 바람직하다. 문항반응이론에 의한 문항분석은 피험자 집단의 특성에 의하여 문항특성이 달리 분석되지 않는 특징을 지니고 있기 때문이다. 문항이 논술형일 경우 채점자간 신뢰도와 채점자 내 신뢰도를 간과하여서는 안될 것이다. 다양한 선택과목을 채택하는 대학별 고사에서 입학 사정을 위하여 원점수를 사용하거나, 표준점수 혹은 검사동등화 방법을 이용하고 있으나 이는 교육측정이론에 위배된다. 다른 과목에 대한 인가의 능력을 상대비교 할 수 없으며, 표준점수와 검사동등화는 동일 능력에 대한 상대비교를 위한 방법이다. 특히 검사동등화는 동일 특성, 공정성, 모교집단 불변성, 대칭성을 전제한다. 표준점수제에 의하여 수험생들의 다른 능력을 상대 비교하는 방법은 다른 능력이 점수로 표현되기 때문에 가능하나 그 점수가 무엇을 의미하는 가를 분석할 때는 교육평가의 기본 철학에도 위배된다.

• 한국산학기술학회논문지
• /
• 제13권10호
• /
• pp.4612-4618
• /
• 2012

본 연구는 지역사회에 거주하는 뇌졸중 클라이언트에서 생산과제의 세 가지 방법을 모두 이용하고 Freedman 등의 양적 채점 방법을 사용하여 인지 손상 선별 검사로서 CDT(Clock Drawing Test)의 신뢰도 및 타당도를 분석하였다. 2010년 11월 부터 2011년 8월 까지 지역사회에 거주하는 뇌졸중 클라이언트 51명을 대상으로 CDT와 K-MMSE(Korean Version of Mini Mental State Examination)를 검사하였다. 스피어맨 순위 상관계수 분석으로 CDT의 검사-재검사 신뢰도, 검사자간 신뢰도, 동시타당도를 분석하였고, 맨 휘트니 유 검정을 사용하여 구성타당도를 분석하였다. 검사재검사 신뢰도, 검사자간 신뢰도, 구성타당도, 동시타당도 분석 모두에서 통계학적으로 유의하였다(p<.01). 본 연구의 결과에서 생산과제 방법을 이용하고 Freedman 등의 양적 채점 방법을 사용한 CDT는 인지손상을 선별하는 검사로서 지역사회에 거주하는 뇌졸중 클라이언트에게 적용될 수 있을 것이다.

• 한국과학교육학회지
• /
• 제32권2호
• /
• pp.210-235
• /
• 2012

본 연구에서는 중학생들의 과학 창의적 문제 해결능력을 측정하기 위해 타당도와 신뢰도가 높은 검사도구를 개발하였다. 먼저 과학 창의적 문제 해결 능력에 대한 조작적 정의를 바탕으로 3차원 평가 틀(과학내용, 과학 탐구 기능, 사고력)을 개발하였으며, 이 평가 틀에 맞추어 평가 문항을 개발하였다. 현장 과학 교사들의 검토를 거쳐 예비 검사에 투입할 3과제로 구성된 4개 문항을 확정하였고, 예비 검사 결과를 바탕으로 각 문항의 구체적인 채점 기준과 배점을 결정하였다. 완성된 최종 검사 도구는 내용 및 평가 기준에 대한 과학 교육 전문가와 현장 교사들의 타당도 검증을 거친 후 중학교 1, 2, 3학년 320명에게 투입되었으며, 채점 결과를 바탕으로 채점자간 신뢰도를 검증받았다. 채점 결과 문항 난이도와 변별도 역시 적절한 것으로 나타났다. 앞으로 본 연구에서 개발한 평가 틀과 평가 기준을 활용하여 다양한 학교 급에 적용할 수 있는 다양한 수준의 과학 창의적 문제 해결 능력 평가도구의 개발이 지속적으로 이루어져야 할 것이다.

• 한국산학기술학회논문지
• /
• 제12권1호
• /
• pp.318-326
• /
• 2011

본 연구는 절차기술의 객관구조화 진료시험(Objective Structured Clinical Examination)에서 표준화환자가 평가자의 역할을 수행할 수 있는지 알아보기 위해 신뢰도를 평가하는데 그 목적이 있다. 시험의 주제는 남성 도뇨관삽관과 창상드레싱 2가지로 정하고, 2년 이상의 객관구조화 진료시험 채점 경력이 있는 표준화환자와 교수 각 4명을 2명씩 짝을 지워 한 주제 당 표준화환자 그룹과 교수 그룹이 동시에 채점하게 하였다. 표준화환자들에게는 술기의 정의, 방법, 주의점, 후유증에 대한 교육이 이루어졌으며 동영상이 포함된 강의, 교수의 시연 후 표준화환자가 직접 실습해보고 교수로부터 되먹임을 받는 순서로 총 8시간( 주제당 4시간)의 교육이 시행되었다. 8명의 평가자 모두 객관구조화 진료시험 전날 모여 기존의 동영상자료를 이용한 가상 채점으로 1시간동안 채점 표준화를 이루었다. 채점표는 체크리스트 14문항과 총괄평가 1문항으로 이루어졌다. 한 학생당, 주제당 5분간의 시험 후 2분간의 평가가 이루어졌다. 표준화환자와 교수간의 분석은 GENOVA program을 이용하였다. 연구 결과 주제 전체에서 G상수는 0.839, 평가자의 신뢰도는 0.946으로 매우 높았다. 표준화환자그룹과 교수그룹 사이의 평가자간 일치도는 체크리스트에서 0.949, 총괄평가에서 0.908이었다. 따라서 적절한 교육이 선행되어진다면 표준화환자도 절차기술의 객관화진료시험에 신뢰할 만한 평가자로 이용되어질 수 있을 것이다.

• 한국과학교육학회지
• /
• 제19권4호
• /
• pp.507-515
• /
• 1999

본 연구에서는 과학 교사를 양성하는 사범대학 과학교육과 학생들의 일반화학실험 수행평가를 위한 분석적인 채점 준거를 개발하였다. 개발된 채점준거는 크게 두 가지로 나눌 수 있다. 첫 번째는 학생들이 실험을 수행하면서 나타나는 탐구 능력을 평가하기 위한 실험 보고서를 평가하는 분석적 채점 준거이다. 이 분석적 채점 준거는 일곱 가지 탐구 기능 요소로 나누어져 있으며, 한 학기용 실험 주제 9개에 대해서 모두 개발하였다. 두 번째는 학생들이 실험하는 동안에 교수와 조교가 직접적인 관찰에 의해 점검하는 형태로 평가하는 수공적 기능 채점 준거와 실험에 임하는 학생들의 태도를 평가하기 위한 분석적 채점 준거이다. 또한 학생들의 탐구 능력을 평가하는 실험 보고서에 대한 분석적 채점 준거의 기초가 되는 일곱가지 탐구 기능 요소에 대한 일반적 채점 준거도 개발하였다. 모든 채점 준거에 대한 타당도는 과학교육 전문가 6인에 의하여 검증 받았으며, 채점 준거로 실험 보고서를 평가한 결과로부터 채점자간 신뢰도를 검증하였다. 본 연구에서 개발한 평가 도구를 사용하여 얻어진 학생들의 일반화학실험 수업 성취도와 일반화학 이론 수업 성취도는 상관이 있는 것(r=.663.p<.01)으로 나타났으며. 44%($r^2$=.440)의 공통 분산 영역을 보여주었다. 따라서 본 연구에서 개발한 실험 평가 도구는 이론 수업 평가 도구에서 측정하지 못하는 다른 영역(56%)도 평가하고 있음을 알 수 있었다. 이러한 결과로부터 간접적으로나마 본 연구에서 개발한 실험 평가 도구가 전통적인 지식 이해만이 아닌, 실험을 수행하면서 나타난 탐구 기능, 수공적 기능, 실험 태도를 평가하는 도구라고 할 수 있다.