• 한국학교수학회논문집
• /
• 제11권3호
• /
• pp.377-397
• /
• 2008

오늘날 학교수학에서는 학생들의 학습 결과만이 아닌 학습자 사고의 진 과정을 평가해야 한다는 방향으로 평가관이 변화되어 가고 있으며, 대안적인 평가방법으로 서술형 평가가 교육청의 권고 하에 학교현장에 급격히 도입되고 있는 실정이다. 그러나 서술형 평가의 잠재적 장점을 살리면서 현장에 안정적으로 적용되기 위해서는 성숙한 실행조건을 갖추는 것이 우선되어야 한다. 이에 본 연구에서는 현재 학교에서 시행되고 있는 수학과 서술형 평가의 효율적인 정착을 위해 서울 및 수도권 소재 중 고등학교 수학교사 120명을 대상으로 서술형 평가의 실시 현황, 문항 제작 및 채점, 기대 및 개선 방향에 대한 인식을 조사하여 그 시사점을 제안하고자 하였다. 연구 결과, 많은 학교가 서술형 평가를 학교에서 주관하는 정기 시험에서 실시하여 그 결과를 성적에 반영하고 있었다 서술형 평가는 학생들의 사고력 신장과 학업 성취도에 대한 보다 정확한 측정을 위하여 '중'이나 '중상' 정도 난이도로 출제되고 주로 분석적인 채점 방법으로 4회 이상 반복 채점하곤 있었다. 서술형 평가와 관련한 문제점으로는 학급 당 학생 수, 평가 과정에서의 객관성 확보, 문항 개발의 어려움과 더불어 학생들이 학습 부담의 증가 등이 꼽혔는데, 이에 대한 해결 방안으로 교사의 업무 경감, 서술형 평가를 위한 적극적인 문항 개발 및 보급, 서술형 평가를 위한 타당하고 객관적인 평가기준의 개발 및 보급이 시급하게 개선되어야 하는 것들로 나타났다.

• 한국학교수학회논문집
• /
• 제15권2호
• /
• pp.239-258
• /
• 2012

본 연구는 한국과 미국의 국가, 교육청, 학교 수준에서의 서술형 평가와 관련한 제도 및 문항에 관한 국제 비교를 함으로써 두 나라에서 서술형 평가가 실행되는 수준별 현황을 살펴보고, 서술형 평가의 효율적인 적용을 위한 시사점을 찾아보고자 한다. 비교 결과, 한국과 미국의 국가 수준의 교육과정에서는 공통적으로 문제해결 과정에 대한 평가와 교수 학습과정과 평가 간의 높은 연계성을 갖는 평가 방식의 중요성이 강조되고 있다. 그러나 교육청 수준에서 한국은 문서상에서 서술형 평가 실시 비율을 제시하는 데에 치중하는 경향이 짙은 반면, 미국의 각 주(State)에서는 교실 현장에서 실제적으로 활용할 수 있는 예시문항과 채점기준을 제시하여 활용을 도울 수 있도록 한 차이를 나타냈다.

• 한국학교수학회논문집
• /
• 제17권3호
• /
• pp.409-435
• /
• 2014

본 연구의 목적은 초등학교 5학년 학생들이 가장 어려워하는 연산 중 하나인 분수 연산관련 서술형 평가 문항에서 나타내는 연산 능력과 오류 유형을 살펴봄으로써 초등학교 현장에서의 분수 연산에 대한 시사점을 제공하고자 한다. 연구 결과, 연구참여자들은 분수의 덧셈과 뺄셈 연산 보다 분수의 곱셈 연산 능력이 낮게 나타났다. 또한 서술형 평가 문항에 다양한 오류 유형이 나타났는데, 연산 능력별 차이에서는 상 집단 학생들은 '풀이 과정의 비약', 중 집단과 하 집단에서는 모두 '문항 이해의 오류'로 나타났다. 분수의 덧셈과 뺄셈에 대한 연산 능력은 분수의 곱셈 연산 능력에 영향을 주는 것으로 나타났는데, '문항에 대한 이해'와 '풀이 과정에 대한 이해'에서 나타난 오류가 곱셈 연산 능력에 가장 큰 영향을 주는 것으로 나타났다.

• 정보교육학회논문지
• /
• 제20권3호
• /
• pp.255-262
• /
• 2016

본 연구는 Computational Thinking 역량을 효과적으로 평가하기 위한 서술형 수행평가 방법에 관한 내용이다. 제안된 서술형 수행평가도구는 MIT에서 제시한 창의컴퓨팅 평가 문항들을 델파이 기법을 통해 조사한 후 문항을 선별 및 수정하였다. 이 서술형 수행평가 도구는 실험하기 및 반복하기, 테스팅과 디버깅, 재사용과 재구성, 추상화와 모듈화의 4가지 영역으로 구성되어 총 4문항으로 개발하여 예비교사를 대상으로 수업에 적용하였다. 적용결과 평가 도구는 $Cronbach-{\alpha}$값이 0.6 이상으로 신뢰도가 높았으며 전문가 대상의 델파이 검사 결과 타당도도 높게 나타나 제안된 평가 도구가 학생들의 CT 역량을 효과적으로 측정하는 유용한 평가 도구로 확인되었다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.187-207
• /
• 2024

본 연구에서는 GPT-4 기반의 ChatGPT를 활용한 서술형 평가 문항의 자동 채점 가능성을 탐색하기 위해 교사와 GPT-4 기반의 ChatGPT의 채점 결과를 비교, 분석하였다. 이를 위해 학생평가지원포털에 있는 고등학교 1학년 순열과 조합 단원에서 3개의 서술형 문항을 선정하였다. 문항 1, 2는 문제 해결 전략이 1가지인 문항이고, 문항 3은 문제 해결 전략이 2가지 이상인 문항이었다. 8년 이상의 교육 경력이 있는 교사 2명이 학생 204명의 답안을 채점하고, GPT-4 기반의 ChatGPT의 채점 결과와 비교하였다. 문항별로 Few-Shot-CoT, SC, 구조화, 반복 프롬프트 기법 등을 활용하여 채점을 위한 프롬프트를 구성하였고, 이를 GPT-4 기반의 ChatGPT에 입력하여 채점하였다. 채점 결과, 문항 1, 2는 교사의 채점 결과와 GPT-4의 채점 결과 사이에 강한 상관관계를 충족하였다. 문제 해결 전략이 2가지인 문항 3은 먼저 채점 전 학생 답안을 문제 해결전략별로 분류하는 프롬프트를 GPT-4 기반의 ChatGPT에 입력하여 답안을 분류하였다. 이후 유형별로 채점 프롬프트를 적용하여 GPT-4 기반의 ChatGPT에 입력하여 채점하였고, 채점 결과 역시 교사의 채점 결과와 강한 상관관계가 나타났다. 이를 통해 프롬프트 엔지니어링을 활용한 GPT-4 모델이 교사의 채점을 보조할 수 있는 가능성을 확인하였으며 본 연구의 한계점 및 향후 연구 방향을 제시하였다.

• 한국과학교육학회지
• /
• 제34권6호
• /
• pp.593-599
• /
• 2014

이 연구에서는 서술형 문항에 대한 교사평가와 동료평가가 고등학생들의 학업성취도와 정의적 영역에 미치는 효과를 알아보고, 평가에 대한 학생들의 만족도와 신뢰도를 분석하여 시사점을 얻고자 하였다. 이를 위하여 중소도시에 있는 고등학교 2학년 2개반을 선정하여 학업성취도, 정의적 영역의 검사를 사전과 사후에 실시하였다. 서술형 문항의 평가는 10차시 수업 동안 진행되었으며, 교사평가를 실시한 반에서는 학생들이 서술형 문항을 푼 후에 교사가 이에 대한 피드백을 수업 중에 실시하였다. 동료평가를 실시한 반에서는 학생들이 서술형 문항을 푼 후에 소집단 별로 동료평가를 실시하고 피드백을 제공하도록 하였다. 연구 결과, 학업성취도 상위 집단 학생들은 상대적으로 교사평가에 긍정적인 만족도를 나타내었고, 하위 집단 학생들은 동료평가에 긍정적인 만족도를 나타내었다. 한편, 학업성취도 상위 집단 학생들은 교사평가와 학생평가에서 동일한 채점 기준을 제공하였음에도 불구하고 교사평가에 대한 신뢰도가 상대적으로 높은 반면, 하위 집단 학생들은 교사평가에 대한 신뢰도가 상대적으로 낮았다. 학업성취도가 하위인 학생들만 비교한 결과 교사평가를 실시한 학급보다 동료평가를 실시한 학급에서 성취도의 향상이 통계적으로 유의미하게 나타났다. 정의적 영역의 평가 결과에서도 하위 집단 학생들은 동료 평가가 정의적 영역에서 긍정적인 영향을 미쳤으며, 특별히 과학에 대한 인식 영역에서 변화가 통계적으로 유의미하게 나타났다.

• 컴퓨터교육학회논문지
• /
• 제21권6호
• /
• pp.105-115
• /
• 2018

서술형 문항은 수준 높은 사고능력 평가에 적합하나 채점이 쉽지 않다. 동일한 채점기준을 적용하더라도 채점자마다 서로 다른 채점을 할 수 있으므로 객관적인 채점 시스템이 필요하다. 그렇지만 채점 시스템을 구축하기 위해서는 표현 언어인 한국어 분석이 전제되어야 한다. 특히 서술형 문항의 답변은 단문형태가 아닌 복문이 내포된 복합 문장으로 표현되기 때문에 복합문의 한국어 분석이 이루어져야 한다. 본 연구는 이와 같은 서술형 문항의 자동 채점을 위해 한국어의 복합문을 구문의미 분석하는 시스템을 개발하고 시스템의 성능을 분석하였다. 이 시스템은 의미속성 사전을 활용하여 대상 구문의 의미적 제한조건을 검사하고 적합한 피수식 대상을 선별하여 구문의미분석을 실행한다. 실험 데이터에 대해 93%의 정확률을 얻어 제안한 시스템이 효과있음을 알 수 있었다. 본 연구의 시스템은 서술형 문항 채점에 활용할 수 있고 한국어 처리의 응용영역에 활용할 수 있을 것으로 기대된다.

• 한국과학교육학회지
• /
• 제25권2호
• /
• pp.173-183
• /
• 2005

본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

• 대한수학교육학회지:수학교육학연구
• /
• 제23권4호
• /
• pp.533-551
• /
• 2013

본 연구는 중학교 수학 교사가 서술형평가의 개념을 어떻게 인식하고 문항을 개발하는지, 서술형평가의 목표와 효과, 문제점 및 해결방안과 같은 서술형평가 전반에 대하여 어떻게 이해하고 있는지, 실제 학교현장에서 서술형평가문항의 채점방법과 활용을 어떻게 하고 있는지 등을 조사하여 분석한 연구이다. 총 189명의 중학교 교사를 대상으로 설문조사한 결과, 서술형평가에 대한 인식과 실행에 있어 알고리즘적 문제해결과 정답을 강조하는 측면이 강하게 나타났으나 실제 문항에서는 다양한 측면에서 서술형 평가를 인식하고 있었다. 이러한 서술형평가에 대한 인식은 교직경력에 따라 차이가 나타났다. 그리고 현재 중학교에서 이루어지고 있는 채점 방식을 조사한 결과 분석적 채점 방법을 주로 사용하며 교사들 간의 협력이 활발히 이루어지고 있는 것으로 나타났다. 그 결과를 바탕으로 수학과 서술형평가가 효과적으로 실행되기 위한 시사점 및 함의점을 제공하였다.

• 한국학교수학회논문집
• /
• 제17권2호
• /
• pp.275-290
• /
• 2014

이 연구는 중등학교의 서술형 논술형 평가에 대해 교사들이 갖고 있는 인식과 실제 서술형 논술형 평가를 학교에 어떻게 적용하고 있는지 현황을 파악하기 위한 것이다. 이에 따라 서울특별시와 경기도, 인천에 위치한 중학교의 수학 교사들을(189명) 대상으로 설문을 실시하였다. 그 결과, 첫째, 중등 수학 교사들은 서술형 논술형 평가의 주된 목표를 학습 목표에 따른 성취도 측정, 학생의 창의성과 사고력 신장 등으로 인식하는 것으로 나타났다. 둘째, 교사들은 서술형 논술형 평가의 효과에 대하여 학생들의 수학적 사고력과 문제해결력이 향상될 것으로 인식하고 있었다. 셋째, 서술형 논술형 평가의 실시 현황은 서술형 논술형 문항의 비율이 수행평가에서는 20%미만, 지필평가에서는 20~40%가 가장 높은 것으로 나타났다. 넷째, 수학과 서술형 논술형 평가를 학교의 정기고사에서 실시하는 경우가 가장 높은 비율로 나타났다.