• 대한지리학회지
• /
• 제47권6호
• /
• pp.934-954
• /
• 2012

서답형 문항은 장소감, 도해력, 지리적 상상력 등 고차적 사고력을 추구하는 지리과의 주요 목표들에 대한 도달 여부를 측정하는 데에 매우 유용하다. 이 연구는 서답형 문항의 개념을 알아보고 지리과에서 적용 가능한 서답형 문항의 유형들을 구분하여 우리나라에서의 지리과 서답형 문항 개발을 위한 시사점을 도출하고 과제를 제안하고자 하였다. 연구자는 서답형 문항의 개념 정리에 이어서 미국에서 시행되고 있는 NAEP의 지리과 서답형 문항을 사례로 분석하여 유형화를 시도하였다. 서답형 문항은 문항 형식의 차원과 문항에서 평가하는 행동 영역의 차원에서 각각 분류할 수 있었다. 문항 형식의 차원에서는 문두 단독형과 자료 첨부형으로, 행동 영역의 차원에서는 지식 요구형, 이해 요구형, 적용 요구형으로 각각 구분하고 그 특징들을 분석하였다. 이를 통해 서답형 문항의 개발과 적용에 관련된 시사점 및 과제를 다음과 같이 제안하였다. 첫째, 내용 영역과 행동 영역에 정합하는 서답형 문항들을 개발해야 한다. 둘째, 학생들로 하여금 최대한 다양한 종류의 지리 자료들을 활용할 수 있도록 해야 한다. 셋째, 서답형 문항의 성패는 채점의 신뢰도와 밀접한 관련이 있으므로 채점의 단계 구분, 채점 기준, 의사 답안 등에 대한 후속적 연구가 요구된다.

• 컴퓨터교육학회논문지
• /
• 제17권2호
• /
• pp.39-51
• /
• 2014

서답형 문항이 포함된 대규모 평가에서 학생들의 답안이 어떻게 채점자들에게 분배되고 어떠한 체계적인 채점 과정을 거쳐야 하는 지에 대한 채점의 효율성은 전반적인 평가의 성공에 중요한 사안이다. 서답형 문항 채점에서 채점자 신뢰도를 확보하기 위해 채점자의 채점 결과가 얼마나 일관성이 있으며, 또한 채점자 간의 채점 결과 또한 서로 일관성을 유지해야하는 것이 중요하다. 이 연구의 목적은 지필 평가로 시행된 서답형 문항 채점을 위한 온라인 채점 시스템을 설계하고 개발한 후, 이를 시행한 결과를 기반으로 온라인 채점 시스템에 대한 신뢰도를 확인하고자 하였다. 이러한 서답형 문항 온라인 채점은 채점자들의 채점 과정에 대한 정보로, 기존의 전통적인 채점 방식과의 비교와 함께 채점자 내 및 채점자 간의 신뢰도를 제공하고 있다. 그 결과로 온라인 채점 시스템이 신뢰롭고 타당한 서답형 문항 채점 결과를 얻는데 효과적이었다는 것을 알 수 있었다.

• 컴퓨터교육학회논문지
• /
• 제10권2호
• /
• pp.89-100
• /
• 2007

대규모 집단을 대상으로 시행하는 서답형 문항을 수기 채점 방식으로 채점하는 경우 채점 과정에서 발생하는 채점 오차를 줄이기 위해서는 많은 노력과 시간을 필요로 한다. 이러한 문제점을 해결하기 위해 세계 각국에서는 서답형 문항 채점 시스템을 개발하여 운용하고 있지만, 국내에서는 채점 시스템의 기초적인 연구도 미흡한 실정이다. 본 연구의 목적은 '서답형 문항의 인터넷 기반 채점 시스템' 설계의 기반을 마련하는데 있다. 시스템 설계의 기반 마련을 위한 시스템의 개요와 기본 설계도, 채점자 배정 방법, 채점자 신뢰도 추정에 의한 채점자 오류 검색 알고리즘을 제안하였다. 본 시스템은 실시간으로 채점 신뢰도를 추정하여 채점 오차를 보정할 수 있는 장점이 있다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• 대한수학교육학회지:수학교육학연구
• /
• 제25권3호
• /
• pp.281-302
• /
• 2015

본 연구에서는 국가수준 학업성취도 서답형 문항의 문제해결 과정에서 나타나는 오류를 살펴보기 위하여 236개 학교 8007명의 답안지를 추출하여 분석하였다. 분석에 사용한 문항은 국가수준 학업성취도 평가 중학교 수학 서답형 문항으로 내용 영역은 '문자와 식', '함수'이고 행동 영역은 '문제해결'과 '계산'이다. 두 문항 모두 주어진 문제 상황에 알맞은 식을 세우고 조건에 맞는 결과를 산출하는 문제이다. 분석 결과 각 문항에 따라 문제 상황을 파악하여 식을 세우고, 풀며, 결과를 기술하는 세가지 과정에서 다양한 오류들이 나타났다. 본 연구에서는 이에 대한 원인을 추론하여 교수학적 시사점을 이끌어 내고자 하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.138-141
• /
• 2012

한국어 서답형 문항의 자동채점 프로그램을 개발하기 위해서는 모범답안, 오답, 부분점수 부여를 위한 세부적인 내용을 채점 기준표로 기술해야 한다. 자동채점에 필요한 구체적인 사항들을 기술하기 위하여 XML 형식으로 정답 템플릿을 정의하였다. 채점에 필요한 내용을 단위 개념으로 정의하고 이를 컴퓨터가 엑세스 가능한 형태의 정답 템플릿을 설계하였다. 정답 템플릿 형식에 맞게 편리하게 템플릿을 작성할 수 있는 작성 도구를 이용하여 학업 성취도평가 각 문항에 대한 채점 기준표를 정답 템플릿으로 작성하여 채점기준표를 작성하는 실험을 수행하였다.

• 대한화학회지
• /
• 제65권1호
• /
• pp.48-57
• /
• 2021

본 연구는 국제 학업성취도 평가인 TIMSS 2019 사전검사에서 지필 평가와 컴퓨터 기반 평가로 시행된 과학 평가 문항을 분석하여 검사 매체에 따라 문항 정답률에 영향을 미치는지를 문항 및 학년별로 살펴보았다. 그 결과, 4학년과 8학년 모두 검사 매체에 따른 과학과 문항 정답률 차이가 크지 않았다. 학년별로 살펴보면, 8학년보다는 4학년의 경우 정답률 차이가 상대적으로 크게 나타났다. 문항별로 살펴보면, 선다형 문항보다는 서답형 문항의 경우 정답률 차이가 상대적으로 크게 나타났다. 검사 매체 영향에 대한 과학과 평가 문항 내용을 분석한 결과로는 선다형 문항은 지필 평가와 컴퓨터 기반 평가 문항간의 차이가 거의 없었으나, 서답형 문항은 지필 평가에 비해 서답형 문항의 정답률이 낮아지는 경향을 보였다. 또한, 학년별로는 4학년 학생들이 8학년 학생들보다 서답형 문항에서 정답률이 낮아지는 것으로 나타났다. 본 연구를 토대로, 우리나라 컴퓨터 기반 평가의 개발과 현장 도입과 관련된 시사점을 제공하고 컴퓨터 기반 평가가 학교 평가로 잘 정착하기 위한 교육적 함의를 고찰하고자 한다.

• 한국지구과학회지
• /
• 제41권3호
• /
• pp.291-306
• /
• 2020

이 연구에서는 다층 서답형 문항을 이용하여 태양계 구조에 대한 학습 발달과정을 개발하고 그 타당성을 검증하고자 하였다. 이를 위해 Wilson(2005)이 제안한 구인 모델링 방식을 적용하여 '태양계 구성원', '태양계 행성의 크기와 거리의 경향성', '태양계 모델링'을 발달 변인(progress variables)으로 설정하고 각각에 대한 다층 서답형 문항을 개발하여 검사지로 구성하였다. 개발된 문항을 초등학교 5학년 150명을 대상으로 '태양계와 별' 단원 수업의 사전 및 사후에 적용하였다. 평가 결과를 기술하기 위해 각각의 평가 문항에 대한 학생 응답을 범주화 하는 과정을 거쳤으며, 이범주들을 구인별로 5개 수준으로 분류하였다. Rasch 모델의 부분점수 모형을 적용하여 작성된 Wright map을 분석함으로써 학생들의 응답 결과를 기반으로 작성된 학습 발달과정의 수준이 적절한지 검토하였다. 또한, 수업 전후 학생들의 수준 변화를 추적함으로써 학습 발달과정에서 설정한 가설적인 경로의 타당성을 검증하였다. 연구 결과는 다음과 같다: 다층 서답형 문항을 이용한 상향식 연구방법으로 초등학교에 적용할 수 있는 태양계 구조에 대한 경험적 학습 발달과정을 정교하게 설정할 수 있었다. 그리고 학습 발달과정의 구인 타당도가 높게 나타나며 학생들의 발달이 학습 발달과정을 따라 변화하는 것으로 나타났다.

• 과학교육연구지
• /
• 제38권3호
• /
• pp.670-690
• /
• 2014

이 연구는 고등학교 생명 과학 I의 지필평가 실태를 조사하기 위하여 일반계 고등학교 10개교를 임의로 선정하여 2013학년도 생명 과학 I의 문제지 33부(선택형 문항 690개, 서답형 문항 162개)를 분석하였다. 문항에 대해서는 Bloom의 신 교육목표 분류체계의 틀과 국가수준 학업성취도 평가의 과학과 평가틀에 근거하여 분류하였다. 선택형 문항의 경우 실제 정답률과 이원목적분류표에 제시된 난이도를 비교하였고, 서답형 문항의 경우 문항유형에 따른 문항 수와 배점을 비교하였다. 서답형 문항 중 서술형 문항에 대해서는 반응의 허용 정도, 자료 제시 여부, 출제 형식에 따라 구분하였다. 지필평가 문항 분석 결과, 서답형 문항의 비율이 19.0%로 선택형 문항의 비율(81.0%)보다 낮았다. Bloom의 신 교육목표 분류체계에 의한 분석 결과, 지식 차원에서 '개념적 지식'에 해당되는 문항이, 인지과정 차원에서 '이해하다'에 해당되는 문항이 많았다. 국가수준 학업성취도 평가의 과학과 평가틀에 의한 분석에서 '지식' 영역에 해당되는 문항이 '탐구' 영역에 해당되는 문항보다 약 9배 많았다. 선택형 문항에서 이원목적분류표에 제시된 난이도와 실제 정답률을 비교한 결과, 일치하는 비율은 41.5%였다. 서답형 문항의 유형에 따른 문항 수의 비율을 비교한 결과, 단답형 문항의 비율이 34.0%였고, 그리기 문항은 '세포와 생명의 연속성' 단원에서 주로 출제가 되었다. 서술형 문항에서 반응의 허용 정도에 따라 분류한 결과, 모두 '응답 제한형'에 해당되었고, 그 중 '내용범위 제한형'(67.3%)에 해당되는 문항이 가장 많았다. 그리고 자료 제시여부에 따라 분류한 결과 '자료 제시형'(65.4%)에 해당되는 문항이, 출제 형식에 따라 분류한 결과 '지식 서술형'(80.4%)에 해당되는 문항이 가장 많았다. 이 연구 결과를 통하여 학교 현장에서 '탐구' 영역에 해당되는 문항을 더 많이 출제할 필요가 있으며, 서술형 문항의 실제적 비중을 높이면서, 다양한 유형으로 출제할 필요가 있다고 생각된다.