• 컴퓨터교육학회논문지
• /
• 제17권2호
• /
• pp.39-51
• /
• 2014

서답형 문항이 포함된 대규모 평가에서 학생들의 답안이 어떻게 채점자들에게 분배되고 어떠한 체계적인 채점 과정을 거쳐야 하는 지에 대한 채점의 효율성은 전반적인 평가의 성공에 중요한 사안이다. 서답형 문항 채점에서 채점자 신뢰도를 확보하기 위해 채점자의 채점 결과가 얼마나 일관성이 있으며, 또한 채점자 간의 채점 결과 또한 서로 일관성을 유지해야하는 것이 중요하다. 이 연구의 목적은 지필 평가로 시행된 서답형 문항 채점을 위한 온라인 채점 시스템을 설계하고 개발한 후, 이를 시행한 결과를 기반으로 온라인 채점 시스템에 대한 신뢰도를 확인하고자 하였다. 이러한 서답형 문항 온라인 채점은 채점자들의 채점 과정에 대한 정보로, 기존의 전통적인 채점 방식과의 비교와 함께 채점자 내 및 채점자 간의 신뢰도를 제공하고 있다. 그 결과로 온라인 채점 시스템이 신뢰롭고 타당한 서답형 문항 채점 결과를 얻는데 효과적이었다는 것을 알 수 있었다.

• 대한수학교육학회지:수학교육학연구
• /
• 제25권3호
• /
• pp.281-302
• /
• 2015

본 연구에서는 국가수준 학업성취도 서답형 문항의 문제해결 과정에서 나타나는 오류를 살펴보기 위하여 236개 학교 8007명의 답안지를 추출하여 분석하였다. 분석에 사용한 문항은 국가수준 학업성취도 평가 중학교 수학 서답형 문항으로 내용 영역은 '문자와 식', '함수'이고 행동 영역은 '문제해결'과 '계산'이다. 두 문항 모두 주어진 문제 상황에 알맞은 식을 세우고 조건에 맞는 결과를 산출하는 문제이다. 분석 결과 각 문항에 따라 문제 상황을 파악하여 식을 세우고, 풀며, 결과를 기술하는 세가지 과정에서 다양한 오류들이 나타났다. 본 연구에서는 이에 대한 원인을 추론하여 교수학적 시사점을 이끌어 내고자 하였다.

• 대한지리학회지
• /
• 제47권6호
• /
• pp.934-954
• /
• 2012

서답형 문항은 장소감, 도해력, 지리적 상상력 등 고차적 사고력을 추구하는 지리과의 주요 목표들에 대한 도달 여부를 측정하는 데에 매우 유용하다. 이 연구는 서답형 문항의 개념을 알아보고 지리과에서 적용 가능한 서답형 문항의 유형들을 구분하여 우리나라에서의 지리과 서답형 문항 개발을 위한 시사점을 도출하고 과제를 제안하고자 하였다. 연구자는 서답형 문항의 개념 정리에 이어서 미국에서 시행되고 있는 NAEP의 지리과 서답형 문항을 사례로 분석하여 유형화를 시도하였다. 서답형 문항은 문항 형식의 차원과 문항에서 평가하는 행동 영역의 차원에서 각각 분류할 수 있었다. 문항 형식의 차원에서는 문두 단독형과 자료 첨부형으로, 행동 영역의 차원에서는 지식 요구형, 이해 요구형, 적용 요구형으로 각각 구분하고 그 특징들을 분석하였다. 이를 통해 서답형 문항의 개발과 적용에 관련된 시사점 및 과제를 다음과 같이 제안하였다. 첫째, 내용 영역과 행동 영역에 정합하는 서답형 문항들을 개발해야 한다. 둘째, 학생들로 하여금 최대한 다양한 종류의 지리 자료들을 활용할 수 있도록 해야 한다. 셋째, 서답형 문항의 성패는 채점의 신뢰도와 밀접한 관련이 있으므로 채점의 단계 구분, 채점 기준, 의사 답안 등에 대한 후속적 연구가 요구된다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제11권2호
• /
• pp.13-21
• /
• 2011

서답형 자동평가는 자연어 처리의 어려움이 있어 그 시스템의 개발이 쉽지 않다. 본 연구는 자연어처리 기술을 접목한 서답형 자동채점 시스템을 설계, 구현한다. 이 시스템은 일반화된 채점 시스템이 지니는 성능 저하의 문제를 해결하기 위해 문제유형을 정의하고 각 유형에 맞는 처리를 하여 성능을 향상하였다. 이 시스템의 성능을 실험하기 위하여 교사 채점과 기존의 용어중심의 채점 시스템, 교사채점과 제안한 채점 시스템의 상관계수를 분석하였다. 실험결과, 기존의 용어 중심의 채점 시스템보다 향상된 결과를 얻었다. 앞으로 문제 유형을 확대 정의하고 각 유형에 맞는 자연어 처리 기법을 개선할 필요가 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
• /
• pp.112-116
• /
• 2014

서답형 문항은 학생들의 종합적인 사고능력을 판단하는데 매우 유용하지만 채점할 때, 시간과 비용이 매우 많이 소요되고 채점자의 공정성을 확보해야 하는 어려움이 있다. 이러한 문제를 개선하기 위해 본 논문에서는 서답형 문항에 대한 자동채점 시스템을 제안한다. 본 논문에서 제안하는 시스템은 크게 언어 처리 단계와 채점 단계로 나뉜다. 첫 번째로 언어 처리 단계에서는 형태소 분석과 같은 한국어 정보처리 시스템을 이용하여 학생들의 답안을 분석한다. 두 번째로 채점 단계를 진행하는데 이 단계는 아래와 같은 순서로 진행된다. 1) 첫 번째 단계에서 분석 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 각 유형에 속한 답안의 빈도수가 높은 순서대로 정렬하여 인간 채점자가 고빈도 학생 답안을 수동으로 채점한다. 2) 현재까지 채점된 결과와 모범답안을 학습말뭉치로 간주하여 자질 추출 및 자질 가중치 학습을 수행한다. 3) 2)의 학습 결과를 토대로 미채점 답안들을 군집화하여 분류한다. 4) 분류된 결과 중에서 신뢰성이 높은 채점 답안에 대해서 인간 채점자가 확인하고 학습말뭉치에 추가한다. 5) 이와 같은 방법으로 미채점 답안이 존재하지 않을 때까지 반복한다. 제안된 시스템을 평가하기 위해서 2013년 학업성취도 평가의 사회(중3) 및 국어(고2) 과목의 서답형 문항을 사용하였다. 각 과목에서 1000개의 학생 답안을 추출하여 채점시간과 정확률을 평가하였다. 채점시간을 전체적으로 약 80% 이상 줄일 수 있었고 채점 정확률은 사회 및 국어 과목에 대해 각각 98.7%와 97.2%로 나타났다. 앞으로 자동 채점 시스템의 성능을 개선하고 인간 채점자의 집중도를 높일 수 있도록 인터페이스를 개선한다면 국가수준의 대단위 평가에 충분히 활용할 수 있을 것으로 생각한다.

• 과학교육연구지
• /
• 제41권3호
• /
• pp.382-404
• /
• 2017

이 연구에서는 2015년 국가수준 학업성취도 평가(NAEA)의 서답형 문항을 이용하여 중학교 과학 교과의 8개 핵심 개념에 대한 학습발달과정을 탐색하고자 하였다. 이를 위해 2015년 실시된 NAEA 서답형 8개 문항에 대한 중학교 3학년 7,390명의 응답 결과를 전산으로 입력하고 입력된 답안을 분석하여 수준별로 유형화하는 과정을 거쳤다. 이 과정을 마친 후 각 평가 구인별로 5개 수준을 설정하여 구인구성도를 작성하였다. 이 연구에서의 구인구성도는 발달 기반의 루브릭 형식으로 작성되었는데, 전체 학생들의 답안에 대해 수준을 부여하는 준거로 활용되었다. 또한, 평가 결과로 얻은 학생들의 점수를 평가 구인에 대한 성취 수준과 연결하기 위하여 통계적 해석으로 응답자의 점수나 성취 정도를 측정하는 Rasch 모델을 적용하였다. 마지막으로, Rasch 모델 적용 결과를 반영하여 구인구성도를 수정한 예비 학습발달과정을 작성하였다. 이 연구는 NAEA의 서답형 문항을 활용하여 학습발달과정 개발 가능성을 탐색하였다는 데 의의가 있다. 하지만, 이 연구에서 작성된 예비 학습발달과정이 개별 학생들 대상으로 종적으로 추적한 것이 아니므로 여전히 가설적이며 추론적이다. 그러므로 반복적인 연구 과정을 통해 지속적으로 수정 및 보완될 필요가 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.138-141
• /
• 2012

한국어 서답형 문항의 자동채점 프로그램을 개발하기 위해서는 모범답안, 오답, 부분점수 부여를 위한 세부적인 내용을 채점 기준표로 기술해야 한다. 자동채점에 필요한 구체적인 사항들을 기술하기 위하여 XML 형식으로 정답 템플릿을 정의하였다. 채점에 필요한 내용을 단위 개념으로 정의하고 이를 컴퓨터가 엑세스 가능한 형태의 정답 템플릿을 설계하였다. 정답 템플릿 형식에 맞게 편리하게 템플릿을 작성할 수 있는 작성 도구를 이용하여 학업 성취도평가 각 문항에 대한 채점 기준표를 정답 템플릿으로 작성하여 채점기준표를 작성하는 실험을 수행하였다.

• 대한화학회지
• /
• 제65권1호
• /
• pp.48-57
• /
• 2021

본 연구는 국제 학업성취도 평가인 TIMSS 2019 사전검사에서 지필 평가와 컴퓨터 기반 평가로 시행된 과학 평가 문항을 분석하여 검사 매체에 따라 문항 정답률에 영향을 미치는지를 문항 및 학년별로 살펴보았다. 그 결과, 4학년과 8학년 모두 검사 매체에 따른 과학과 문항 정답률 차이가 크지 않았다. 학년별로 살펴보면, 8학년보다는 4학년의 경우 정답률 차이가 상대적으로 크게 나타났다. 문항별로 살펴보면, 선다형 문항보다는 서답형 문항의 경우 정답률 차이가 상대적으로 크게 나타났다. 검사 매체 영향에 대한 과학과 평가 문항 내용을 분석한 결과로는 선다형 문항은 지필 평가와 컴퓨터 기반 평가 문항간의 차이가 거의 없었으나, 서답형 문항은 지필 평가에 비해 서답형 문항의 정답률이 낮아지는 경향을 보였다. 또한, 학년별로는 4학년 학생들이 8학년 학생들보다 서답형 문항에서 정답률이 낮아지는 것으로 나타났다. 본 연구를 토대로, 우리나라 컴퓨터 기반 평가의 개발과 현장 도입과 관련된 시사점을 제공하고 컴퓨터 기반 평가가 학교 평가로 잘 정착하기 위한 교육적 함의를 고찰하고자 한다.