• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.121-122
• /
• 2012

컴퓨터를 사용한 서술형 답안의 자동채점은 채점의 편의성과 객관성을 제고하기 위하여 많은 연구자들이 연구해 왔으며 자동채점의 성능을 향상시키기 위해 여러 가지 방법들이 제안되었다. 본 논문은 서술어 정규화를 통하여 서술형 답안의 자동채점 정확도를 높이고자 하였다. 기존의 다른 채점 방법들과 비교했을때 서술어 정규화 기법을 적용한 채점 방식은 기존의 방법들보다 유사도 계산 정확도가 향상되어 정답 판별 정확도가 향상되는 것을 확인할 수 있었다. 서술어 정규화는 기존의 모든 서술형 답안 채점 방법에 추가적으로 적용할 수 있는 범용성을 가지고 있다. 따라서 서술어 정규화는 기존 방법들의 자동채점 정확도를 향상시켜 보다 정확하게 서술형 답안을 채점할 수 있다.

• 한국과학교육학회지
• /
• 제22권2호
• /
• pp.398-409
• /
• 2002

본 연구는 개념도 채점 방법의 타당도, 신뢰도 그리고 평가 도구로서 개념도의 현실 적용가능성을 알아보는데 목적이 있다. Burry-Stock의 채점 방법, Novak과 Gowin의 채점 방법, McClure와 Bell의 채점 방법을 모두 사용했고, 각 채점 방법에 대해 2명의 채점자를 배정하였다. 채점자는 지방 국립 사범대 과학교육학부 4학년 학생들이었다. Burry-Stock의 채점 방법을 제외하고는 과제의 제시 유형에 상관없이 두 채점자간의 정수 차이가 크지 않았고, 점수 차이가 통계학적으로도 유의하지 않았다. Novak과 Gowin과 McClure와 Bell의 채점 기준을 따를 때 개념도는 타당도가 높은 평가 도구인 것으로 나타났다. Burry-Stock의 채점 방법은 개념을 주고 개념도를 만들도록 한 과제를 위해 개발된 것인 만큼 그 유형의 과제를 가지고 개념도를 만들도록 했을 때는 타당도가 있었다. 각각 3가지 채점 방법에 따른 Pearson의 단순 적률상관 계수를 이용하여 채점자간 신뢰도롤 분석한 결과 신뢰도는 $.449{\sim}.975$의 범위였다. Novak과 Gowin의 채점 방법을 사용할 때는 .94 이상의 높은 일치도를 보여주었다. McClure와 Bell의 채점 방법 또한 환경 오염에서 .816의 비교적 높은 상관 관계를 보여 주었다. 채점자들이 개념도률 채점하는데 걸린 시간은 최소 1.13분에서 최대 3.70분까지 소요되었다. 본 연구 결과 개념도가 생물 개념 평가 도구로서 타당도 신뢰도 그리고 현실적용 가능성이 충분히 있다고 사료된다. 작성하는데 필요한 시간은 평균 29분이었다(n=40. S.D=5.10). 채점자들이 40개의 개념도를 채점하는데 필요한 시간을 기록하였다. Table 5는 각 평가 방법에 따른 개념도 채점에 평균 소요 시간을 나타낸 것이다. 전체적으로 1.13분에서 3.70분까지 소요되었다. 채점자에 따라 채점 시간에서 차이를 보였다.

• 융합신호처리학회논문지
• /
• 제12권3호
• /
• pp.169-175
• /
• 2011

본 논문에서는 Gray Scale과 이미지 분할 방법을 이용하여 OMR 답안지에 대한 자동 채점처리 시스템을 구현하였다. 제안한 방법은 취득된 이미지를 이용하여 Gray Scale과 이미지 분할 방법으로 객관식 선다형 답란의 OMR 데이터를 추출하였다. 또한 뒷면의 단답식 서답형 답란의 On-Line 채점을 할 수 있도록 하는 시스템을 개발하여 실제로 구현하였다. 그 결과 단답식 서답형을 채점하는 채점교사들은 자유롭게 주어진 기간내에 시간과 장소에 구애를 받지 않고 채점을 완료 할 수 있었고, 객관식 선다형의 채점은 추가로 OMR 판독기에 의한 처리를 하지 않아 시간적으로 많은 이점이 있었다. 향후 단답식 서답형의 경우에도 이미지처리를 활용하여 자동 채점을 하게 된다면 각 급 학교 및 국가에서 시행하는 대량의 답안지의 채점업무를 보다 효율적으로 수행할 수 있을 것으로 본다.

• 대한수학교육학회지:학교수학
• /
• 제16권1호
• /
• pp.1-17
• /
• 2014

본 연구의 목적은 한 문제를 다양한 방법으로 해결할 수 있는 문제와 이에 대한 채점방법을 활용하여 학생들의 수학적 창의성을 측정함으로써 수학적 창의성을 측정할 수 있는 기반을 구축하는 것이다. 이를 위해 초등 5학년 학생 10명을 대상으로 다양한 방법으로 해결할 수 있는 문제를 활용하여 검사를 실시하여 수학적 창의성을 측정하였다. 수학적 창의성 측정을 위하여 창의성의 하위 요소인 유창성, 융통성, 독창성을 바탕으로 '새롭고, 가치 있는' 수학적 산출물을 평가할 수 있는 채점방법을 구축하여 활용하였다. 분석 결과, 수학적 창의성 점수는 학생 간 편차가 크게 나타났다. 또한 문항별로도 수학적 창의성 점수에서 차이가 나타나, 수학 학습 내용에 따라 학생들의 수학적 창의성 분석의 필요성이 대두되었다. 본 연구의 채점방법에 따르면, 유창성이 높을수록 수학적 창의성이 높았다. 그렇지만 '새롭고, 가치 있는' 수학적 창의성의 특성을 부각시키는 채점방법에 의해 유창성과 융통성이 증가할수록 답의 희소성이 낮아져 상대적으로 독창성 점수를 얻기가 어려웠다. 따라서 답의 희소성과 수학적인 측면에서 답의 가치를 동시에 고려하는 독창성 판단의 준거를 만들 필요가 대두되었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
• /
• pp.110-112
• /
• 2013

대학수학능력시험이나 학업성취도평가와 같은 중요한 시험은 다단계의 복잡한 과정을 거쳐 채점되며, 대규모의 인적 물적 자원이 투입된다. 컴퓨터 시스템을 활용하여 채점 과정에 소모되는 자원을 절감하고 정확성을 향상시키는 등 채점 효율의 향상을 목표로 하는 연구가 진행 중에 있다. 하지만 채점하려는 문항에 대한 정보 없이 시스템이 자동으로 정 오답을 판단하는 것은 불가능하며, 채점자가 문항에 대한 정보를 일정한 형식으로 가공하여 시스템에 제공하여야 한다. 본 논문은 채점하려는 학생 답안을 정보로 이용하여 시스템이 인지할 수 있는 정답 템플릿 형식으로 구축하는 방법을 소개한다. 또한 소개한 방법으로 작성된 정답 템플릿을 이용하여 자동 채점을 수행하였을 때의 채점 결과 및 통계 자료를 수록하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
• /
• pp.112-116
• /
• 2014

서답형 문항은 학생들의 종합적인 사고능력을 판단하는데 매우 유용하지만 채점할 때, 시간과 비용이 매우 많이 소요되고 채점자의 공정성을 확보해야 하는 어려움이 있다. 이러한 문제를 개선하기 위해 본 논문에서는 서답형 문항에 대한 자동채점 시스템을 제안한다. 본 논문에서 제안하는 시스템은 크게 언어 처리 단계와 채점 단계로 나뉜다. 첫 번째로 언어 처리 단계에서는 형태소 분석과 같은 한국어 정보처리 시스템을 이용하여 학생들의 답안을 분석한다. 두 번째로 채점 단계를 진행하는데 이 단계는 아래와 같은 순서로 진행된다. 1) 첫 번째 단계에서 분석 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 각 유형에 속한 답안의 빈도수가 높은 순서대로 정렬하여 인간 채점자가 고빈도 학생 답안을 수동으로 채점한다. 2) 현재까지 채점된 결과와 모범답안을 학습말뭉치로 간주하여 자질 추출 및 자질 가중치 학습을 수행한다. 3) 2)의 학습 결과를 토대로 미채점 답안들을 군집화하여 분류한다. 4) 분류된 결과 중에서 신뢰성이 높은 채점 답안에 대해서 인간 채점자가 확인하고 학습말뭉치에 추가한다. 5) 이와 같은 방법으로 미채점 답안이 존재하지 않을 때까지 반복한다. 제안된 시스템을 평가하기 위해서 2013년 학업성취도 평가의 사회(중3) 및 국어(고2) 과목의 서답형 문항을 사용하였다. 각 과목에서 1000개의 학생 답안을 추출하여 채점시간과 정확률을 평가하였다. 채점시간을 전체적으로 약 80% 이상 줄일 수 있었고 채점 정확률은 사회 및 국어 과목에 대해 각각 98.7%와 97.2%로 나타났다. 앞으로 자동 채점 시스템의 성능을 개선하고 인간 채점자의 집중도를 높일 수 있도록 인터페이스를 개선한다면 국가수준의 대단위 평가에 충분히 활용할 수 있을 것으로 생각한다.

• 한국컴퓨터정보학회논문지
• /
• 제18권8호
• /
• pp.17-25
• /
• 2013

본 논문에서는 투표기법을 이용하여 서술형 주관식 문제에 대한 학습자 답안을 자동으로 채점하는 모델을 제안한다. 제안하는 방법은 모델 구축 비용을 줄이기 위해서, 문제 유형별로 세분화하여 서술형 주관식 답안 자동 채점 모델을 따로 구축하지 않는다. 제안하는 방법은 서술형 주관식 답안 자동 채점에 유용한 자질을 추출하기 위해서, 모범 답안과 학습자 답안을 비교한 결과를 바탕으로 다양한 자질을 추출한다. 제안하는 방법은 답안 채점 결과의 신뢰성을 높이기 위해서, 각 학습자 답안을 여러 기계학습 기반 분류기를 이용하여 채점하고, 각 채점 결과를 투표하여 만장일치로 선택한 채점 결과를 최종 채점 결과로 결정한다. 실험결과 기계학습 기반 분류기 C4.5만 사용한 채점 결과는 정확률이 83.00%인데 반해, 기계학습 기반 분류기 C4.5, ME, SVM에서 만장일치로 선택한 채점 결과는 정확률이 90.57%까지 개선되었다.

• 컴퓨터교육학회논문지
• /
• 제10권2호
• /
• pp.89-100
• /
• 2007

대규모 집단을 대상으로 시행하는 서답형 문항을 수기 채점 방식으로 채점하는 경우 채점 과정에서 발생하는 채점 오차를 줄이기 위해서는 많은 노력과 시간을 필요로 한다. 이러한 문제점을 해결하기 위해 세계 각국에서는 서답형 문항 채점 시스템을 개발하여 운용하고 있지만, 국내에서는 채점 시스템의 기초적인 연구도 미흡한 실정이다. 본 연구의 목적은 '서답형 문항의 인터넷 기반 채점 시스템' 설계의 기반을 마련하는데 있다. 시스템 설계의 기반 마련을 위한 시스템의 개요와 기본 설계도, 채점자 배정 방법, 채점자 신뢰도 추정에 의한 채점자 오류 검색 알고리즘을 제안하였다. 본 시스템은 실시간으로 채점 신뢰도를 추정하여 채점 오차를 보정할 수 있는 장점이 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.69-72
• /
• 2012

본 논문은 한국어 서답형(단어, 구 수준) 문항 유형을 분석하고 실제 채점자가 채점 기준표를 보고 채점하는 방법을 컴퓨터가 인식할 수 있도록 정답 템플릿을 설계 및 개념 정의를 하여 한국어 서답형에 특화된 자동채점 시스템 방법을 제시한다. 본 시스템을 사용하여 1000개의 학생 답안지에 대한 유형 가지수 500개 이하의 2011년도 학업성취도 평가 과학 6개 문항에 대하여 채점 기준표 내용을 정답 템플릿으로 작성한 뒤 250개 학생 답안을 학습데이터로, 정답 템플릿을 업데이트로 사용, 750개 학생 답안에 대하여 자동채점한 결과, 평균 카파계수 0.84라는 수치로서 실제 사람 채점 결과와 거의 완벽히 일치라는 결과를 얻었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.138-141
• /
• 2012

한국어 서답형 문항의 자동채점 프로그램을 개발하기 위해서는 모범답안, 오답, 부분점수 부여를 위한 세부적인 내용을 채점 기준표로 기술해야 한다. 자동채점에 필요한 구체적인 사항들을 기술하기 위하여 XML 형식으로 정답 템플릿을 정의하였다. 채점에 필요한 내용을 단위 개념으로 정의하고 이를 컴퓨터가 엑세스 가능한 형태의 정답 템플릿을 설계하였다. 정답 템플릿 형식에 맞게 편리하게 템플릿을 작성할 수 있는 작성 도구를 이용하여 학업 성취도평가 각 문항에 대한 채점 기준표를 정답 템플릿으로 작성하여 채점기준표를 작성하는 실험을 수행하였다.