• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.673-675
• /
• 2001

본 논문에서는 근거리통신, 인터넷 등의 통신을 이용하여 해당 출제자의 분야 별로 출제한 주관식문제를 응시하면 학습자의 답안과 채점정보를 출제자에게 의뢰하여 채점결과와 해설을 학습자에게 알려주는 주간식문제채점 시스템에 관한 것으로, 학습자가 입력한 주관식 문제의 답을 채점하기 위해서 출제자에게 전자우편이나 전화로 연락하면 출제자가 이 주관식문제채점 시스템에 접속하여 출제자컴퓨터에 표시된 문제, 학습자의 답, 정답, 유사한 답, 배점, 해설 등을 보고 채점한 점수를 출제자화면에 입력하고, 상기 채점한 점수를 합한 점수와 틀린 문제의 해설을 해당 학습자에게 보여주는 주관식문제 채점보조 시스템에 관한 것이다.

• 정보처리학회논문지B
• /
• 제16B권2호
• /
• pp.173-180
• /
• 2009

영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 논문에서 개발한 영작문 자동 채점 시스템은 단어 단계, 구문 단계, 의미 단계의 세 단계 처리 과정을 통해서 오류를 탐지하고 탐지된 오류 개수를 기반으로 채점 점수를 결정한다. 이와 같이 독립적인 세 단계의 처리 과정에서 오류를 탐지하므로 동일한 오류 현상에 대해 서로 다른 단계에서 서로 다른 이름으로 오류를 탐지하는 경우가 발생할 수 있다. 이는 결과적으로 전체 시스템의 채점 점수의 정확도를 저하시키는 원인이 된다. 본 논문에서는 동일한 오류 현상에 대해 서로 다른 단계에서 탐지된 오류 쌍을 '중복 보고 오류'라고 정의한다. 본 논문에서는 중복 보고 오류를 찾는 방법을 제안하고 중복 보고 오류 제거를 통해 영작문 자동 채점 시스템의 채점 점수를 향상시킬 수 있음을 보인다.

• 한국콘텐츠학회논문지
• /
• 제18권8호
• /
• pp.345-352
• /
• 2018

본 연구는 진료수행 시험 상황을 재연하여 실제 의사가 채점한 결과와 표준화 환자가 채점한 결과의 차이가 있는지, 첫째 날 응시한 학생과 정보가 노출된 둘째 날 응시한 학생의 점수 차이를 비교하고자 하였다. 의과대학 4학년 101명이 4가지 세트(본태성고혈압, 수면장애, 기분저하, 무월경)로 구성된 진료수행 시험에 응시하였다. 학생들은 첫째 날과 둘째 날 중 표준화환자 채점 세트와 의사 채점 세트로 구성된 평가 일정하나에 무작위로 배정되었다. 각 진료수행의 평가지침은 병력청취, 신체진찰, 환자교육, 환자의사관계, 진찰태도로 영역을 구분하여 구성하였다. 각 상황별, 영역별 성취점수를 표준점수로 변환하여 집단 간 차이를 비교하였다. 모든 영역에서 여학생의 성취점수가 남학생의 성취보다 유의하게 높았다(P=.001). 표준화 환자가 채점한 집단과 의사가 채점한 집단의 평균의 유의한 차이는 없었다(p=.425). 연속되는 시험일자 중 둘째 날 응시한 군이 병력청취와 신체진찰영역에서 유의한 차이를 보였다. 본 연구에서는 채점자의 신분에 따른 평가 결과에 차이가 없음을 다시 한 번 밝히면서 표준화 환자를 활용한 평가의 가능성을 확인하였다.

• 한국과학교육학회지
• /
• 제36권3호
• /
• pp.389-397
• /
• 2016

이 연구는 기계 번역을 활용하여 영어기반서술형 평가의 자동채점모델을 한국어 응답에 적용하는 방법의 효용감을 조사하기 위하여 이루어졌다. 이 연구를 위하여 예비생물교사 128명이 4문항으로 구성된 자연선택개념평가도구에 응답한 512개의 서술형응답을 활용하였다. 서술형응답은 한글맞춤법을 교정한 것과 교정하지 않은 학생들이 작성한 그대로의 응답 두 가지를 구글번역으로 번역하였다. 8가지 과학적 개념과 비과학적 개념을 채점하는 자동채점모델을 통해 생성한 4096개의 예측자료의 정확도를 독립적으로 수행한 전문가 채점자료와 비교하는 방법으로 확인하였다. 그 결과 컴퓨터로 채점한 점수와 전문가 채점점수의 평균값의 문항별 분포는 유의미한 차이가 없었다. 평균값을 활용하여 생성한 통계치들은 전문가 채점자료를 통하여 생성한 자료들과 유의미한 차이가 없었다. 학생별 점수의 Pearson 상관관계 계수를 확인한 결과 과학적 개념 점수는 0.848, 비과학적 개념 점수는 0.776이었다. 언어적으로 단순한 개념의 경우 채점자간 일치도 (kappa)가 0.8이상이었다. 이 결과는 기계 번역과 영어기반 서술형 평가의 자동채점모델이 우리나라 학생들의 자연선택개념문항을 채점하는데 유용한 방법이 될 수 있음을 보여준다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2013년도 제48차 하계학술발표논문집 21권2호
• /
• pp.223-224
• /
• 2013

본 논문에서는 모바일 앱을 이용한 스노보드 경기의 채점 시스템 개발을 소개한다. 이 시스템은 오프라인 형식으로 진행하는 기존 채점시스템의 문제점을 극복하기 위하여 심판용 모바일 앱과 전광판 출력을 위한 관리 시스템으로 구성된다. 심판들의 채점상황은 모바일 앱을 통하여 실시간으로 원격 데이터베이스에 적재되고 관리시스템에서 자동 합산 및 점수화되어 전광판으로 해당 점수가 출력되게 된다. 이를 통하여 신속하고 정확한 채점 관리를 수행할 수 있으며 모바일 환경이 지원되는 대부분의 스노보드 경기장에서 활용될 수 있다. 본 연구결과는 국내 다양한 스노보드 경기에 적용하여 동계 스포츠분야의 열악한 정보화 환경을 개선할 수 있음을 보였다.

• Communications for Statistical Applications and Methods
• /
• 제1권1호
• /
• pp.206-214
• /
• 1994

본 논문은 1994학년도 부터 부활된 대학별고사 실시에 따른 문항분석, 표준 점수제 그리고 검사동등화의 문제점을 지적하기 위하여 교육측정이론의 기본 개념을 소개하는데 있다. 대학별고사의 타당성과 신뢰성을 보장받기 위하여는 양질의 문항제작이 우선하여야하며, 이를 위하여 문항분석은 종전에 사용하던 고전검사이론 보다는 문항반응이론을 이용하는 것이 바람직하다. 문항반응이론에 의한 문항분석은 피험자 집단의 특성에 의하여 문항특성이 달리 분석되지 않는 특징을 지니고 있기 때문이다. 문항이 논술형일 경우 채점자간 신뢰도와 채점자 내 신뢰도를 간과하여서는 안될 것이다. 다양한 선택과목을 채택하는 대학별 고사에서 입학 사정을 위하여 원점수를 사용하거나, 표준점수 혹은 검사동등화 방법을 이용하고 있으나 이는 교육측정이론에 위배된다. 다른 과목에 대한 인가의 능력을 상대비교 할 수 없으며, 표준점수와 검사동등화는 동일 능력에 대한 상대비교를 위한 방법이다. 특히 검사동등화는 동일 특성, 공정성, 모교집단 불변성, 대칭성을 전제한다. 표준점수제에 의하여 수험생들의 다른 능력을 상대 비교하는 방법은 다른 능력이 점수로 표현되기 때문에 가능하나 그 점수가 무엇을 의미하는 가를 분석할 때는 교육평가의 기본 철학에도 위배된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.138-141
• /
• 2012

한국어 서답형 문항의 자동채점 프로그램을 개발하기 위해서는 모범답안, 오답, 부분점수 부여를 위한 세부적인 내용을 채점 기준표로 기술해야 한다. 자동채점에 필요한 구체적인 사항들을 기술하기 위하여 XML 형식으로 정답 템플릿을 정의하였다. 채점에 필요한 내용을 단위 개념으로 정의하고 이를 컴퓨터가 엑세스 가능한 형태의 정답 템플릿을 설계하였다. 정답 템플릿 형식에 맞게 편리하게 템플릿을 작성할 수 있는 작성 도구를 이용하여 학업 성취도평가 각 문항에 대한 채점 기준표를 정답 템플릿으로 작성하여 채점기준표를 작성하는 실험을 수행하였다.

• 실천공학교육논문지
• /
• 제15권1호
• /
• pp.193-198
• /
• 2023

본 논문은 파이썬 프로그래밍 교육에서 단원별 연습문제의 타당성을 분석하였다. 단원별로 제시되는 연습문제는 온라인 학습 시스템을 통해 제시되고 학생 각자가 답안 코드를 업로드하여 자동으로 채점된다. 한학기 동안 진행되는 파이썬 교육을 통해, 학생들의 중간시험점수, 기말시험 점수 그리고 각 단원별 연습문제 점수 등 데이터가 수집된다. 수집된 데이터들을 통해, 자동채점 연습문제들의 타당도를 분석하여 단원별 연습문제들을 개선할 수 있다. 본 논문에서는 자동 채점 연습문제들의 타당도를 분석하기 위해, Orange 머신러닝 도구를 사용하였다. 파이썬 과목에서 수집된 데이터를 전체, 상위권 그리고 하위권 그룹별로 4가지 분석을 실시하고 종합적으로 비교한다. 파이썬 단원별 연습문제 점수들로부터 학생의 최종 성적을 예측하는 머신러닝 모델의 예측 정확도로부터 단원별 자동채점 연습문제의 출제 타당도를 분석하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.606-610
• /
• 2009

본 논문에서는 단기 서술형 답안의 자동 채점을 위하여 기계 번역 자동 평가에서 널리 사용되는 BLEU(BiLingual Evaluation Understudy)를 활용한 방법을 제안한다. BLEU 는 기계가 번역한 것이 사람이 번역한 것과 비슷할수록 기계번역의 질이 좋을 것이다 라는 것을 가정하여 평가한다. 즉, 특정 문장을 여러 사람이 번역한 문장을 기계가 번역한 문장과 n-gram 방식으로 비교해 점수를 매기는 것이다. 이와 비슷하게 본 연구에서는 여러 개의 정답 문장과 학생의 답안 문장을 BLEU 와 같은 방식으로 상호 비교하여 학생의 답안을 채점하였다. 실험에서는 이러한 채점 방식의 정확도를 평가하기 위하여 사람이 채점한 점수와의 상관관계를 계산하였다.

• 대한수학교육학회지:학교수학
• /
• 제16권1호
• /
• pp.1-17
• /
• 2014

본 연구의 목적은 한 문제를 다양한 방법으로 해결할 수 있는 문제와 이에 대한 채점방법을 활용하여 학생들의 수학적 창의성을 측정함으로써 수학적 창의성을 측정할 수 있는 기반을 구축하는 것이다. 이를 위해 초등 5학년 학생 10명을 대상으로 다양한 방법으로 해결할 수 있는 문제를 활용하여 검사를 실시하여 수학적 창의성을 측정하였다. 수학적 창의성 측정을 위하여 창의성의 하위 요소인 유창성, 융통성, 독창성을 바탕으로 '새롭고, 가치 있는' 수학적 산출물을 평가할 수 있는 채점방법을 구축하여 활용하였다. 분석 결과, 수학적 창의성 점수는 학생 간 편차가 크게 나타났다. 또한 문항별로도 수학적 창의성 점수에서 차이가 나타나, 수학 학습 내용에 따라 학생들의 수학적 창의성 분석의 필요성이 대두되었다. 본 연구의 채점방법에 따르면, 유창성이 높을수록 수학적 창의성이 높았다. 그렇지만 '새롭고, 가치 있는' 수학적 창의성의 특성을 부각시키는 채점방법에 의해 유창성과 융통성이 증가할수록 답의 희소성이 낮아져 상대적으로 독창성 점수를 얻기가 어려웠다. 따라서 답의 희소성과 수학적인 측면에서 답의 가치를 동시에 고려하는 독창성 판단의 준거를 만들 필요가 대두되었다.