• 한국ITS학회 논문지
• /
• 제16권5호
• /
• pp.109-120
• /
• 2017

자동차 운전면허 시험에서 객관적인 평가가 중요하다. 특히 도로 주행시험은 실제 도로에서 운전능력, 규칙준수, 상황판단능력 등을 종합적으로 시험하는 것이다. 이를 위하여 본 논문에서는 GPS와 센서 데이터 및 기기조작 정보를 활용하여 운전면허 시험의 자동채점시스템을 제안한다. 자동채점 시스템은 차량탑재장치, 채점용단말, 데이터 제어장치, 데이터 저장 및 처리를 위한 서버로 구성되어 있다. 차량탑재장치는 차량에 설치된 센서 데이터를 수집한다. 채점 단말은 차량탑재장치로부터 받은 데이터를 활용하여 기준에 따라 자동채점 한다. 또한 이동 중에 GPS 오차로 인하여 차량이 도로를 벗어나 표현되므로 지도매칭 기법과 경로이탈 및 복귀 알고리즘을 적용하였다. 이 시스템은 기존 시험 채점 방식과 달리 자동 채점이 가능하며, 시험 결과에서 정확한 차량위치 표시와 GPS 음영지역을 벗어났을 때 10초 이내로 경로 복귀를 하였다. 이 시스템은 도로 주행 교육에도 활용될 수 있을 것으로 기대된다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제9권
• /
• pp.115-152
• /
• 1999

본 연구에서는 새로운 평가 방안으로 소개되는 수행평가의 정의 및 의의, 특징과 수행평가의 여러 가지방법 등을 간략히 살펴보고, 수행평가의 채점방법, 수행평가에 적합하다고 생각되는 문항을 예시한다. 특히, 수행평가의 예시 문항들은 수행평가의 여러 가지 방법에 따라 개발하되, 어떤 한 가지 방법에 의하지 않고 여러 가지 방법으로 평가가 가능한 문항, 학생들의 조작과 생활 속에 관련된 수학을 발견하도록 하는 문항들을 개발 예시하였다.

• 정보처리학회논문지B
• /
• 제16B권2호
• /
• pp.173-180
• /
• 2009

영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 논문에서 개발한 영작문 자동 채점 시스템은 단어 단계, 구문 단계, 의미 단계의 세 단계 처리 과정을 통해서 오류를 탐지하고 탐지된 오류 개수를 기반으로 채점 점수를 결정한다. 이와 같이 독립적인 세 단계의 처리 과정에서 오류를 탐지하므로 동일한 오류 현상에 대해 서로 다른 단계에서 서로 다른 이름으로 오류를 탐지하는 경우가 발생할 수 있다. 이는 결과적으로 전체 시스템의 채점 점수의 정확도를 저하시키는 원인이 된다. 본 논문에서는 동일한 오류 현상에 대해 서로 다른 단계에서 탐지된 오류 쌍을 '중복 보고 오류'라고 정의한다. 본 논문에서는 중복 보고 오류를 찾는 방법을 제안하고 중복 보고 오류 제거를 통해 영작문 자동 채점 시스템의 채점 점수를 향상시킬 수 있음을 보인다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제26권3호
• /
• pp.251-271
• /
• 2012

이 연구는 관찰 추천 수학영재선발 시 사용되는 자기소개서와 교사추천서 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 교사추천서와 자기소개서를 총체적 채점과 분석적 채점으로 실시했을 때 채점 방법에 따른 일반화가능도계수의 최적화 측정 조건을 탐색하고, 이를 전통적인 신뢰도 추정방법과 비교하였다. 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원에서 관찰-추천 영재 선발에 지원한 90명의 자기소개서와 교사추천서에 대해 총체적 채점과 분석적 채점으로 2명의 교사가 각각 점수를 부여하였다. 연구결과는 다음과 같다. 첫째, 교사추천서와 자기소개서의 평가에 있어 채점방법에 따른 공통점은 피험자 관련 분산이 크게 나타났으며, 차이점은 총체적 채점이 분석적 채점보다 채점자의 영향이 더 큰 것으로 나타났다. 둘째, 적정수준의 일반화가능도계수를 얻기 위해서 채점자를 2명으로 고정하는 경우 교사추천서와 자기소개서에서 총체적 채점은 각각 내용영역이 5개, 10개 이상이 요구되어졌으며, 분석적 채점은 각각 내용영역을 4개로 고정한 경우 문항이 3개 이상, 내용영역을 6개로 고정한 경우 문항이 8개 이상이 요구되어졌다. 셋째, 교사추천서와 자기소개서 모두 채점 방법과 상관없이 문항만을 오차요인으로 보는 Cronbach ${\alpha}$가 신뢰도를 과대 추정하는 것으로 나타났다. 따라서 적정수준의 신뢰도를 확보하기 위해서는 채점자, 내용영역, 문항수와 같이 다양한 오차요인을 반영하는 일반화가능도 계수를 고려하는 것이 바람직할 것이다.

• 한국컴퓨터정보학회논문지
• /
• 제10권1호
• /
• pp.209-216
• /
• 2005

수행 평가는 평가자에 의한 평가 오류 가능성, 채점의 공정성과 신뢰도, 타당도 문제, 채점 기준의 모호성, 객관성 확보에 대한 어려움 등의 문제가 야기되고 있다 이런한 수행 평가의 문제점을 해결하고 교사와 학생의 수행 평가 결과에 대한 만족도를 높이기 위하여, 본 논문에서는 회계 원리 과목을 대상으로 수행 평가의 각 영역에서 영향을 미치는 요인을 분석하여 퍼지 소속 함수를 설계하고 퍼지 규칙을 정의하여 추론을 적용하여 객관적이고 신뢰성이 높은 수행 평가 방법을 제안하였다 또한 제안된 수행 평가 방법에서 수행 평가 항목은 형성 평가와 과제 평가로 구분하여 소속 함수를 설계하였다. 제안된 퍼지 수행 평가 시스템을 통해 산출된 수행 평가 결과는 평정자의 채점 오류에 대한 부담을 줄일 수 있으며 학생들에 게는 정확한 기준과 일관성 있는 채점을 통해 공평하고 신뢰성 있는 평가 결과를 제공한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.606-610
• /
• 2009

본 논문에서는 단기 서술형 답안의 자동 채점을 위하여 기계 번역 자동 평가에서 널리 사용되는 BLEU(BiLingual Evaluation Understudy)를 활용한 방법을 제안한다. BLEU 는 기계가 번역한 것이 사람이 번역한 것과 비슷할수록 기계번역의 질이 좋을 것이다 라는 것을 가정하여 평가한다. 즉, 특정 문장을 여러 사람이 번역한 문장을 기계가 번역한 문장과 n-gram 방식으로 비교해 점수를 매기는 것이다. 이와 비슷하게 본 연구에서는 여러 개의 정답 문장과 학생의 답안 문장을 BLEU 와 같은 방식으로 상호 비교하여 학생의 답안을 채점하였다. 실험에서는 이러한 채점 방식의 정확도를 평가하기 위하여 사람이 채점한 점수와의 상관관계를 계산하였다.

• 정보과학회 논문지
• /
• 제41권11호
• /
• pp.911-920
• /
• 2014

본 논문은 기계학습을 기반으로 하는 중등수준의 단문형 영어작문 자동채점시스템에 대해 제안한다. 본 논문에서는 기계학습을 이용한 영어 자동채점의 전반적인 수행 방법과 시스템의 구성 및 동작방식, 채점자질의 고려사항에 대해 논한다. 학생 답안의 내용 완성도를 평가하기 위하여 문서의 내용을 요약한 "개념답안"을 제안하여 사용하였다. 본 연구에서는 여러 개의 기계학습 알고리즘을 사용하여 자동평가를 수행한다. 자동평가의 성능을 향상시키기 위해 여러 개의 기계학습 알고리즘의 결과를 최적으로 결합하여 하나의 최종 결과를 도출할 수 있는 "최적조합" 결정과정을 제안한다. 실제 학생들의 작문 데이터를 이용하여 시스템을 구축하고 자동채점 시스템의 성능 평가를 수행하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권9호
• /
• pp.381-388
• /
• 2014

본 논문에서는 중 고등 수준 단문형 영어 작문시험의 자동채점 시스템을 위한 사전 미등록어 분류기 구현에 대해 다룬다. 영어 자동채점 과정에서 발생하는 사전 미등록어의 유형을 정의하고 각 유형에 대한 검출 방법에 대해 논의하였다. 또한 영작문 답안에서 나타날 수 있는 비속어의 유형을 정의하고 검출 방법에 대해 연구하였다. 영작문 자동평가 시스템의 모듈로서 비속어 검출 기능이 포함된 미등록어 분류기를 구현하였다. 미등록어 분류와 비속어 검출 방법에 대한 성능을 실제 시험 데이터에 적용하여 그 성능을 평가하였다.

• 영재교육연구
• /
• 제9권1호
• /
• pp.127-147
• /
• 1999

본 연구는 마인드맵이 아동의 작문수행에 미치는 효과를 연구하기 위해 이루어졌다. 연구 대상자는 초등학교 6학년 학생 78명(2학급)으로, 각 학급을 실험집단과 통제집단에 각각 무선으로 배정하고 사전검사를 실시하였다. 이어서 10차시에 걸친 실험을 실시하고 실험을 마친 다음날 직후검사를 하였다. 실험의 파지효과를 알아보기 위해서는 실험 종류 1주 후에 파지검사를 실시하였다. 본 연구에서 사용된 측정도구는 작문검사(사전검사, 직후검사 및 파지검사)이다. 작문의 채점에 있어서는 2명의 채점자가 분석적 평가 기준에 따라 채점한 것을 합산하여 사용하였다. 분석결과는 다음과 같다. 1) 마인드맵이 아동의 작문수행에 미치는 효과는 긍정적이었다. 2) 마인드맵이 아동의 작문수행에 미치는 효과는 지속적이었다. 이러한 연구결과는 아이디어를 창출하고 아이디어를 조작하며 글을 개정하는 과정에서 마인드맵이 유용한 학습도구로서 이용될 수 있음을 시사해준다. 또한 정규교실에 있는 영재아들에게도 양반구의 기능을 고루 활용하는 마인드맵이 독자적인 학습방법으로 유용하게 활용될 수 있을 것으로 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.384-390
• /
• 2021

본 논문은 영어 에세이 자동 평가를 위한 딥러닝 기반의 새로운 평가 방법론을 제안한다. 어휘, 형태소, 구문, 의미 단계로 이루어진 평가 과정을 통해 자동화된 에세이 평가가 가능하다. 제안하는 방법의 객관성과 신뢰성을 검증하기 위하여 사람이 평가한 점수와 각 단계별 점수 사이의 상관관계 분석을 진행하였으며, 그 결과 제안하는 평가 방법이 유의미함을 알 수 있었다.