• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 춘계학술발표대회
• /
• pp.965-968
• /
• 2004

기존의 주관식 문제 채점 보조 시스템은 자연어 처리의 어려움으로 인해 채점의 자동화가 어려워 전자우편 등을 통하여 채점자에게 채점 의뢰를 하는 수준이었다. 본 논문에서는 이러한 문제점을 해결하기 위하여 문제 공간을 벡터 공간으로 정의하고 벡터를 구성하는 각 자질간의 상관관계를 고려한 방법을 적용하였다. 먼저 학습자가 답안을 작성할 때 동의어 사용을 한다는 가정하에 출제자가 여러 개의 모범 답안을 작성하고 이들 답안을 말뭉치에 첨가하여 구성한 다음 형태소 분석기를 통하여 색인을 추출한다. 그리고 학습자가 작성한 답안 역시 색인을 추출한 다음, 이들 색인들을 각 자질로 정의한 벡터를 구성한다. 이렇게 구성된 벡터들을 이용하여 답안들간 유사도 측정을 하고, 유사도 범위에 따라 답안을 자동으로 정답과 오답으로 분류하려는 시스템을 제안한다. 170 문항의 주관식 문제을 제안된 방법으로 실험하여, 기존 모델에 비해 성능과 신뢰성 향상을 이룰 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제24권11호
• /
• pp.127-133
• /
• 2019

오늘날 데이터 처리에 있어 가장 보편적인 언어가 SQL이다. 이를 위해 SQL 교육이 대학에서 진행되고 있다. 따라서 이번 연구에서는 SQL교육의 학습효과를 극대화하기 위한 SQL의 퀴즈 자동 채점 시스템을 제안한다. 본 시스템은 SQL 퀴즈의 자동 채점을 위해 데이터베이스관리시스템을 활용한 알고리즘을 이용하였으며, 만족할 만한 결과를 도출하였다. 본 시스템을 위해 학사관리, 인사관리 데이터베이스에 대해 학사관리의 문제로 문제 은행을 구축하고, 사용자에게 매번 다른 문제를 제공할 수 있도록 하였다. 채점은 테이블에 변화가 없는 검색과 테이블이 변화하는 수정, 삽입, 삭제로 나누어 처리하였다. 검색의 경우 정답과 응답을 실행한 후 실행 결과를 비교하여 처리하였으며, 수정, 삽입, 삭제는 정답과 오답을 실행한 후 테이블을 검색하여 비교함으로써 정답을 확인하도록 하였다. 수정, 삽입, 삭제는 테이블이 변화하였으므로 트랜젝션(transaction) 제어어인 ROLLBACK 명령어를 이용하여 데이터를 원래대로 복원하였다. 본 시스템을 구현하고, 우리대학 컴퓨터정보과 2학년 88명을 대상으로 772회 시행하였다. 시행결과 1회 10문항으로 구성된 시험에 대한 평균 채점 소요시간은 0.052초로 매우 효과적인 것으로 나타났으며, 채점관의 경우 동시에 여러개의 응답을 동시에 처리할 수 없음을 고려한다면 본 시스템의 성능이 월등함을 확인하였다. 향후 정답율을 기초로 문제 난이도를 고려한 문제 시스템으로 발전시키고자 한다.

• 정보과학회 논문지
• /
• 제42권9호
• /
• pp.1124-1132
• /
• 2015

일반적으로, 교사 학습 알고리즘이 적절히 학습되기 위해서는 레이블의 편향이 없는 충분한 양의 학습데이터가 필요하다. 그러나 영작문 자동채점 시스템 개발을 위한 충분하고 편향되지 않은 학습데이터를 수집하는 것은 어려운 일이다. 또한 영어 작문 평가의 경우, 전체적인 답안 수준에 대한 다면적인 평가가 이루어진다. 적고 편향되기 쉬운 학습데이터와 이를 이용한 여러 평가영역에 대한 학습모델을 생성해야하기 때문에, 이를 위한 적절한 기계학습 알고리즘을 결정하기 어렵다. 본 논문에서는 이러한 문제를 앙상블학습을 통해 완화할 수 있음을 실험에 통해 보이고자 한다. 실제 중, 고등학교 학생들을 대상으로 시행된 단문형 영작문 채점 결과를 학습데이터 개수와 편향성을 조절하여 실험하였다. 학습데이터의 개수 변화와 편향성 변화의 실험 결과, 에이다부스트 알고리즘을 적용한 결과를 투표로 결합한 앙상블 기법이 다른 알고리즘들 보다 전반적으로 더 나은 성능을 나타냄을 실험을 통해 나타내었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.187-190
• /
• 2018

최근 프로그래밍 교육에서 학생들의 학습 성취도를 빠르고 정확하게 평가하기 위하여 자동 채점 시스템을 사용한다. 강의를 통해 습득한 이론적인 지식을 이해하기 위해 직접 코드를 작성하는 실습이 진행되는 프로그래밍 교육에서 효과적이기 때문이다. 현재 실습에 필요한 실습문항의 대부분은 강사가 직접 생성해야 한다. 특히 강의내용을 바탕으로 예제 소스코드를 이해하여 빈 칸에 알맞은 코드를 작성하는 실습은 강사가 직접 빈 칸에 해당되는 부분을 예제 코드에서 지정해줘야 하는 추가적인 작업이 필요하다. 이러한 빈 칸 채우기 문항은 일반적으로 빈 칸이 고정된 행태이기 예문에 학생들이 답안을 공유하기 쉽다. 이를 막기 위해서 강사는 유사한 내용의 빈 칸 채우기 문항을 추가적으로 생성해야 한다. 하지만 대부분의 자동 채점 시스템은 이를 지원하지 않거나 강사에게 빈 칸을 직접 지정하도록 하는 경우가 대부분이다. 따라서 본 논문에서는 이러한 문제를 해결하는 빈 칸 채우기 문항 자동생성기법을 제안하고 적용 사례를 보인다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2013년도 추계학술대회
• /
• pp.173-176
• /
• 2013

본 논문은 자동출제 및 채점 시스템이 HTML 및 XML 기반으로 작성된 시스템에서 문제시 되고 있는 오프라인에서 출제된 문제를 편리하게 자동으로 등록하는 방법, 출제된 문제의 편리한 관리, 문항의 병합문제등과 PC와 모바일 기기를 이용하여 장소에 제한받지 않고 시험에 응시가 가능한 시스템을 연구한다. 서버 시스템은 문제 등록 및 실시간 문항병합, 난이도조정 등 시험에 필요한 시스템을 구축한다. 클라이언트에서는 서버와의 통신을 이용하여 모바일 기기 및 PC에서 시험 응시에 필요한 View프로그램, 답안에 대한 전송 처리를 연구한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 추계학술대회
• /
• pp.370-372
• /
• 2014

본 연구는 자동출제 및 채점 시스템이 HTML 및 XML 기반으로 작성된 시스템에서 문제시 되고 있는 오프라인에서 출제된 문제를 편리하게 자동으로 등록하는 방법, 출제된 문제의 편리한 관리, 문항의 병합문제등과 PC와 모바일 기기를 이용하여 장소에 구해받지 않고 시험에 응시가 가능한 시스템을 연구한다. 서버 시스템은 문제 등록 및 실시간 문항병합, 난이도조정 등 시험에 필요한 시스템을 구축한다. 클라이언트에서는 서버와의 통신을 이용하여 모바일 기기 및 PC에서 시험 응시에 필요한 View프로그램, 답안에 대한 전송 처리를 연구한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제4권1호
• /
• pp.45-56
• /
• 2015

본 연구에서는 문맥 정보를 함께 고려해야만 인식할 수 있는 단어 오류에 대하여 오류 인식 방법과 수정 후보 생성 방법을 제안한다. 이 문제는 기존의 영어권에서 이미 많이 다룬 연구 주제이다. 본 연구에서는 영어 자동채점 시스템에서 사용하도록 특화된 방법을 제안한다. 문맥 정보를 고려한 단어 오류 검사에서는 자주 혼동되어 사용되는 단어집합(confusion set)을 활용한다. 비영어권 사용자의 작문 특성을 반영하기 위해 기존의 영어권에서 구축한 혼동집합 이외에 자동으로 혼동집합을 구축하여 실험해 보았다. 또한 품사 중의성으로 인해 기존의 구문오류 검사기가 다루지 못하는 오류를 정의하고 오류 인식과 오류수정 후보를 생성하는 방법을 제안한다. 실제 한국어가 모국어이면서 초/중급 작문 수준의 수험생들이 작성한 영어 문장에 대해 평가해 본 결과, 약 70.48%의 f1 값을 얻어 기존의 영어권 결과에 비해 뒤지지 않는 성능을 보였다.

• 한국ITS학회 논문지
• /
• 제16권2호
• /
• pp.180-189
• /
• 2017

운전면허시험을 응시하는 사람들은 면허취소 등으로 재시험을 보는 사람들도 있지만, 대부분 자동차를 운전하기 위해 최초로 운전을 배워 시험을 응시하는 사람들이 대부분이다. 자동차 운전은 생명과 직결되는 것으로 초기의 정확한 운전습관이 무엇보다 중요하다. 특히 사회에 첫 진출을 하면서 운전면허를 취득하는 사람들이 많기 때문에 처음 운전을 배울 때 객관적이고 공정한 기준에 의해 올바른 운전능력을 평가받아 면허를 취득하는 것이 매우 중요하다. 본 논문을 통해 구현하고자하는 시스템은 효율적이면서도 공정하고 정확한 자동화 채점을 통해 양질의 운전자를 배출할 수 있는 S/W 설계 및 주요 기능들에 대해 고찰, 제안하였다. 이를 통해 자동채점 운전면허 시스템 개선을 제안하여, 교통사고를 예방하고 올바른 운전을 통해 교통사고를 줄이는데 목적이 있다.

• 정보처리학회논문지A
• /
• 제12A권6호
• /
• pp.539-546
• /
• 2005

최근 인터넷 사용자가 급증하면서 원격교육의 발전과 함께 평가에서도 원격을 이용한 방법이 많이 사용되고 있다. 하지만 현재까지는 자연언어처리의 어려움으로 객관식이나 단답식 평가가 주류를 이루고 있다. 본 논문에서는 서술형 주관식 문제의 빠르고 공정한 지능형 채점을 위하여, 다양한 언어 지식을 활용하였다. 이를 위하여, 가공되지 않은 말뭉치에서 의미커널을 구축하고, 수험자가 작성한 답안과 이미 구축된 정답을 벡터로 구성하여 이 답안간의 유사도를 의미커널을 통해 계산하여 정답여부를 자동으로 판단하도록 하였다. 의미커널을 구축하기 위하여 벡터 공간 모델에 기반한 은닉 의미 분석을 이용하였으며, 또한 한글 워드넷을 이용하여 답안의 정보부족 문제를 줄여보고자 하였다. 실험을 위하여 3000 문항의 주관식 문제를 구축하였으며, 의미커널의 구축을 위하여 38,727개의 신문기사를 모아 말뭉치로 구성하고 75,175개의 색인어를 추출하였다. 의미커널에 기반한 자동 채점 시스템으로 실제 수험자에 의하여 작성된 답안을 채점한 결과, 출제자가 실제로 채점한 결과를 기준으로 하여 최고 0.894의 상관관계를 얻을 수 있었다

• 영어어문교육
• /
• 제13권1호
• /
• pp.235-259
• /
• 2007

The purpose of the present study is to develop a prototype automated scoring system for English writing. The system was developed for scoring writings of Korean middle school students. In order to develop the automated scoring system, following procedures have been applied. First, review and analysis of established automated essay scoring systems in other countries have been accomplished. By doing so, we could get the guidance for development of a new sentence-level automated scoring system for Korean EFL students. Second, knowledge base such as lexicon, grammar and WordNet for natural language processing and error corpus of English writing of Korean middle school students were established. Error corpus was established through the paper and pencil test with 589 third year middle school students. This study provided suggestions for the successful introduction of an automated scoring system in Korea. The automated scoring system developed in this study should be continuously upgraded to improve the accuracy of the scoring system. Also, it is suggested to develop an automated scoring system being able to carry out evaluation of English essay, not only sentence-level evaluation. The system needs to be upgraded for the improved precision, but, it was a successful introduction of an sentence-level automated scoring system for English writing in Korea.