• 제목/요약/키워드: English writing scoring system

검색결과 9건 처리시간 0.021초

영작문 자동 채점 시스템 개발 연구 (Development of automated scoring system for English writing)

  • 진경애
    • 영어어문교육
    • /
    • 제13권1호
    • /
    • pp.235-259
    • /
    • 2007
  • The purpose of the present study is to develop a prototype automated scoring system for English writing. The system was developed for scoring writings of Korean middle school students. In order to develop the automated scoring system, following procedures have been applied. First, review and analysis of established automated essay scoring systems in other countries have been accomplished. By doing so, we could get the guidance for development of a new sentence-level automated scoring system for Korean EFL students. Second, knowledge base such as lexicon, grammar and WordNet for natural language processing and error corpus of English writing of Korean middle school students were established. Error corpus was established through the paper and pencil test with 589 third year middle school students. This study provided suggestions for the successful introduction of an automated scoring system in Korea. The automated scoring system developed in this study should be continuously upgraded to improve the accuracy of the scoring system. Also, it is suggested to develop an automated scoring system being able to carry out evaluation of English essay, not only sentence-level evaluation. The system needs to be upgraded for the improved precision, but, it was a successful introduction of an sentence-level automated scoring system for English writing in Korea.

  • PDF

기계학습을 이용한 중등 수준의 단문형 영어 작문 자동 채점 시스템 구현 (Developing an Automated English Sentence Scoring System for Middle-school Level Writing Test by Using Machine Learning Techniques)

  • 이경호;이공주
    • 정보과학회 논문지
    • /
    • 제41권11호
    • /
    • pp.911-920
    • /
    • 2014
  • 본 논문은 기계학습을 기반으로 하는 중등수준의 단문형 영어작문 자동채점시스템에 대해 제안한다. 본 논문에서는 기계학습을 이용한 영어 자동채점의 전반적인 수행 방법과 시스템의 구성 및 동작방식, 채점자질의 고려사항에 대해 논한다. 학생 답안의 내용 완성도를 평가하기 위하여 문서의 내용을 요약한 "개념답안"을 제안하여 사용하였다. 본 연구에서는 여러 개의 기계학습 알고리즘을 사용하여 자동평가를 수행한다. 자동평가의 성능을 향상시키기 위해 여러 개의 기계학습 알고리즘의 결과를 최적으로 결합하여 하나의 최종 결과를 도출할 수 있는 "최적조합" 결정과정을 제안한다. 실제 학생들의 작문 데이터를 이용하여 시스템을 구축하고 자동채점 시스템의 성능 평가를 수행하였다.

Integration of Computerized Feedback to Improve Interactive Use of Written Feedback in English Writing Class

  • CHOI, Jaeho
    • Educational Technology International
    • /
    • 제12권2호
    • /
    • pp.71-94
    • /
    • 2011
  • How can an automated essay scoring (AES) program, which provides feedback for essays, be a formative tool for improving ESL writing? In spite of the increasing demands for English writing proficiency, English writing instruction has not been effective for teaching and learning because of a lack of timely and accurate feedback. In this context, AES as a possible solution has been gaining the attention of educators and scholars in ESL/EFL writing education because it can provide consistent and prompt feedback for student writers. This experimental study examined the impact of different types of feedback for a college ESL writing program using the Criterion AES system. The results reveal the positive impact of AES in a college-level ESL course and differences between the teacher's feedback and the AES feedback. The findings suggest that AES can be effectively integrated into ESL writing instruction as a formative assessment tool.

한국 대학생이 보이는 영어작문 실수 유형 (The Type of English Writing Error of Korean Undergraduate Students)

  • 임희석;박종원;남기춘
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2003년도 5월 학술대회지
    • /
    • pp.176-179
    • /
    • 2003
  • This study was conducted to extract the feature set of English writing error for suggesting adequate English writing program and making automated scoring system. The frequent committed error and the error across the level of writing proficiency were reported. Also, It is reported that the correlation between type of error and native speaker's rating score.

  • PDF

영작문 자동평가를 위한 비속어 검출과 미등록어 분류 (Swear Word Detection and Unknown Word Classification for Automatic English Writing Assessment)

  • 이경호;김성권;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권9호
    • /
    • pp.381-388
    • /
    • 2014
  • 본 논문에서는 중 고등 수준 단문형 영어 작문시험의 자동채점 시스템을 위한 사전 미등록어 분류기 구현에 대해 다룬다. 영어 자동채점 과정에서 발생하는 사전 미등록어의 유형을 정의하고 각 유형에 대한 검출 방법에 대해 논의하였다. 또한 영작문 답안에서 나타날 수 있는 비속어의 유형을 정의하고 검출 방법에 대해 연구하였다. 영작문 자동평가 시스템의 모듈로서 비속어 검출 기능이 포함된 미등록어 분류기를 구현하였다. 미등록어 분류와 비속어 검출 방법에 대한 성능을 실제 시험 데이터에 적용하여 그 성능을 평가하였다.

단문형의 영작문 자동 채점 시스템 구축 (Building an Automated Scoring System for a Single English Sentences)

  • 김지은;이공주;진경애
    • 정보처리학회논문지B
    • /
    • 제14B권3호
    • /
    • pp.223-230
    • /
    • 2007
  • 영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 연구에서는 영작문 중 여러 문장이나 단락으로 구성된 에세이가 아닌 단문형의 영작문을 채점하는 시스템을 개발하였다. 단일 문장을 채점하기 때문에 정답 문장과 좀 더 자세한 비교를 할 수 있고 수험자들에게 좀 더 상세한 피드백을 제공해 줄 수 있다. 단일 문장을 채점하기 위해서는 크게 두 단계의 처리가 요구된다. 첫 번째 단계는 문장내의 오류를 탐지하는 과정으로, 수험자의 영작문을 분석하여 문장 내에 포함되어 있을 수 있는 철자 및 구문 오류를 검사한다. 둘째 단계는 문장 간 오류를 탐지하는 과정으로 문제 출제자가 제공한 정답문장과 수험자의 영작문을 비교하여 두 문장 사이의 차이를 오류로 인식한다. 실제로 중학교 3학년 학생들을 대상으로 영작문 시험을 수행하였고, 이를 본 연구에서 개발한 영작문 자동 채점 시스템을 이용하여 채점해 보았다 인간 채점자와의 비교를 통해서 영작문 자동 채점 시스템의 효용성을 살펴보았다.

영작문 자동채점 시스템 개발에서 학습데이터 부족 문제 해결을 위한 앙상블 기법 적용의 효과 (Effect of Application of Ensemble Method on Machine Learning with Insufficient Training Set in Developing Automated English Essay Scoring System)

  • 이경호;이공주
    • 정보과학회 논문지
    • /
    • 제42권9호
    • /
    • pp.1124-1132
    • /
    • 2015
  • 일반적으로, 교사 학습 알고리즘이 적절히 학습되기 위해서는 레이블의 편향이 없는 충분한 양의 학습데이터가 필요하다. 그러나 영작문 자동채점 시스템 개발을 위한 충분하고 편향되지 않은 학습데이터를 수집하는 것은 어려운 일이다. 또한 영어 작문 평가의 경우, 전체적인 답안 수준에 대한 다면적인 평가가 이루어진다. 적고 편향되기 쉬운 학습데이터와 이를 이용한 여러 평가영역에 대한 학습모델을 생성해야하기 때문에, 이를 위한 적절한 기계학습 알고리즘을 결정하기 어렵다. 본 논문에서는 이러한 문제를 앙상블학습을 통해 완화할 수 있음을 실험에 통해 보이고자 한다. 실제 중, 고등학교 학생들을 대상으로 시행된 단문형 영작문 채점 결과를 학습데이터 개수와 편향성을 조절하여 실험하였다. 학습데이터의 개수 변화와 편향성 변화의 실험 결과, 에이다부스트 알고리즘을 적용한 결과를 투표로 결합한 앙상블 기법이 다른 알고리즘들 보다 전반적으로 더 나은 성능을 나타냄을 실험을 통해 나타내었다.

영작문 자동 채점 시스템을 위한 문맥 고려 단어 오류 검사기 (Context-sensitive Word Error Detection and Correction for Automatic Scoring System of English Writing)

  • 최용석;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권1호
    • /
    • pp.45-56
    • /
    • 2015
  • 본 연구에서는 문맥 정보를 함께 고려해야만 인식할 수 있는 단어 오류에 대하여 오류 인식 방법과 수정 후보 생성 방법을 제안한다. 이 문제는 기존의 영어권에서 이미 많이 다룬 연구 주제이다. 본 연구에서는 영어 자동채점 시스템에서 사용하도록 특화된 방법을 제안한다. 문맥 정보를 고려한 단어 오류 검사에서는 자주 혼동되어 사용되는 단어집합(confusion set)을 활용한다. 비영어권 사용자의 작문 특성을 반영하기 위해 기존의 영어권에서 구축한 혼동집합 이외에 자동으로 혼동집합을 구축하여 실험해 보았다. 또한 품사 중의성으로 인해 기존의 구문오류 검사기가 다루지 못하는 오류를 정의하고 오류 인식과 오류수정 후보를 생성하는 방법을 제안한다. 실제 한국어가 모국어이면서 초/중급 작문 수준의 수험생들이 작성한 영어 문장에 대해 평가해 본 결과, 약 70.48%의 f1 값을 얻어 기존의 영어권 결과에 비해 뒤지지 않는 성능을 보였다.

영작문 자동 채점 시스템에서의 중복 보고 오류 제거를 통한 성능 향상 (Accuracy Improvement of an Automated Scoring System through Removing Duplicately Reported Errors)

  • 이현아;김지은;이공주
    • 정보처리학회논문지B
    • /
    • 제16B권2호
    • /
    • pp.173-180
    • /
    • 2009
  • 영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 논문에서 개발한 영작문 자동 채점 시스템은 단어 단계, 구문 단계, 의미 단계의 세 단계 처리 과정을 통해서 오류를 탐지하고 탐지된 오류 개수를 기반으로 채점 점수를 결정한다. 이와 같이 독립적인 세 단계의 처리 과정에서 오류를 탐지하므로 동일한 오류 현상에 대해 서로 다른 단계에서 서로 다른 이름으로 오류를 탐지하는 경우가 발생할 수 있다. 이는 결과적으로 전체 시스템의 채점 점수의 정확도를 저하시키는 원인이 된다. 본 논문에서는 동일한 오류 현상에 대해 서로 다른 단계에서 탐지된 오류 쌍을 '중복 보고 오류'라고 정의한다. 본 논문에서는 중복 보고 오류를 찾는 방법을 제안하고 중복 보고 오류 제거를 통해 영작문 자동 채점 시스템의 채점 점수를 향상시킬 수 있음을 보인다.