• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권5호
• /
• pp.218-224
• /
• 2016

본 논문은 컴퓨터 기반의 자동 채점 시스템을 실용적으로 활용할 수 있도록 자연어 처리 기술을 이용하여 채점 기준표 작성 과정을 쉽게 하고 수작업 채점 비용의 절감 및 채점 기간을 단축시키는 방법을 제안한다. 자동 채점의 기준이 되는 정답 템플릿은 학생들이 작성한 답안들로부터 쉽고 편리하게 작성할 수 있도록 하였으며, 채점 정확도를 향상시키고 채점 오류를 최소화하여 신뢰도를 높이고자 하였다. 수작업 채점 대신에 자동채점 시스템을 도입하였을 때 그 효용성을 검증하기 위하여 2014년도 국가수준 학업성취도 평가의 사회과목 답안에 대해 자동 채점을 수행하였다.

• 대한의용생체공학회:학술대회논문집
• /
• 대한의용생체공학회 1997년도 춘계학술대회
• /
• pp.199-202
• /
• 1997

We are developing computer integrated polysomnography system. This system integrates conventional polysomnography with computer for data management, automatic analysis, scoring, and data transmission. In the first stage, we have developed the signal interface and user interface for the manual scoring and data management. For the automatic scoring of sleep stage, we have developed the protocol and have applied the analytic method in its primitive form. In the second stage we will develope a partially automatic scoring system, and finalize the fully automatic system in the final third stage.

• 대한음성학회지:말소리
• /
• 제66호
• /
• pp.41-59
• /
• 2008

Knowledge in linguistic rhythm of the target language plays a major role in foreign language proficiency. This study attempts to discover valid rhythm features that can be utilized in automatic assessment of non-native English pronunciation. Eight previously proposed and two novel rhythm metrics are investigated with 360 English read speech tokens obtained from 27 Korean learners and 9 native speakers. It is found that some of the speech-rate normalized interval measures and above-word level metrics are effective enough to be further applied for automatic scoring as they are significantly correlated with speakers' proficiency levels. It is also shown that metrics need to be dynamically selected depending upon the structure of target sentences. Results from a preliminary auto-scoring experiment through a Multi Regression analysis suggest that appropriate control of unexpected input utterances is also desirable for better performance.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1989년도 한국자동제어학술회의논문집; Seoul, Korea; 27-28 Oct. 1989
• /
• pp.967-971
• /
• 1989

A new system for automatic scoring of 'organization' of the EEG dominant rhythm was constructed and applied to 18 normal subjects and 15 patients. Organization parameters which best represented the 'organization' as judged by 5 neurologists' visual inspection were calculated and the automatic organization scoring was obtained by a linear regression of those organization parameters. Furthermore, values of the regression coefficients were used to study the characteristics of EEG interpretation by each neurologist, and this scoring technique can also be applied to the training of EEG interpretation.

• 음성과학
• /
• 제11권2호
• /
• pp.217-226
• /
• 2004

An automatic pronunciation correction system provides users with correction guidelines for each pronunciation error. For this purpose, we develop a speech recognition system which automatically classifies pronunciation errors when Koreans speak a foreign language. In this paper, we propose a machine scoring method for automatic assessment of pronunciation quality by the speech recognizer. Scores obtained from an expert human listener are used as the reference to evaluate the different machine scores and to provide targets when training some of algorithms. We use a log-likelihood score and a normalized log-likelihood score as machine scoring methods. Experimental results show that the normalized log-likelihood score had higher correlation with human scores than that obtained using the log-likelihood score.

• 인지과학
• /
• 제19권3호
• /
• pp.223-255
• /
• 2008

본 논문에서 우리는 문장의 문법성과 텍스트의 어휘 응집성 측정을 위주로 하는 영어 작문 자동평가시스템을 소개하려고 한다. 문법 검사를 위해서는 링크 파서를 사용하고 어휘 연쇄를 측정하기 위해서는 로제 시소러스를 사용한다. 자동 평가 시스템의 채점 신뢰도를 측정하기 위해서 자동 채점과 수동 채점의 결과를 통계적으로 비교한다. 카파 통계와 다국면 Rasch 모형에 따른 분석 결과 자동 채점은 수동 채점과 유사성이 크며 수동 채점과 비교해서 신뢰성에 특별한 문제가 없다는 결론을 내리게 된다. 본 연구의 가장 큰 의의는 다양한 종류의 기술과 도구를 바탕으로 신뢰할 만한 수준의 영작문 자동 평가 시스템을 개발했다는 것이다. 평가 대상이 문장 단위를 넘어 선 텍스트 단위이며, 단어나 문법 등의 형식적 측면만 검사하는 것이 아니라 내용적 측면도 평가한다.

• 정보과학회 논문지
• /
• 제41권11호
• /
• pp.911-920
• /
• 2014

본 논문은 기계학습을 기반으로 하는 중등수준의 단문형 영어작문 자동채점시스템에 대해 제안한다. 본 논문에서는 기계학습을 이용한 영어 자동채점의 전반적인 수행 방법과 시스템의 구성 및 동작방식, 채점자질의 고려사항에 대해 논한다. 학생 답안의 내용 완성도를 평가하기 위하여 문서의 내용을 요약한 "개념답안"을 제안하여 사용하였다. 본 연구에서는 여러 개의 기계학습 알고리즘을 사용하여 자동평가를 수행한다. 자동평가의 성능을 향상시키기 위해 여러 개의 기계학습 알고리즘의 결과를 최적으로 결합하여 하나의 최종 결과를 도출할 수 있는 "최적조합" 결정과정을 제안한다. 실제 학생들의 작문 데이터를 이용하여 시스템을 구축하고 자동채점 시스템의 성능 평가를 수행하였다.

• 한국컴퓨터정보학회논문지
• /
• 제18권8호
• /
• pp.17-25
• /
• 2013

본 논문에서는 투표기법을 이용하여 서술형 주관식 문제에 대한 학습자 답안을 자동으로 채점하는 모델을 제안한다. 제안하는 방법은 모델 구축 비용을 줄이기 위해서, 문제 유형별로 세분화하여 서술형 주관식 답안 자동 채점 모델을 따로 구축하지 않는다. 제안하는 방법은 서술형 주관식 답안 자동 채점에 유용한 자질을 추출하기 위해서, 모범 답안과 학습자 답안을 비교한 결과를 바탕으로 다양한 자질을 추출한다. 제안하는 방법은 답안 채점 결과의 신뢰성을 높이기 위해서, 각 학습자 답안을 여러 기계학습 기반 분류기를 이용하여 채점하고, 각 채점 결과를 투표하여 만장일치로 선택한 채점 결과를 최종 채점 결과로 결정한다. 실험결과 기계학습 기반 분류기 C4.5만 사용한 채점 결과는 정확률이 83.00%인데 반해, 기계학습 기반 분류기 C4.5, ME, SVM에서 만장일치로 선택한 채점 결과는 정확률이 90.57%까지 개선되었다.

• Journal of Information Processing Systems
• /
• 제18권2호
• /
• pp.282-291
• /
• 2022

This research applies a pre-trained bidirectional encoder representations from transformers (BERT) handwriting recognition model to predict foreign Korean-language learners' writing scores. A corpus of 586 answers to midterm and final exams written by foreign learners at the Intermediate 1 level was acquired and used for pre-training, resulting in consistent performance, even with small datasets. The test data were pre-processed and fine-tuned, and the results were calculated in the form of a score prediction. The difference between the prediction and actual score was then calculated. An accuracy of 95.8% was demonstrated, indicating that the prediction results were strong overall; hence, the tool is suitable for the automatic scoring of Korean written test answers, including grammatical errors, written by foreigners. These results are particularly meaningful in that the data included written language text produced by foreign learners, not native speakers.

• 대한의용생체공학회:학술대회논문집
• /
• 대한의용생체공학회 1997년도 춘계학술대회
• /
• pp.395-397
• /
• 1997

We have applied the neural network method for the neural networkmethod for the automatic scoring of the sleep stage. 17 features are extracted from the recorded EEG, EOG and EMG signals. These features are inputed to tile multilayer perceptron model. Neural network was trained with error-back propagation method. Results are compared with manual scoring of the experts, and show the possibility of application of automatic method in sleep stage scoring.