• 영어어문교육
• /
• 제13권1호
• /
• pp.235-259
• /
• 2007

The purpose of the present study is to develop a prototype automated scoring system for English writing. The system was developed for scoring writings of Korean middle school students. In order to develop the automated scoring system, following procedures have been applied. First, review and analysis of established automated essay scoring systems in other countries have been accomplished. By doing so, we could get the guidance for development of a new sentence-level automated scoring system for Korean EFL students. Second, knowledge base such as lexicon, grammar and WordNet for natural language processing and error corpus of English writing of Korean middle school students were established. Error corpus was established through the paper and pencil test with 589 third year middle school students. This study provided suggestions for the successful introduction of an automated scoring system in Korea. The automated scoring system developed in this study should be continuously upgraded to improve the accuracy of the scoring system. Also, it is suggested to develop an automated scoring system being able to carry out evaluation of English essay, not only sentence-level evaluation. The system needs to be upgraded for the improved precision, but, it was a successful introduction of an sentence-level automated scoring system for English writing in Korea.

• International Journal of Advanced Culture Technology
• /
• 제11권4호
• /
• pp.42-47
• /
• 2023

The majority of research on Automated Writing Evaluation (AWE) programs has focused primarily on Grammarly, whereas QuillBot and its use in English as a Foreign Language (EFL) classrooms remains limitedly explored. This study examined the effectiveness of using QuillBot on the writing quality of college students. A total of 26 participants took pre- and post-writing tests, and four analytical tools were applied to assess their writing quality in terms of syntactic complexity, lexical diversity, lexical richness, and readability. Results of the syntactic complexity analysis across the four indices demonstrates that the syntactic complexity of EFL writing increased significantly, and substantial differences were observed in lexical richness and readability. These results suggest that QuillBot can compensate for the drawbacks of Grammarly and assist EFL writers in improving their overall writing quality.

• 한국콘텐츠학회논문지
• /
• 제20권5호
• /
• pp.37-45
• /
• 2020

본 연구에서는 영어쓰기에서 활용되고 있는 온라인 자동쓰기평가 프로그램을 활용하는데 있어서 학생들의 인식 및 태도를 살펴보는데 목적이 있다. 이를 위해 총 131명이 참여하였고 참여자는 대학교 1학년 초급수준의 학습자들로 구성되어있다. 연구도구로는 사전·사후 설문지, 사전·사후 테스트 그리고 학습저널의 자료가 수집되고 분석되었다. 연구는 2019년 2학기, 총 15주에 걸쳐 실시되었으며 그 결과는 다음과 같다. 첫째, 설문에 참여한 학생들은 스스로 영문법에 어려움이 있고 영작문에 있어서 피드백이 도움이 된다고 생각하고 있었다. 둘째, Grammarly 활용에 있어서 학생들은 전반적으로 긍정적인 태도를 보이고 있었다. Grammarly는 영어학습과 과제수행에 도움이 되었고 활용도 면에서도 높게 나타났다. 마지막으로 사전·사후 문법테스트에서 Grammarly의 효과성은 유의미한 결과를 보였다. 본 연구결과를 토대로 한 제안점은 다음과 같다. 첫째, 학생들이 프로그램을 적극적으로 활용할 수 있도록 익숙해지는 시간을 갖도록 해야 한다. 둘째, 교사는 학생들에게 AWE(Automated Writing Evaluation)의 피드백이 항상 정확하지만은 않다는 것을 이해하도록 해야 한다. 마지막으로 교사의 피드백이 반드시 함께 제공되어야 한다.

• 문화기술의 융합
• /
• 제8권2호
• /
• pp.315-319
• /
• 2022

본 연구는 선형 혼합 모형을 활용하여 쓰기 능력이 장기적으로 어떻게 발전되어 가는지를 통사적 복잡성(syntactic complexity) 측면에서 4명의 사례 연구자들이 작성한 에세이를 활용하여 분석하였다. 사례 연구자들은 자발적으로 Criterion 이라는 자동 쓰기 평가 프로그램의 피드백을 받아 초안과 수정본을 교실 밖에서 매달 한 개 씩 일 년 동안 작성했다. 총 48개 초안 에세이가 본 연구의 분석 대상이고, 통사적 복잡성은 Syntactic Complexity Analyzer의 14개 지표 중에서 추출하여 분석하였다. 선형 혼합 모형 분석 결과를 살펴보면 다음과 같다. 시간과 T-unit의 평균길이 간에는 통계적으로 유의미한 선형 관계가 있었으며, 이는 연구 참여자들이 시간이 지날수록 길이가 긴 T-uni을 포함한 에세이를 작성했음을 보여준다. 또한 시간과 의존절과 독립절 간의 비율 간에도 통계적으로 유의미한 선형 관계가 있었는데, 이는 연구 참여자들이 일 년 동안 높은 비율의 의존절이 포함된 에세이를 작성했음을 시사한다.

• 정보교육학회논문지
• /
• 제21권2호
• /
• pp.161-169
• /
• 2017

작성된 문서의 문법적 오류 교정을 할 때 맞춤법 검사기를 사용하는 것이 일반적이다. 그러나 초등학생들이 작성한 글 중에는 문법적으로는 옳더라도 자연스럽지 않은 문장이 있을 수 있다. 본 논문에서는 동일한 의미를 가진 2개의 문장이 주어졌을 때, 어떤 것이 더 자연스러운 문장인지 자동 판별할 수 있는 방법을 소개한다. 이 방법은 순환 신경망(recurrent neural network)을 이용하여 장기 의존성(long-term dependencies) 문제를 해결하고, 보조 단어(subword)를 사용하여 희소 단어(rare word) 문제를 해결한다. 약 200만 문장의 단일어 코퍼스를 통해 순환 신경망 기반 언어 모델을 학습하였다. 그 결과, 초등학생들이 주로 틀리는 표현들과 그에 대응하는 올바른 표현을 입력으로 주었을 때, 모든 경우에 대해 자연스러운 표현을 자동으로 선별할 수 있었다. 본 소프트웨어가 스마트 기기에 사용될 수 있는 형태로 구현된다면 실제 초등학교 현장에서 활용 가능할 것으로 기대된다.

• 정보과학회 논문지
• /
• 제42권9호
• /
• pp.1124-1132
• /
• 2015

일반적으로, 교사 학습 알고리즘이 적절히 학습되기 위해서는 레이블의 편향이 없는 충분한 양의 학습데이터가 필요하다. 그러나 영작문 자동채점 시스템 개발을 위한 충분하고 편향되지 않은 학습데이터를 수집하는 것은 어려운 일이다. 또한 영어 작문 평가의 경우, 전체적인 답안 수준에 대한 다면적인 평가가 이루어진다. 적고 편향되기 쉬운 학습데이터와 이를 이용한 여러 평가영역에 대한 학습모델을 생성해야하기 때문에, 이를 위한 적절한 기계학습 알고리즘을 결정하기 어렵다. 본 논문에서는 이러한 문제를 앙상블학습을 통해 완화할 수 있음을 실험에 통해 보이고자 한다. 실제 중, 고등학교 학생들을 대상으로 시행된 단문형 영작문 채점 결과를 학습데이터 개수와 편향성을 조절하여 실험하였다. 학습데이터의 개수 변화와 편향성 변화의 실험 결과, 에이다부스트 알고리즘을 적용한 결과를 투표로 결합한 앙상블 기법이 다른 알고리즘들 보다 전반적으로 더 나은 성능을 나타냄을 실험을 통해 나타내었다.

• 한국콘텐츠학회논문지
• /
• 제17권12호
• /
• pp.378-385
• /
• 2017

본 연구는 대학수학능력시험 영어영역 읽기지문의 문항 유형별 응집력과 어휘정보를 파악하기 위해 코퍼스 기반 분석을 실시하였다. 본 연구에서는 한국교육과정평가원에서 제시하는 여섯 가지의 문항유형을 세가지의 범주, 즉 맥락읽기, 세부읽기, 간접쓰기로 나누어 분석하였다. 이를 위해 처음 수능이 실시된 1994학년도부터 2017학년도까지의 수능 영어영역의 읽기지문의 코퍼스를 구축한 후, 코메트릭스 3.0을 활용하여 해당 코퍼스를 분석하여 각 문항들의 응집력과 어휘정보의 차이를 살펴보았다. 연구 결과 표층응집성 지표에서는 명사중복 측정치와 어간중복 측정치에서 통계적으로 유의미한 차이를 보였다. 연결사 지표에서는 역접의 연결사와 추가의 연결사에서 통계적으로 유의미한 차이를 보였다. 어휘정보 지표의 결과에서는 대명사의 발생정도, 습득나이 측정치, 내용어의 구체성 측정치, 심상성 측정치, 유의미성 측정치에서 통계적으로 유의미한 차이를 보였다. 이러한 문항유형간 응집력과 어휘정보 분석에 대한 정보는 교과서 집필 및 수능시험 출제에 활용될 수 있을 것이며, 학생들이 직접적으로 활용할 수 있는 읽기전략으로 활용 될 것으로 기대된다.

• 한국과학교육학회지
• /
• 제43권6호
• /
• pp.573-582
• /
• 2023

본 연구는 영재학교 학생들의 논문 초록의 구조를 파악하여 그 특성을 분석하고, 인공지능을 활용하여 초록을 구성하는 여러 요소를 추출하여 그 성능을 비교함으로써 과학영재교육에서 인공지능의 활용 가능성을 모색하는 것을 목적으로 하였다. 이에 따라 S 영재학교의 2017~2021년의 5년간 졸업 논문 263건을 대상으로 초록에 포함된 배경, 목적, 방법, 결과, 논의의 빈도나 유형이 어떠한지 분석하고 이를 파인튜닝 및 프롬프트를 활용한 인공지능을 활용한 분류 방법을 통해 그 정확도를 평가하였다. 연구 결과, 영재 학생들이 작성한 과학 논문의 초록 요소의 출현 빈도는 목적, 방법, 결과, 배경, 논의(D)의 순이었고, 목적, 방법, 결과 등 초록에서 필수적으로 포함되어야 하는 요소를 모두 담은 경우는 전체 57.4%에 불과하였다. 인공지능을 활용한 이러한 요소를 분류한 결과, 파인튜닝을 이용한 경우가 가장 정확도가 높았으며 5가지 요소 중 배경, 목적, 결과는 비교적 높은 성능을 보였으나 방법, 논의에 대해서는 정확히 분류하지 못하는 경우가 많 았다. 이러한 결과는 여러 요소의 분포 비율이나 학습을 위한 적절한 데이터셋이나 정보를 제공해 인공지능을 활용해야 보다 효과적인 수단으로 활용될 수 있음을 의미하며, 이에 대한 교육적 시사점을 제시하였다.

• 지능정보연구
• /
• 제26권3호
• /
• pp.109-125
• /
• 2020

군(軍)에서 방위력개선사업(이하 방위사업)은 매우 투명하고 효율적으로 이루어져야 함에도, 방위사업 관련 법 및 규정의 과도한 다양화로 많은 실무자들이 원활한 방위사업 추진에 어려움을 겪고 있다. 한편, 방위사업 관련 실무자들이 각종 문서에서 다루는 법령 문장은 문장 내에서 표현 하나만 잘못되더라도 심각한 문제를 유발하는 특징을 가지고 있으나, 이를 실시간으로 바로잡기 위한 문장 비교 시스템 구축에 대한 노력은 미미했다. 따라서 본 논문에서는 Siamese Network 기반의 자연어 처리(NLP) 분야 인공 신경망 모델을 이용하여 군(軍)의 방위사업 관련 문서에서 등장할 가능성이 높은 문장과 이와 관련된 법령 조항의 유사도를 비교하여 위법 위험 여부를 판단·분류하고, 그 결과를 사용자에게 인지시켜 주는 '군(軍) 보고서 등장 문장과 관련 법령 간 비교 시스템' 구축 방안을 제안하려고 한다. 직접 제작한 데이터 셋인 모(母)문장(실제 법령에 등장하는 문장)과 자(子)문장(모(母)문장에서 파생시킨 변형 문장) 3,442쌍을 사용하여 다양한 인공 신경망 모델(Bi-LSTM, Self-Attention, D_Bi-LSTM)을 학습시켰으며 1 : 1 문장 유사도 비교 실험을 통해 성능 평가를 수행한 결과, 상당히 높은 정확도로 자(子)문장의 모(母)문장 대비 위법 위험 여부를 분류할 수 있었다. 또한, 모델 학습에 사용한 자(子)문장 데이터는 법령 문장을 일정 규칙에 따라 변형한 형태이기 때문에 모(母)·자(子)문장 데이터만으로 학습시킨 모델이 실제 군(軍) 보고서에 등장하는 문장을 효과적으로 분류한다고 판단하기에는 제한된다는 단점을 보완하기 위해, 실제 군(軍) 보고서에 등장하는 형태에 보다 더 가깝고 모(母)문장과 연관된 새로운 문장 120문장을 추가로 작성하여 모델의 성능을 평가해본 결과, 모(母)·자(子)문장 데이터만으로 학습시킨 모델로도 일정 수준 이상의 성능을 확인 할 수 있었다. 결과적으로 본 연구를 통해 방위사업 관련 군(軍) 보고서에서 등장하는 여러 특정 문장들이 각각 어느 관련 법령의 어느 조항과 가장 유사한지 살펴보고, 해당 조항과의 유사도 비교를 통해 위법 위험 여부를 판단하는 '실시간 군(軍) 문서와 관련 법령 간 자동화 비교 시스템'의 구축 가능성을 확인할 수 있었다.