• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.526-530
• /
• 2022

자동 쓰기 평가 연구는 쓰기 답안지를 채점하는데 드는 시간과 비용을 절감할 수 있어, 교육 분야에서 큰 관심을 가지고 있다. 본 연구의 목적은 쓰기 답안지의 문서 구조를 효과적으로 학습하여 평가하고, 문장단위의 피드백을 제공하는데 있다. 그 방법으로는 문장 레벨에서 한국어 Sentence-BERT 모델을 활용하여 각 문장을 임베딩하고, LSTM 어텐션 모델을 활용하여 문서 레벨에서 임베딩 문장을 모델링한다. '한국어 쓰기 텍스트-점수 구간 데이터'를 활용하여 해당 모델의 성능 평가를 진행하였으며, 다양한 KoBERT 기반 모델과 비교 평가를 통해 제안하는 모델의 방법론이 효과적임을 입증하였다.

• Journal of Digital Convergence
• /
• v.19 no.9
• /
• pp.1-8
• /
• 2021

The purpose of this study is to identify the influence of users' satisfaction with the Automatic Writing Evaluation(AWE) on learners' sense of learning achievement through self efficacy in English writing class. AWE is a tool that automatically provides feedback on writing outputs by AI technology. College students were asked to write essays for each topic and use AWE to get feedback on their drafts, and finally revise them referring to the feedback. A questionnaire survey was conducted for the data collection. The data was analyzed using SPSS, and smart PLS-SEM along with bootstrapping techniques, The results of the study reveal the followings: 1) the convenience and usefulness of AWE had a positive effect on the willingness to reuse it; 2) the satisfaction with AWE had a positive effect on self-efficacy; 3) self-efficacy had a positive effect on learning achievement in terms of emotional and linguistic aspects. With the development of the 4th industry and A.I. technology, it is recommended to introduce new materials or programs such as AWE in English education.

• The Journal of the Korea Contents Association
• /
• v.20 no.5
• /
• pp.37-45
• /
• 2020

The purpose of the study is to explore the perceptions or attitudes about utilizing the AWE(Automated Writing Evaluation), Grammarly in English writing. A total of 131 students who are in first grade and in beginner level participate in the study. As a research tool of the study, pre and post-surveys, pre and post-tests, and learning journals were collected and analyzed. The study was conducted for 15 weeks in the 2^nd semester of 2019. According to the results, the findings are as follows. First, the students in the study had difficulty with English grammar and found it useful to get English feedback in English writing. Next, the students showed positive attitudes toward the use of Grammarly. It was helpful for English learning and assignment performance and showed high usefulness. Finally, Grammarly's effect showed a statistically significant result between the pre and post-tests. Based on the results some suggestions are as follows. First, let the students take some time with the program to use to operate. Second, teachers have to make the students understand that AWE's feedback is not always correct. Lastly, it should be provided with teachers' feedback.

• KIPS Transactions on Software and Data Engineering
• /
• v.8 no.1
• /
• pp.27-36
• /
• 2019

In this paper, we propose a method to find the most similar answer to the user's response from the question-answer database in order to avoid generating a redundant question in retrieval-based automatic question generation system. As a question of the most similar answer to user's response may already be known to the user, the question should be removed from a set of question candidates. A similarity detector calculates a similarity between two answers by utilizing the same words, paraphrases, and sentential meanings. Paraphrases can be acquired by building a phrase table used in a statistical machine translation. A sentential meaning's similarity of two answers is calculated by an attention-based convolutional neural network. We evaluate the accuracy of the similarity detector on an evaluation set with 100 answers, and can get the 71% Mean Reciprocal Rank (MRR) score.

• The Journal of the Convergence on Culture Technology
• /
• v.8 no.2
• /
• pp.315-319
• /
• 2022

This study investigates longitudinal writing development in terms of syntactic complexity using linear mixed effects (LME) model. This study employs essays written by four case study participants. Participants voluntarily wrote essays outside of the classroom and submitted the first and second drafts, after reflecting on the automated writing evaluation feedback (i.e., Criterion) every month over one year. A total of 48 first drafts were analyzed and syntactic complexity features were selected from Syntactic Complexity Analyzer. Results of LME showed that there was a significant positive linear relationship between time and mean length of T-unit and also between time and the ratio of dependent clauses to independent clauses, indicating that case study participants wrote longer T-units and also a higher proportion of dependent clauses over one year.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.541-544
• /
• 2023

LLM(Largescale Language Model)의 성능 향상을 위한 비용 효율적인 방법으로 ChatGPT, GPT-4와 같은 초거대 모델의 output에 대해 SLM(Small Language Model)을 finetune하는 방법이 주목받고 있다. 그러나, 이러한 접근법은 주로 범용적인 지시사항 모델을 위한 학습 방법으로 사용되며, 제한된 특정 도메인에서는 추가적인 성능 개선의 여지가 있다. 본 연구는 특정 도메인(Writing Assistant)에서의 성능 향상을 위한 새로운 방법인 Self-Guided Approach를 제안한다. Self-Guided Approach는 (1) LLM을 활용해 시드 데이터에 대해 도메인 특화된 metric(유용성, 관련성, 정확성, 세부사항의 수준별) 점수를 매기고, (2) 점수가 매겨진 데이터와 점수가 매겨지지 않은 데이터를 모두 활용하여 supervised 방식으로 SLM을 미세 조정한다. Vicuna에서 제안된 평가 방법인, GPT-4를 활용한 자동평가 프레임워크를 사용하여 Self-Guided Approach로 학습된 SLM의 성능을 평가하였다. 평가 결과 Self-Guided Approach가 Self-instruct, alpaca와 같이, 생성된 instruction 데이터에 튜닝하는 기존의 훈련 방법에 비해 성능이 향상됨을 확인했다. 다양한 스케일의 한국어 오픈 소스 LLM(Polyglot1.3B, PolyGlot3.8B, PolyGlot5.8B)에 대해서 Self-Guided Approach를 활용한 성능 개선을 확인했다. 평가는 GPT-4를 활용한 자동 평가를 진행했으며, Korean Novel Generation 도메인의 경우, 테스트 셋에서 4.547점에서 6.286점의 성능 향상이 발생했으며, Korean scenario Genration 도메인의 경우, 테스트 셋에서 4.038점에서 5.795 점의 성능 향상이 발생했으며, 다른 유사 도메인들에서도 비슷한 점수 향상을 확인했다. Self-Guided Approach의 활용을 통해 특정 도메인(Writing Assistant)에서의 SLM의 성능 개선 가능성을 확인했으며 이는 LLM에 비용부담을 크게 줄이면서도 제한된 도메인에서 성능을 유지하며, LLM을 활용한 응용 서비스에 있어 실질적인 도움을 제공할 수 있을 것으로 기대된다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 1995.08a
• /
• pp.11-14
• /
• 1995

기존의 한글 자동 색인 방법들은 어절 단위 색인법과 형태소 단위 색인법으로 분류될 수 있다. 전자는 문서내의 어절에서 색인어의 부분으로서 가치가 없는 음절들을 제거함으로써 색인어를 추출하는 방법으로, 문서에 복합 명사들이 많이 포함되어 있을 경우 검색효과가 저하되는 문제점을 지니고 있다. 후자는 형태소 해석이나 구문 해석을 이용하여 중요한 의미를 갖는 명사나 명사구를 추출하는 방법으로, 단일 명사를 추출함으로써 복합 명사의 띄어 쓰기 문제를 극복할 수 있다. 그러나, 색인 과정에서 요구되는 많은 언어 정보를 개발하고 유지 보수해야 하는 부담을 지니고 있다. 본 논문에서는 기존의 색인 방법들의 문제점들을 완화할 수 있는 새로운 색인 방법을 제안한다. 그리고 실험을 통하여 제안하는 방법의 성능을 평가한다.

• Journal of Environmental Impact Assessment
• /
• v.22 no.2
• /
• pp.157-170
• /
• 2013

수질오염총량관리제 시행 하천에 대해서는 객관적이고 과학적 방법으로 유역내 각 지역의 오염부하량을 할당할 필요가 있다. 본 연구에서는 대도시에서 배출되는 오염부하의 영향을 크게 받는 영산강수계의 중상류부를 대상으로 오염부하량 할당 방법에 대해 검토하였다. 오염부하량 할당을 위한 수질모델링은, 수질관리에 흔히 적용되어온 QUAL2E의 최근 판인, QUAL2Kw를 이용해서 수행하였다. 모델 적용 대상 지역의 각 reach의 수질매개변수는 QUAL2Kw의 자동보정 기능을 이용해서 추정하였다. 오염부하량 할당의 최적화는 유전알고리즘(genetic algorithm)을 이용하였고, 최소부하량 삭감법(least waste load removal allocation), 일정 부하량 이상 최소부하량 삭감법(least waste load removal over a certain value), 동일삭감률 할당법(equal removal rate)의 세가지 방법을 적용하고 비교 검토하였다. 동일삭감률 할당법은 다른 방법보다 유역 전체 부하량 삭감량이 훨씬 크기 때문에 효과적이지 않았고, 이 방법을 쓰기 위해서는 부하량 삭감대상인 각 소유역과 하수처리장을 그 규모와 특성에 따라 세분화할 필요가 있다. 동일삭감률 할당법의 적용시 세가지 범주로 나누어서 삭감률을 적용하였다. 오염부하량 삭감의 효율성을 감안할 때 최소 부하량 삭감법보다 일정 부하량 이상 최소부하량 삭감법이 더 적절한 것으로 검토되었다.