• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.526-530
• /
• 2022

자동 쓰기 평가 연구는 쓰기 답안지를 채점하는데 드는 시간과 비용을 절감할 수 있어, 교육 분야에서 큰 관심을 가지고 있다. 본 연구의 목적은 쓰기 답안지의 문서 구조를 효과적으로 학습하여 평가하고, 문장단위의 피드백을 제공하는데 있다. 그 방법으로는 문장 레벨에서 한국어 Sentence-BERT 모델을 활용하여 각 문장을 임베딩하고, LSTM 어텐션 모델을 활용하여 문서 레벨에서 임베딩 문장을 모델링한다. '한국어 쓰기 텍스트-점수 구간 데이터'를 활용하여 해당 모델의 성능 평가를 진행하였으며, 다양한 KoBERT 기반 모델과 비교 평가를 통해 제안하는 모델의 방법론이 효과적임을 입증하였다.

• 디지털융복합연구
• /
• 제19권9호
• /
• pp.1-8
• /
• 2021

이 연구의 목적은 영어쓰기 교과목에서 자동쓰기평가(AWE) 프로그램의 사용자 만족도가 영어쓰기 자기효능감을 매개로 학습자의 학습성취감에 미치는 영향을 알아보기 위한 것이다. AWE는 쓰기 결과물에 대해 인공지능 기술에 의해 자동으로 피드백을 제공하는 프로그램이다. 영어쓰기 교과목을 수강하는 대학생을 대상으로 각 주제별로 작문을 하고 AWE 프로그램을 사용하여 피드백을 받은 후 그것을 참고하여 최종 수정본을 제출하도록 하였다. 설문지를 통해 수집된 데이터(n=99)를 SPSS, Smart PLS-SEM으로 분석하였다. 연구결과, 첫째, AWE의 사용 편의성과 유용성은 재사용 의지에 긍정적 영향을 미치는 것으로 나타났다. 둘째, AWE 사용 만족도는 영어쓰기 자기효능감에 긍정적 영향을 미치는 것으로 나타났다. 셋째, 영어쓰기 자기효능감은 언어적, 정서적 측면에서 학업 성취감에 긍정적 영향을 미치는 것으로 나타났다. 4차 산업 및 인공지능 기술 발달에 따라 영어교육에 AWE와 같은 새로운 학습재료 도입을 권장한다.

• 한국콘텐츠학회논문지
• /
• 제20권5호
• /
• pp.37-45
• /
• 2020

본 연구에서는 영어쓰기에서 활용되고 있는 온라인 자동쓰기평가 프로그램을 활용하는데 있어서 학생들의 인식 및 태도를 살펴보는데 목적이 있다. 이를 위해 총 131명이 참여하였고 참여자는 대학교 1학년 초급수준의 학습자들로 구성되어있다. 연구도구로는 사전·사후 설문지, 사전·사후 테스트 그리고 학습저널의 자료가 수집되고 분석되었다. 연구는 2019년 2학기, 총 15주에 걸쳐 실시되었으며 그 결과는 다음과 같다. 첫째, 설문에 참여한 학생들은 스스로 영문법에 어려움이 있고 영작문에 있어서 피드백이 도움이 된다고 생각하고 있었다. 둘째, Grammarly 활용에 있어서 학생들은 전반적으로 긍정적인 태도를 보이고 있었다. Grammarly는 영어학습과 과제수행에 도움이 되었고 활용도 면에서도 높게 나타났다. 마지막으로 사전·사후 문법테스트에서 Grammarly의 효과성은 유의미한 결과를 보였다. 본 연구결과를 토대로 한 제안점은 다음과 같다. 첫째, 학생들이 프로그램을 적극적으로 활용할 수 있도록 익숙해지는 시간을 갖도록 해야 한다. 둘째, 교사는 학생들에게 AWE(Automated Writing Evaluation)의 피드백이 항상 정확하지만은 않다는 것을 이해하도록 해야 한다. 마지막으로 교사의 피드백이 반드시 함께 제공되어야 한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권1호
• /
• pp.27-36
• /
• 2019

본 연구는 검색 기반의 질문 자동 생성 시스템에서 사용자가 이미 답변한 내용을 재질문하지 않도록 사용자의 응답과 유사도가 높은 응답을 질문-데이터베이스에서 찾는 방법을 제안한다. 유사도가 높게 검출된 응답의 질문은 이미 사용자가 아는 내용일 확률이 높기 때문에 질문 후보군에서 제거한다. 유사 응답 검출에는 두 응답간의 동일 단어, 바꿔쓰기 표현, 문장 내용을 모두 사용하였다. 바꿔쓰기 표현은 통계기반의 기계번역에서 사용하는 구절 테이블을 사용하여 구축하였다. 문장 내용은 두 문장을 주의-기반 컨볼루션 신경망으로 압축하여 유사도를 계산하였다. 평가를 위해 구축한 100개의 평가 응답에 질문-응답 데이터베이스로부터 가장 유사한 응답을 추출해서 얻은 결과는 MRR값 71%의 성능을 보였다.

• 문화기술의 융합
• /
• 제8권2호
• /
• pp.315-319
• /
• 2022

본 연구는 선형 혼합 모형을 활용하여 쓰기 능력이 장기적으로 어떻게 발전되어 가는지를 통사적 복잡성(syntactic complexity) 측면에서 4명의 사례 연구자들이 작성한 에세이를 활용하여 분석하였다. 사례 연구자들은 자발적으로 Criterion 이라는 자동 쓰기 평가 프로그램의 피드백을 받아 초안과 수정본을 교실 밖에서 매달 한 개 씩 일 년 동안 작성했다. 총 48개 초안 에세이가 본 연구의 분석 대상이고, 통사적 복잡성은 Syntactic Complexity Analyzer의 14개 지표 중에서 추출하여 분석하였다. 선형 혼합 모형 분석 결과를 살펴보면 다음과 같다. 시간과 T-unit의 평균길이 간에는 통계적으로 유의미한 선형 관계가 있었으며, 이는 연구 참여자들이 시간이 지날수록 길이가 긴 T-uni을 포함한 에세이를 작성했음을 보여준다. 또한 시간과 의존절과 독립절 간의 비율 간에도 통계적으로 유의미한 선형 관계가 있었는데, 이는 연구 참여자들이 일 년 동안 높은 비율의 의존절이 포함된 에세이를 작성했음을 시사한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.541-544
• /
• 2023

LLM(Largescale Language Model)의 성능 향상을 위한 비용 효율적인 방법으로 ChatGPT, GPT-4와 같은 초거대 모델의 output에 대해 SLM(Small Language Model)을 finetune하는 방법이 주목받고 있다. 그러나, 이러한 접근법은 주로 범용적인 지시사항 모델을 위한 학습 방법으로 사용되며, 제한된 특정 도메인에서는 추가적인 성능 개선의 여지가 있다. 본 연구는 특정 도메인(Writing Assistant)에서의 성능 향상을 위한 새로운 방법인 Self-Guided Approach를 제안한다. Self-Guided Approach는 (1) LLM을 활용해 시드 데이터에 대해 도메인 특화된 metric(유용성, 관련성, 정확성, 세부사항의 수준별) 점수를 매기고, (2) 점수가 매겨진 데이터와 점수가 매겨지지 않은 데이터를 모두 활용하여 supervised 방식으로 SLM을 미세 조정한다. Vicuna에서 제안된 평가 방법인, GPT-4를 활용한 자동평가 프레임워크를 사용하여 Self-Guided Approach로 학습된 SLM의 성능을 평가하였다. 평가 결과 Self-Guided Approach가 Self-instruct, alpaca와 같이, 생성된 instruction 데이터에 튜닝하는 기존의 훈련 방법에 비해 성능이 향상됨을 확인했다. 다양한 스케일의 한국어 오픈 소스 LLM(Polyglot1.3B, PolyGlot3.8B, PolyGlot5.8B)에 대해서 Self-Guided Approach를 활용한 성능 개선을 확인했다. 평가는 GPT-4를 활용한 자동 평가를 진행했으며, Korean Novel Generation 도메인의 경우, 테스트 셋에서 4.547점에서 6.286점의 성능 향상이 발생했으며, Korean scenario Genration 도메인의 경우, 테스트 셋에서 4.038점에서 5.795 점의 성능 향상이 발생했으며, 다른 유사 도메인들에서도 비슷한 점수 향상을 확인했다. Self-Guided Approach의 활용을 통해 특정 도메인(Writing Assistant)에서의 SLM의 성능 개선 가능성을 확인했으며 이는 LLM에 비용부담을 크게 줄이면서도 제한된 도메인에서 성능을 유지하며, LLM을 활용한 응용 서비스에 있어 실질적인 도움을 제공할 수 있을 것으로 기대된다.

• 한국정보관리학회:학술대회논문집
• /
• 한국정보관리학회 1995년도 제2회 학술대회 논문집
• /
• pp.11-14
• /
• 1995

기존의 한글 자동 색인 방법들은 어절 단위 색인법과 형태소 단위 색인법으로 분류될 수 있다. 전자는 문서내의 어절에서 색인어의 부분으로서 가치가 없는 음절들을 제거함으로써 색인어를 추출하는 방법으로, 문서에 복합 명사들이 많이 포함되어 있을 경우 검색효과가 저하되는 문제점을 지니고 있다. 후자는 형태소 해석이나 구문 해석을 이용하여 중요한 의미를 갖는 명사나 명사구를 추출하는 방법으로, 단일 명사를 추출함으로써 복합 명사의 띄어 쓰기 문제를 극복할 수 있다. 그러나, 색인 과정에서 요구되는 많은 언어 정보를 개발하고 유지 보수해야 하는 부담을 지니고 있다. 본 논문에서는 기존의 색인 방법들의 문제점들을 완화할 수 있는 새로운 색인 방법을 제안한다. 그리고 실험을 통하여 제안하는 방법의 성능을 평가한다.

• 환경영향평가
• /
• 제22권2호
• /
• pp.157-170
• /
• 2013

수질오염총량관리제 시행 하천에 대해서는 객관적이고 과학적 방법으로 유역내 각 지역의 오염부하량을 할당할 필요가 있다. 본 연구에서는 대도시에서 배출되는 오염부하의 영향을 크게 받는 영산강수계의 중상류부를 대상으로 오염부하량 할당 방법에 대해 검토하였다. 오염부하량 할당을 위한 수질모델링은, 수질관리에 흔히 적용되어온 QUAL2E의 최근 판인, QUAL2Kw를 이용해서 수행하였다. 모델 적용 대상 지역의 각 reach의 수질매개변수는 QUAL2Kw의 자동보정 기능을 이용해서 추정하였다. 오염부하량 할당의 최적화는 유전알고리즘(genetic algorithm)을 이용하였고, 최소부하량 삭감법(least waste load removal allocation), 일정 부하량 이상 최소부하량 삭감법(least waste load removal over a certain value), 동일삭감률 할당법(equal removal rate)의 세가지 방법을 적용하고 비교 검토하였다. 동일삭감률 할당법은 다른 방법보다 유역 전체 부하량 삭감량이 훨씬 크기 때문에 효과적이지 않았고, 이 방법을 쓰기 위해서는 부하량 삭감대상인 각 소유역과 하수처리장을 그 규모와 특성에 따라 세분화할 필요가 있다. 동일삭감률 할당법의 적용시 세가지 범주로 나누어서 삭감률을 적용하였다. 오염부하량 삭감의 효율성을 감안할 때 최소 부하량 삭감법보다 일정 부하량 이상 최소부하량 삭감법이 더 적절한 것으로 검토되었다.