Assessment as a learning tool and utilization of artificial intelligence: WA3I project case

학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례

This study developed WA3I, which is automated computer scoring system in open-ended assessment using artificial intelligent and discuss how to utilize WA3I as a learning-support tool. To do this, previous research dealing with automated computer scoring system has been reviewed and explained the development process of WA3I in Korea. We developed thirty on open-ended questions and collected the students' responses. Among the 31 questions, nineteen questions showing the high agreement between computer and human scoring were selected and scoring model was developed. In additions to selected nineteen questions, eleven questions were added as the prototype of web-based WA3I ver.1. We discuss how it can be improved in order to facilitate the effective teaching and learning. This paper is expected to give an implication to the science teachers' assessment plan and practice.

본 연구는 인공지능을 활용한 서술형 평가 문항 자동채점 프로그램 WA3I을 개발하였으며, 이 프로그램이 학습 지원 도구로서 활용되기 위한 방안에 대하여 논하였다. 먼저 컴퓨터를 활용한 서술형 평가 자동채점에 대한 기존 연구들을 정리하고, 본 연구에서 개발한 서술형 평가 자동채점 프로그램 WA3I의 개발 과정을 소개하였다. 본 연구에서는 31개의 서술형 평가 문항을 개발하고 이에 대한 학생의 응답을 수집하였으며, 이 중 컴퓨터와 전문가 채점간의 일치도가 높은 19개의 문항에 대한 자동채점 모델을 개발하였다. 이 자동채점 모델로 채점 가능한 유사 문항 11개를 더 개발하여 총 30개의 문항을 웹상에서 WA3I ver.1 으로 구현하였다. 효과적인 교수·학습을 위해 본 연구에서 개발된 서술형 자동채점 프로그램 WA3I ver.1의 개선 과제 및 추후 연구 방향에 대해 논하였다. 이러한 내용은 현장과학교사들의 평가 계획 및 실행에 영향을 줄 수 있을 것으로 기대된다.