Abstract
The rapid advancement of generative AI has ushered in an era where anyone can create and freely utilize personalized chatbots without the need for programming expertise. This study aimed to develop a customized chatbot based on OpenAI's GPTs for the purpose of pre-service teacher education and to analyze its educational performance in mathematics as assessed by educators guiding pre-service teachers. Responses to identical questions from a general-purpose chatbot (ChatGPT), a customized GPTs-based chatbot, and an elementary mathematics education expert were compared. The expert's responses received an average score of 4.52, while the customized GPTs-based chatbot received an average score of 3.73, indicating that the latter's performance did not reach the expert level. However, the customized GPTs-based chatbot's score, which was close to "adequate" on a 5-point scale, suggests its potential educational utility. On the other hand, the general-purpose chatbot, ChatGPT, received a lower average score of 2.86, with feedback indicating that its responses were not systematic and remained at a general level, making it less suitable for use in mathematics education. Despite the proven educational effectiveness of conventional customized chatbots, the time and cost associated with their development have been significant barriers. However, with the advent of GPTs services, anyone can now easily create chatbots tailored to both educators and learners, with responses that achieve a certain level of mathematics educational validity, thereby offering effective utilization across various aspects of mathematics education.
생성형 인공지능의 급속한 발전으로 이제 프로그래머의 도움 없이 누구나 개인 맞춤형 챗봇을 제작하고 이를 무료로 활용할 수 있는 시대가 열렸다. 본 연구는 예비 교사 교육을 목적으로, OpenAI의 GPTs 기반 맞춤형 챗봇을 개발하였다. 개발된 맞춤형 챗봇은 대규모 언어 모델(Large Language Model, LLM)을 토대로한 생성형 AI를 이용했기 때문에 그 응답 또한 확률적이므로, 맞춤형 챗봇의 개발 절차뿐만 아니라 그 응답이 적절한지에 대한 점검이 필요하다. 이를 위해 예비 교사를 지도하는 교수자들이 맞춤형 챗봇의 응답에 대한 타당성을 5점 척도로 분석하여 수학교육적 성능을 살펴보았다. 동일한 질문에 대한 범용적인 챗봇인 ChatGPT, 맞춤형 챗봇인 GPT, 그리고 초등수학교육 전문가의 응답을 교수자들이 분석한 결과, 초등수학교육 전문가의 응답은 평균 4.52점을, 맞춤형 챗봇인 GPT는 평균 3.73점을 받아 맞춤형 챗봇인 GPT의 응답은 초등수학교육 전문가의 수준에는 미치지 못하는 것으로 나타났다. 하지만 5점 척도에서 보통 이상으로 '적절하다'에 가까운 점수를 받아 맞춤형 챗봇인 GPT의 교육적 활용 가능성을 확인할 수 있었다. 한편, 범용적인 챗봇인 ChatGPT의 응답은 평균 2.86점으로 낮은 평가를 받았으며, 예비 교사를 지도하는 교수자들은 답변 내용이 체계적이지 않고 일반적인 수준에 머물러 있다고 평가하였다. 이에 범용적인 챗봇인 ChatGPT는 수학교육에 한정하여 사용하기에는 어려움이 있어 보인다. 기존의 맞춤형 챗봇이 교육적 효과를 입증했음에도 불구하고, 그 제작 과정에서 요구되는 시간과 비용이 큰 장애물로 작용해왔다. 그러나 이제 GPTs 서비스를 통해 누구나 손쉽게 교수자 및 학습자에게 적절한 맞춤형 챗봇을 제작할 수 있으며, 그 응답이 일정 수준 이상의 수학교육적 타당성을 보여 수학교육의 다양한 측면에서 효과적으로 활용할 수 있을 것이다.
