초록
본 연구는 폴리아의 문제해결 단계에 따라 풀이를 제공하는 GPTs 기반 맞춤형 챗봇을 제작하여 수학적 성능을 검증하였다. 우선 맞춤형 챗봇 베타 버전을 제작하여 수학적 성능을 검증한 후 대표적인 오류를 수정하여 최종 맞춤형 챗봇을 완성하였다. 완성된 맞춤형 챗봇은 초등 수학 6학년 교과서에 제시된 이미지 형태의 65개 문제 중 평균 약 57.8개를 옳게 해결하여 약 89.0%의 정답률을 보였으며, 베타 버전에 비해 약 4%p 높은 정답률을 나타냈다. 또한 그림이 문제를 해결하는 데 핵심적인 역할을 하지 않는 50개 문제의 경우 평균 45.5개를 옳게 해결하여 약 91.0%의 정답률을 보였다. 완성된 맞춤형 챗봇의 답변 중 대표적인 오류는 문제 인식 오류이며, 문제에 인식하기 어려운 그림이 사용되었거나 문제 구성이 복잡한 경우에 해당 오류가 나타났다. 다음으로 개념 혼동 오류, 문제 이해 오류 등이 나타났다. 본 연구에서 개발한 문제해결 맞춤형 챗봇은 범용적인 챗봇인 ChatGPT보다 우수한 수학적 성능을 보였다. 또한 학년 수준에 적절하도록 풀이 과정의 조정이 가능하여 학생 개별화 맞춤형 지도에 활용할 수 있으며, 누구나 제작이 가능하여 교사 개인별 수업 보조 등 수학교육에서의 다양한 활용 가능성을 엿볼 수 있다.
This study presents the development and performance evaluation of a custom GPT-based chatbot tailored to provide solutions following Polya's problem-solving stages. A beta version of the chatbot was initially deployed to assess its mathematical capabilities, followed by iterative error identification and correction, leading to the final version. The completed chatbot demonstrated an accuracy rate of approximately 89.0%, correctly solving an average of 57.8 out of 65 image-based problems from a 6th-grade elementary mathematics textbook, reflecting a 4 percentage point improvement over the beta version. For a subset of 50 problems, where images were not critical for problem resolution, the chatbot achieved an accuracy rate of approximately 91.0%, solving an average of 45.5 problems correctly. Predominant errors included problem recognition issues, particularly with complex or poorly recognizable images, along with concept confusion and comprehension errors. The custom chatbot exhibited superior mathematical performance compared to the general-purpose ChatGPT. Additionally, its solution process can be adapted to various grade levels, facilitating personalized student instruction. The ease of chatbot creation and customization underscores its potential for diverse applications in mathematics education, such as individualized teacher support and personalized student guidance.