The Utility of Chatbot for Learning in the Field of Radiology

방사선(학)과 분야에서 챗봇을 이용한 학습방법의 유용성

Abstract

The purpose of this study is to investigate the utilization of major learning tools among radiology science students and assess the accuracy of a conversational artificial intelligence service program, specifically a chatbot, in the context of the national radiologic technologist licensing exam. The survey revealed that 84.3% of radiology science students actively utilize electronic devices during their learning process. In addition, 104 out of 140 respondents said they use search engines as a top priority for efficient data collection while studying. When asked about their awareness of chatbots, 80% of participants responded affirmatively, and 22.9% reported having used chatbots for academic purposes at least once. From 2018 to 2022, exam questions from the first and second periods were presented to the chatbot for answers. The results showed that ChatGPT's accuracy in answering first period questions increased from 48.28% to 60%, while for second period questions, it increased from 50% to 62.22%. Bing's accuracy in answering first period questions improved from 55% to 64.55%, and for second period questions, it increased from 48% to 52.22%. The study confirmed the general trend of radiology science students utilizing electronic devices for learning and obtaining information through the internet. However, conversational artificial intelligence service programs in the field of radiation science face challenges related to accuracy and reliability, and providing perfect solutions remains difficult, highlighting the need for continuous development and improvement.

본 연구에서는 방사선(학)과 재학생의 주요 학습 도구의 활용성을 조사하고, 방사선사면허 국가시험의 대화형 인공지능 서비스 프로그램인 챗봇의 정답률을 분석하여 방사선학 분야에서 대화형 인공지능 서비스 프로그램의 유용성에 대한 기초 연구에 목적이 있다. 방사선(학)과 재학생의 학습 시 전자기기를 적극적으로 활용한다는 응답자가 84.3%로 나타났다. 또한 학습 시 자료수집의 효율성을 묻는 질문에 140명 중 검색엔진을 1순위로 활용한다고 답한 응답자가 104명이었다. 챗봇을 알고 있는지 붇는 질문에 80%가 알고 있다고 답하였으며, 학업 목적으로 챗봇을 사용한 경험은 22.9%가 1회 이상 사용 경험을 가지고 있었다. 2018년도부터 2022년도까지 시험문제 중 1교시와 2교시의 문제를 챗봇에게 정답을 물어보았다. 그 결과 Chat GPT의 1교시 정답률은 48.28%에서 60%였으며, 2교시 문제의 정답률은 50%에서 62.22%로 나타났다. Bing의 1교시 정답률은 55%에서 64.55%였으며, 2교시 문제의 정답률은 48%에서 52.22%로 나타났다. 본 연구를 통하여 방사선(학)과 재학생들이 전자기기를 통해 학습하고 인터넷을 통해 정보를 찾는 것이 일반적인 경향임을 확인할 수 있었다. 그러나 방사선학 분야에서 대화형 인공지능 서비스 프로그램은 정확성과 신뢰성에 대한 문제가 있으며, 완벽한 해답을 제공하는 것은 어렵기 때문에 계속해서 발전하고 개선되어야 한다.

Ⅰ. INTRODUCTION

인공지능은 의료, 금융, 교육, 사물 인터넷 서비스 분야 등 다양한 분야에서 활용되고 있다. 그중 기계 번역, 자동 요약, 감성 분석, 질의응답 시스템등에 인공지능 기술을 적용하여 텍스트 데이터의 처리와 이해를 돕는 대화형 인공지능 서비스 프로그램의 등장은 특히 교육 분야의 활용도가 증가되고 있다^[1-4].

인공지능은 대화형 인공지능 서비스 프로그램까지 발전시켰다. 대화형 인공지능 서비스 프로그램은 스마트폰과 음성인식 스피커 등에 탑재되어 있으며, 챗봇(Chatbot)에도 활용되고 있다. 챗봇은 채팅(Chating)과 로봇(Robot)과 결합한 형태로 인공지능과 상호작용하는 커뮤니케이션 소프트웨어이다^[5].

챗봇의 일반적인 알고리즘으로는 질문 유형, 답변 패턴, 대화 흐름 등을 다루며, 입력된 질문에 대해 해당 규칙을 참고하여 적절한 응답을 생성하는 규칙 기반 시스템이 있다. 다른 알고리즘으로는 통계 기반 시스템으로, 대용량의 텍스트 데이터를 학습하여 자연어 이해와 응답 생성을 수행한다. 또한 딥러닝과 자연어 처리 기술을 활용하여 대화 이해와 응답 생성을 수행하며, 대용량의 텍스트 데이터로 사전 훈련된 언어 모델을 기반으로 학습되어 문맥 파악과 의미 추론 등 정교한 대화 처리가 가능하다^[6].

챗봇은 개인의 학습 스타일과 요구에 맞게 맞춤형 학습을 제공하며, 학생들이 자신의 학습 수준에 맞게 개별적으로 지원받을 수 있다. 따라서 대화형 인공지능 서비스 프로그램을 이용한 학습방법은 기존의 학습 방법과 비교하여 다양한 장점을 가지고 있다^[3].

첫째, 챗봇은 학습자의 개인적인 특성을 파악하여 맞춤형 학습을 제공한다. 학습자의 학습 스타일, 수준, 관심사 등을 분석하여 적절한 문제와 학습자료를 제공함으로써 효과적인 학습을 돕는다. 이러한 맞춤형 학습은 학습 효율성을 높여주며, 학습자의 자신감과 학습동기를 증진시킨다.

둘째, 학습자와 대화를 통해 학습을 진행한다. 이는 학습자가 자신이 배운 것을 즉시 적용해 보며 이해도를 높일 수 있는 장점이 있다. 또한 학습자와의 대화를 통해 학습에 대한 질문이나 이해하지 못한 부분에 대해 바로 해결할 수 있다.

셋째, 학습자가 언제 어디서든 접속하여 학습을 진행할 수 있도록 편의성을 제공한다. 이는 학습자의 시간과 장소에 구애받지 않고 학습을 지속할 수 있게 함으로써 학습의 지속성을 높일 수 있다^[7].

넷째, 학습자의 학습 과정을 추적하여 학습자의 학습 상황을 파악할 수 있다. 이는 학습자의 학습 경과를 모니터링하며, 개별적인 피드백을 제공함으로써 학습자의 학습 동기와 성취감을 높일 수 있다.

딥러닝과 자연어 처리 기술을 활용하여 대화 이해와 응답을 생성한다. 이는 학습자들에게 효과적인 학습 지원을 제공하는데 활용되고 있으며, 실시간 대화를 통해 학습자들의 지식과 역량을 향상시키는 맞춤형 학습 경험을 제공함으로써 학습효과를 극대화할 수 있다^[8].

이와 같이 챗봇은 혁신적이고 유용한 기술이지만 복잡하거나 모호한 질문에 대해 답변하지 못할 수 있다. 나아가 대화형 인공지능이 정확하고 신뢰할 수 있는 정보를 제공하는지 확신하기가 어려울 수 있다. 잘못된 정보를 전달하거나 일부 정보를 누락할 수 있으며, 이는 사용자에게 혼란을 야기할 수 있다. 대화형 인공지능이 정확한 정보를 전달하기 위해 대량의 품질 좋은 데이터를 수집하고 처리하는 과정이 필요하다. 그러나 방사선 분야는 특수한 분야로 대화형 인공지능이 학습하기에 충분한 데이터를 제공되지 않을 수 있다.

따라서 본 연구에서는 방사선(학)과 재학생의 주요 학습 도구의 활용성을 조사하고, 방사선사 면허 국가시험의 대화형 인공지능 서비스 프로그램인 챗봇의 정답률을 분석하여 방사선학 분야에서 대화형 인공지능 서비스 프로그램의 유용성에 대한 기초 연구에 목적이 있다.

Ⅱ. METERIALS AND METHODS

1. 조사 대상 및 방법

2022년 5월 1일부터 5월 28일까지 3년제인 D 대학과 4년제인 G 대학의 방사선(학)과의 재학생을 대상으로 설문을 시행하였다. 설문조사는 국내 포털사이트인 N사의 폼을 통해 받았으며, 응답자는 140명이었다.

OpenAI의 ChatGPT(Ver. 3.5)와 Microsoft Bing을 사용하여, 2018년도부터 2022년도의 방사선사국가 시험에 출제된 1교시와 2교시 문제의 정답률을 분석하였다.

2. 조사 내용

방사선(학)과의 재학생을 대상으로 학습 시 전자기기 및 인터넷 활용 현황 등을 조사하였으며, 전자기기의 활용 빈도, 자료수집 방법, 인공지능 프로그램의 활용에 대한 문항으로 작성되었다. 설문 형태는 쉽게 응답할 수 있도록 5지 선다형 문항으로 작성되었고, 일부 문항에서는 보다 자세한 응답을 요구하기 위해 개방형 질문도 포함되었다.

Ⅲ. RESULTS

1. 일반적인 특성 분석

설문에 응한 사람은 Table 1과 같이 1학년 84명, 2학년 18명, 3학년 16명, 그리고 4학년은 22명이었다. 여학생은 78명, 남학생은 62명이었으며, 평균연령은 만 20.3세였다.

Table 1. Respondent characteristics

2. 학습 시 전자기기 활용도 분석

Fig. 1과 같이 학습 시 전자기기만을 활용하는 사람은 26명, 전자기기 사용 빈도가 높은 사람은 92명으로 전자기기를 적극적으로 활용한다는 응답자가 84.3%로 나타났다. 전공서적의 사용빈도가 높거나 전공서적만을 활용하는 사람들의 전자기기 사용빈도가 적은 이유로는 Fig. 2와 같이 집중을 방해하는 요소가 많다는 이유가 45.5%를 차지하였다. 앞으로 전자기기를 사용할 의향이 있는지 묻는 질문에 Fig. 3과 같이 매우 그렇다(77.1%, 108명)와 그렇다(18.6%, 26명)의 긍정적으로 응답한 사람이 95.7%로 나타났다.

Fig. 1. Use of electronic device.

Fig. 2. Reasons for not using electonic device (low frequency).

Fig. 3. Interest in using electronic devices.

Fig. 4와 같이 학습 시 자료수집의 효율성을 묻는 질문에 1순위는 검색엔진(104명), 2순위는 전공서적(68명), 3순위는 전자도서관(96명)으로 나타났다.

Fig. 4. Ways to improve efficiency of studying.​​​​​​​

대화형 인공지능 서비스 프로그램인 챗봇(ChatGPT, Bing 등)을 알고 있는지 묻는 질문에 Fig. 5와 같이 112명(80%)이 알고 있다고 답하였으며, Fig. 6과 같이 학업 목적으로 챗봇을 사용한 경험은 108명(77.1%)이 사용 경험이 없었고, 32명(22.9%)이 1회이상 사용 경험을 가지고 있었다. 사용 경험을 가지고 있는 응답자 중 챗봇의 만족도는 Fig. 7과 같이 매우 만족이 30.8%, 만족이 46.2%였으며, 불만족과 매우 불만족은 각각 15.4%와 7.7%로 응답하였다.

Fig. 5. Awareness of conversational AI Chatbots.

Fig. 6. Experiences of using AI Chatbots for studying.

Fig. 7. Satisfaction about AI Chatbots.

3. 챗봇의 국가시험 정답률

방사선사 국가시험 문제가 공개된 2018년도부터 2022년도까지 시험문제를 챗봇에게 정답을 물어보았다. 챗봇은 영상을 입력할 수 없어 3교시 문제는 제외하고 1교시와 2교시 문제만 정답을 물었다. 그 결과 Table 2와 같이 ChatGPT의 1교시 정답률은 48.28%에서 60%였으며, 2교시 문제의 정답률은 50%에서 62.22%로 나타났다. Bing의 1교시 정답률은 55%에서 64.55%였으며, 2교시 문제의 정답률은 48%에서 52.22%로 나타났다.

Table 2. Accuracy rate of the Chatbot's radiology national exam [Unit: %]​​​​​​​

Table 3과 같이 과목별 정답률을 분석한 결과 인체 해부생리학에서 ChatGPT와 Bing 각각 75.29%, 71.76 %로 높은 정답률을 보인 반면, 방사선기기학, 방사선생물학, 의료관계법규, 방사선영상학, 투시조영학 과목에서는 ChatGPT와 Bing 모두 50% 이하의 정답률로 나타났다.

Table 3. Accuracy rate of the Chatbot's radiology national exam by subject [Unit: %]​​​​​​​

Ⅳ. DISCUSSION

대화형 인공지능 서비스 프로그램은 학습자와 실시간으로 상호작용하며, 자연어 처리 및 기계학습 알고리즘을 통해 질문에 응답하고 피드백을 제공한다. 이를 통해 학습자들은 개별화된 학습 경험을 얻을 수 있으며, 학습 과정에 발생하는 의문이나 어려움을 즉각적으로 해결할 수 있다^[9].

방사선(학)과 재학생을 대상으로 하는 설문에서도 전자기기를 활용한 학습과 인터넷을 통한 전공관련 정보 탐색이 재학생들에게 흔한 학습 방법으로 나타났다. 이러한 흐름 가운데 대화형 인공지능 서비스 프로그램이 학습 과정에 적극적으로 활용될 수 있으나 대화형 인공지능 서비스 프로그램의 제한점을 인지해야 한다. 방사선사 국가시험의 정답률이 65%를 넘지 않았으며, 특히 방사선기기학, 방사선생물학, 방사선영상학, 투시조영학 등의 과목에서 50% 이하의 정답률을 보인 결과는 인공지능의 정확성과 신뢰성에 대한 문제를 시사한다. 대화형 인공지능은 학습자의 의도와 질문에 따라 제한된 지식 범위 내에서 답변을 제공하기 때문에 모든 질문에 대해 정확한 답변을 제공하는 것은 어려운 과제이다.

따라서 대화형 인공지능 서비스 프로그램의 성능 향상을 위해 더욱 정교한 자연어 처리 기술과 학습 알고리즘이 개발되어야 한다. 또한, 데이터의 품질과 다양성을 보장하고, 학습자의 학습과정을 정확히 이해하고 개인화된 피드백을 제공할 수 있는 모델 개발이 필요하다.

나아가, 대화형 인공지능 서비스 프로그램의 활용은 교육 기관과 교수자들과의 협업을 필요로 한다. 교수자들은 학습자의 특성과 요구를 파악하여 인공지능 서비스를 효과적으로 활용하고, 이를 통해 보다 유익하고 맞춤화된 학습 경험을 제공할 수 있어야 한다.

Ⅴ. CONCLUSION

본 연구를 통하여 방사선(학)과 재학생들이 전자기기를 통해 학습하고 인터넷을 통해 정보를 찾는 것이 일반적인 경향임을 확인할 수 있었다. 이에 대화형 인공지능 서비스 프로그램인 챗봇이 개인화된 학습 경험과 실시간 피드백을 제공함으로써 학습자들이 학습 과정에서 발생하는 의문이나 어려움을 즉각적으로 해결할 수 있도록 도움을 줄 수 있을 것으로 사료된다. 그러나 방사선학 분야에서 대화형 인공지능 서비스 프로그램은 정확성과 신뢰성에 대한 문제가 있으며, 완벽한 해답을 제공하는 것은 어렵기 때문에 지속적으로 연구, 보완하여 발전, 개선되어야 한다.