Chatbot and Slide Widget-based Classroom Response System to Promote Classroom Participation

수업 참여 활성화를 위한 챗봇과 슬라이드 위젯 기반 교실응답시스템

Abstract

Classroom response systems (CRS) have been proven to have positive educational effects on student engagement and participation by allowing immediate feedback to both students and instructors. We explore the use of a chatbot and slide widget-based CRS to overcome some of the challenges of existing mobile-based CRSs while retaining their advantages. Our system uses widely available instant messaging services and operates web-based slide widgets that can be seamlessly integrated into instructors' slides to visualize student feedback in various formats. The student survey results indicate that our system is as effective as conventional CRSs in promoting student engagement and participation.

1. 서론

학습자의 학습과정에 대한 참여는 학업 성취에 큰 영향력을 가진 요소이다.Furrer는 학생들이 학습과정에 활발하게 참여할수록 교과목에 대한 호감도가 높아지고 학습 성과를 올리는데 효과적이라고 하였다[1]. 학습과정에 참여할 수 있는 기회와 수단을 늘리는 것은 수업의 집중도와 교육효과를 높이는데 있어 실재적인 효과를 기대할 수 있는 접근방법이다[2-3]. 그러나 수업 공간에서 참여의 익명성이 보장되지 않는다는 요소는 학생들이 적극적으로 학습에 참여하는데 있어 걸림돌이 된다[4-5]. 수업에서 학생들은 질문이나 의견을 발표하는데 있어 소극적인 태도를 보이는 경우가 일반적인데 사람들 앞에 나서는 것이나 주목받는 것을 기피하고 혹 모르는 것이 드러나는 상황이나 실수할 것에 대해 염려하는 경우가 많다.

클리커(Clicker)는 이와 같은 문제를 해결하기 위한 교실응답시스템(Classroom response system, CRS)이다[6]. 학생들은 수업시간에 교수자의 질문에 대해 소형 리모컨 장치를 통해 익명으로 응답할 수 있고 라디오 주파수(RadioFrequency)를 통해 리모컨의 응답 신호를 받아들여 모아진 결과가 그래프로 가공되어 출력되는 방식이다. 클리커의 사용을 통해 학생들에게 긍정적인 학습효과를 제공한다는 사실은 여러 연구를 통하여 확인되었다[7-9]. 클리커의 발전된 형태로는 신호 수신기를 소형화하고 통계 처리용 소프트웨어와 연계하여 통계 결과를 출력하는 e-클리커나 기존 클리커의 리모콘 기능을 스마트폰 앱으로 대체하고 웹 서버를 통해 응답을 수신하는 모바일 기반 클리커 방식이 있는데 특히 현재 모바일 앱 형태로 개발된 대표적인 앱인 소크라티브(Socrative) 등은 교육현장에서 그 효과를 입증하고 있다[10-11]. 그러나 학습자가 수업에 참여하기 위해 여전히 앱을 설치하는 등의 절차가 추가적으로 요구된다는 점, 전용 앱에서 제공되는 정형화된 질문과 답변으로만 통신할 수 있다는 점, 그리고 학습자의 응답을 확인하는데 있어 수업 슬라이드와는 구분된 동떨어진 화면으로 전환하는 과정이 필수적으로 요구된다는 면에서 개선점들이 존재하는 방식이다.

본 연구에서는 챗봇과 슬라이드 위젯을 기반으로 하는 CRS를 제안한다. 제안 시스템은 인스턴트 메세징 서비스 기반으로 학생들의 메시지를 받아들이는챗봇 인터페이스와 실시간으로 수업 슬라이드의 내용에 통합되어 인스턴스 메세징(instantmessaging), 차트(chart), 워드 클라우드(wordclouds), 컴페티션(competition)과 같은 다양한 형태로 응답을 표현할 수 있는 슬라이드 위젯으로 구성되어 있다. 챗봇 인터페이스는 기존에 널리 사용되고 있는 인스턴트 메세징 서비스인 텔레그램(Telegram)과 슬랙(slack)을 기반으로하며 학생들은 챗봇에게 텍스트 메시지를 보내는 방식으로 간단하게 응답을 보낼 수 있어참여가 용이한 장점이 있다. 또한 기존 모바일 기반 CRS 전용 앱의 고정된 질문 및 답변 인터페이스가 아닌 텍스트 인터페이스를 사용하기에 다양한 방식의 질문과 응답을 추가하는데 있어 확장성이 높은 방식이다. 또한 슬라이드 위젯은 교수자의 슬라이드에 통합되어 추가적인 전용 프로그램이나 애드인의 설치 절차 없이 라이브 피드백을 공유할 수 있는 장점을 제공한다.

제안 시스템을 대학 교양 프로그래밍 수업에 활용하여 두 학기동안 진행한 후 실시한 온라인 설문조사에서는 대다수의 학습자들에게서 교과목의 내용에 대한 관심도와 만족도가 상승하고 학습과정에 참여하는 빈도가 늘어나는 등 제안 시스템이 기존 모바일 기반 CRS가 가진 긍정적인 교육효과를 유지하면서 실제 교육현장에서의 활용성을 개선하는데 효과적인 방식임을 확인할 수 있었다.

2. 교실응답시스템

교실응답시스템(Classroom response systems, CRS)은 학생들의 응답을 모아 교수자에게 실시간으로 전송해주는 송수신 시스템을 말한다. 교실응답시스템은 개인응답시스템(Personal Response Sys-tems), 청중응답시스템(Audience Response Sys-tems), 전자응답시스템(Electronic Response Sys-tems) 등으로도 알려져 있다. 기본적인 활용 예는 교수자가 수업을 진행하는 도중에 선다형 문제를 제시하면, 각 학생들이 송신기의 버튼을 눌러 문제에 대해 답변하고 무선 통신을 통해 전송된 응답은 교수자의 컴퓨터에 설치된 수신기에서 취합되어 문항별 통계를 확인할 수 있도록 한다. 학생들의 집중과 능동적 참여를 필요로 하는 수업 내용에 간헐적, 선별적으로 사용하는 것이 효과적인 것으로 알려져 있다[12].

초기 CRS의 방식은 수업에 참여하는 모든 학생수 만큼 충분한 송신기를 구입해야하는 고비용의 문제와 기기의 관리에 따르는 어려움, 이용훈련의 복잡성 등에 대한 문제점들이 제기되었다. 이를 위해 제안된 모바일 기반의 CRS는 학생들에게 배포되는 송신기 대신 각자의 모바일기기에서 설치된 전용 앱을 사용하여 응답을 전송하는 방식으로 비용적인 면에서 큰 절감을 가능하게 하였다. 모바일 기반 CRS가 강의에서 학생들의 인식, 참여와 학습에 미치는 영향을 조사한 연구들에서는 모바일 기반 CRS가 학생들의 수업참여 빈도, 수업 중 활동을 증가시키며 수업에 집중하도록 하는데 있어 전통적인 CRS 방식과 유사하게 긍정적인 효과가 나타난다는 결과를 보였다[13-15].

현재 교육현장에서 활용되는 대표적인 모바일 기반 CRS에는 Socrative, Plickers, Poll Every where 등이 있다.Socrative는 대표적인 CRS로 학생용 앱과 교수자용 앱으로 구성되어 있으며 선다형, 참/거짓, 단답형의 세 가지 질문 형태를 사용하여 학생들의 응답을 취합하는 방식을 제공한다. Space Race라는 게임 기능은 학생들을 팀별로 나누고 퀴즈의 정답을 기록한 팀의 로켓이 더 빨리 전진하는 방식으로 학생들의 참여를 유도하는 기능이다[16]. Plickers는 학생들이 들고 있는 카드를 인식하여 응답을 스캔하는 방식으로 사용하는 컴퓨터비전 기반의 CRS 앱이다. 학생들은 인식 가능한 태그가 인쇄된 카드를 가지고 있다가 교수자의 질문이 있을 때 자신이 의도하는 답변을 나타내는 방향으로 카드를 들고 있으면 교수자가 Plickers 앱으로 스캔하여 응답을 인식하는 방식이다. 학생들이 스마트폰을 사용함으로 인한 집중도 저하를 방지하는 면에서 효과적이나 조명 상황에 영향을 받을 수 있으며 강의실의 크기나 학생들이 카드를 들고 있는 상태에 의해 정확도가 떨어질 수 있는 제한점이 있다[17].PollEverywhere는 온라인 설문조사를 위한 앱으로 교실에서 CRS로써 활용하는데 필요한 기능 역시 모두 가지고 있다. 추가적으로 파워포인트 슬라이드에 라이브 통계를 추가할 수 있는 애드인(add-in)을 통해서 슬라이드의 내용에서 전환하지 않고도 피드백을 확인할 수 있는 장점이 있다[18].

모바일기반의 CRS는 전통적인 CRS의 교육적 효과를 유지하면서도 고비용 문제를 극복하는 실용적인 해결책으로 활용되고 있다. 모바일 기반의 CRS에여전히 해결해야 할 제한점들로는 전용 앱을 설치하고 서비스에 가입하고 사용법을 익히는 절차가 학생들의 자발적인 참여에 여전히 걸림돌이 된다는 문제와 제공되는 앱에서 지원하는 고정된 방식의 질문 및 답변 인터페이스만을 사용할 수 있기 때문에 필요에 따라 변경하거나 확장할 수 있는 유연성이 제공되지 않는다는 점에서 개선해야할 필요성이 제기된다.

본 연구에서는 인스턴트 메세징 서비스에서 제공하는 챗봇 인터페이스를 기반으로 하는 CRS 방식을 제안한다. 인스턴트 메세징 서비스는 이미 많은 사용자층을 보유하고 있으며 다양한 기기와 환경을 지원한다는 측면에서 학생들에게 보다 나은 접근성을 제공하는 장점이 있다. 또한 챗봇의 텍스트기반 대화인터페이스는 객관식 및 단답형의 정형화된 질문에서 벗어난 다양한 형태의 소통 방식으로 확장하는데 보다 유리한 방식이다. 예를 들어 인스턴트 메세징위젯과 같이 학생들이 질문을 던지고 이에 대하여 다른 학생들이 답변을 할 수 있는 자유로운 형태의 상호작용 도입이 가능하다. 학생들에 의해 전송된 응답들은 챗봇을 거쳐 교수자의 강의 슬라이드에 통합된 슬라이드 위젯을 통해 나타나게 되는데 슬라이드 위젯은 PollEverywhere의 파워포인트 애드인(Add-in)과 같이 특정 프로그램의 설치과정을 요구하지 않고 학생들도 동시에 웹브라우저를 통해 동일하게 실시간 피드백을 확인할 수 있는 방식이다. 기존 모바일 기반 CRS와 제안 시스템의 주요 기능에 대한 비교는 Table1에 요약되어 있다.

Fig. 1. The system overview.

Table 1. A comparison table of mobile based CRS apps with the proposed system

3. 시스템의 구성

본 논문에서 제안하는 시스템은 Fig.1과 같이 서버에서 동작하는 챗봇 모듈과 클라이언트에서 동작하는 슬라이드 위젯 모듈 두 가지로 구분 할 수 있다.

챗봇 모듈은 학생들이 Telegram 혹은 Slack을 통해 전송하는 메시지들을 수집하고 처리하는 작업을 담당한다. 입력되는 메시지를 DB에 저장한 후 추후위젯에서 활용될 수 있도록 하는 것이 주된 역할이며메시지의 형태에 따라서 수업과 관련된 정보에 바로답변하거나 개인별의 평가 상황을 보여주는 수업 관리 기능을 포함 한다.

슬라이드 위젯 모듈은 서버에 저장되어 있는 학생들의 메시지를 불러들여 보여주는 역할을 담당한다. 슬라이드 위젯의 종류에 따라서 메시지를 다양한 형태로 가공하여 보여주는 방식으로 활용하게 된다. 슬라이드 위젯은 기본적으로 실시간으로 상호작용하는 웹 페이지이며 주기적으로 챗봇 서버와 통신하면서 변경된 데이터를 반영한다.

4. 슬라이드 위젯

챗봇 서버에 저장된 메시지들을 불러와서 적절한 형태로 가공하여 표현하기 위해서 제안 시스템은 슬라이드 위젯을 도입하였다. 슬라이드 위젯은 반응형 웹페이지이며 주기적으로 서버와 통신하며 불러온정보로 내용을 갱신하게 된다. 작성된 위젯을 강의 슬라이드에 통합하기 위해 강의 슬라이드는 웹 기반 슬라이드 서비스인 slides.com을 사용한다. 교수자는 전달하고자 하는 내용에 따라, 학습자들이 입력하는 메시지를 어떤 형태로 가공하여 표현할 것인지를 판단하고 위젯의 종류를 선택하여 슬라이드의 공간에 강의 내용과 함께 배치하는 방식으로 강의 슬라이드를 작성하게 된다.

4.1 인스턴트 메세징 위젯(Instant Messaging Widget)

인스턴트 메세징 위젯은 Fig.2와 같이 학생들이 입력하는 메시지를 그대로 출력해주는 가장 기본적인 형태의 UI를 제공한다. 입력한 메시지는 순서대로 누적되며 말풍선의 형태로 보여지기 때문에 수업 도중에 교수자에게 질문하거나 학생들 서로간의 토론의 형태에 활용하기에 적합하다. 인스턴트 메세징 위젯은 메시지를 두 가지로 구분하여 표현하는데 질문메세지는 왼쪽에 나타나는 회색 말풍선으로 표현하고 답변 메시지는 오른쪽에 나타나는 파란색 말풍선으로 표현하여 마치 단체 대화방에 참여하여 대화하는 것과 유사한 경험을 제공하도록 하였다.

일반적인 상황에서 인스턴트 메세징 위젯은 강의 내용 오른쪽 여백 배치되여 해당 슬라이드의 내용을 강의하는 동안 올라오는 학생들의 질문들을 출력한다. 학생들이 익명으로 질문을 올리면 교수자는 이를슬라이드에서 바로 확인하고 답변하면서 수업을 진행 할 수 있다. 모든 질문들이 인스턴트 메세징 위젯에 남아있기 때문에 교수자가 질문들을 놓치지 않고답변하는데 도움을 얻을 수 있고 또한 수업의 흐름을끊지 않으면서 답변의 시점을 선택하는 방식으로 유연하게 수업에 활용할 수 있다. 인스턴트 메세징 위젯에 등록된 질문은 지정된 시간 후에 사라지도록 하거나 교수자가 클릭하면 사라지도록 하는 방식을 제공하며 다음 슬라이드로 넘어갈 때 내용이 초기화되거나 계속 남아있도록 하는 방식을 선택적으로 적용할 수 있다.

또한 인스턴트 메세징 위젯은 학생들이 메시지를 입력할 때 가장 첫 문자로 하이픈(-)을 입력하면 ‘답변’ 말풍선 형태로 표현하는데 이는 올라온 질문에 대해 다른 학생들도 익명으로 답변에 참여할 수 있도록 하는 기능이다. 학생들이 수업 중에 올라오는 질문들에 대해서 자신만의 생각이나 답변을 적극적으로 표현하도록 함으로써 보다 수업을 활성화하는데 도움이 되는 방식이다.

4.2 차트 위젯(Chart Widget)

차트 위젯은 현장에서 교수자가 질문하는 내용에 대하여 학생들의 답변을 실시간 통계로 보여주는 기능을 수행한다. 슬라이드에 차트 위젯을 단독으로 배치하고 구두로 질문하는 내용에 대해 답변을 요청하거나 슬라이드에 질문 내용과 차트 위젯을 동시에 배치하는 방식이 주로 활용된다. 차트의 종류는 막대히스토그램 형태와 파이 차트 형태를 제공하며 동일한 답변의 빈도를 보여주는 방식이기 때문에 답변은 객관식 및 단답형 질문에 활용할 때 보다 적합하다. 학생들의 응답은 바로 공개할 수도 있고 일정 시점후에 공개할 수 있는데 공개된 상태에서 응답할 경우 학생들은 실시간으로 결과가 반영되는 것을 참고하며 응답하게 된다. 차트 위젯은 수업 중간에 학생들의 이해도를 평가하는 경우에 유용하게 활용할 수 있는데 Fig.3은 이해 질문과 차트 위젯을 배치하고 이에 대한 학생들의 답변을 통해 이해도를 점검하는 슬라이드의 예시 화면을 보여주고 있다.

Fig. 3. An example lecture slide embedding a chart widget.

4.3 워드 클라우드 위젯 (Word Cloud Widget)

워드 클라우드 위젯은 학생들의 메세지를 워드 클라우드 방식으로 출력하는 위젯이다. 학생들이 입력하는 메시지들은 무작위로 배정된 색과 각도로 출력되며 동일한 메시지가 중복되는 경우 더욱 글씨가 커지는 방식으로 강조하여 보여주도록 하였다. 보통학생들의 의견을 수렴하거나 피드백을 수용하거나 다양한 답변이 예상되는 경우에 활용할 수 있다. 워드 클라우드 방식의 특성상 공간을 많이 필요로 하기 때문에 슬라이드 영역 전체에 채우는 것이 일반적이나 제목이나 간단한 그림과 함께 활용할 수도 있다. Fig. 4는 한 논리 게이트 회로에 대한 그림을 보여주고 이에 대한 학생들의 답변이 워드 클라우드 방식으로 표현되도록 한 슬라이드의 예시를 보여주고 있다.

Fig. 4. An example lecture slide embedding a word cloud widget.

4.4 컴페티션 위젯 (Competition Widget)

컴페티션 위젯은 프로그래밍 실습 수업을 고려하여 만들어진 특별한 용도의 위젯으로 슬라이드에서 학생들이 만든 프로그램의 성능을 실시간으로 보여주면서 비교하고 경쟁하기 위한 용도로 사용된다. 기본적으로는 학생들에게 챗봇 서버와 통신할 수 있는 기본 코드를 포함하여 실습문제를 제출하고 학생들이 프로그램의 나머지 부분을 작성하여 실행하면 챗봇 서버로 결과가 연동되어 실시간으로 순위를 출력하는 방식으로 동작한다.Socrative의 Space Race는 10개 이하의 로켓에 각 그룹을 할당하여 가장 많은퀴즈를 맞추는 팀이 우승하는 방식이나 제안 시스템의 경쟁 방식은 개인별 성적이 반영되며 경쟁의 형태에 있어서 정답 개수 이외의 형태의 단위를 사용하여 경쟁을 구성할 수 있다는 차이점이 있다. Fig. 5에는 각 학생들이 TravelingSalesmanProblem을 해결하는 코드를 작성하고 그 결과 점수가 컴페티션 위젯을 통해 실시간으로 나타나고 있는 슬라이드의 예이다.

Fig. 5. An example slide with a competition widget.

5. 시스템의 구현

5.1 챗봇 모듈의 구현

제안 시스템의 챗봇 모듈을 구현하기 위한 플랫폼은 챗봇에 대한 지원이 풍부하고 사용자 층이 많은Telegram을 선택하였다. Telegram은 2015년부터챗봇 서비스를 다운받을 수 있는 봇 스토어(Botstore)를 운영하고 있을 정도로 챗봇 제작 지원에 선도적인 역할을 하고 있다[19]. 또한 모바일 앱,PC앱, 웹 서비스의 다양한 형태를 제공하여 접근성이 높은 장점이 있다.Telegram 기반 챗봇은 구글 앱엔진을 이용하며 Python2.7 기반으로 제작되었고DB는 CloudDataStore를 사용하였다.

Telegram 챗봇의 경우 학생들이 철저한 익명성을 가지고 수업에 참여할 수 있다는 면에서는 장점이 있으나 그룹을 관리하는 면에서는 제약이 있다. 이를 위해 추가적으로 팀 중심의 인스턴트 메세징 서비스인 Slack 기반의 챗봇을 추가하였다.Slack 챗봇은필요에 따라 익명성을 선택적으로 활성화할 수 있고 또 분반별 그룹을 도입하여 학생들을 관리하는 기능을 지원한다.Slack 기반의 챗봇은 AWSLambda 기반의 Serverless 방식으로 동작하며 Python3.7 기반으로 제작되었고 사용되는 DB는 DynamoDB이다.

제안 시스템의 챗봇은 오프라인 수업시간의 참여

에 활용되는 용도에 주안점을 두고 있으나 이 외에도온라인으로 수업관리 시스템을 보조하는 부가적인 기능에도 장점이 있는 방식이다. 제안 시스템을 실제 수업에 활용하는 과정에서 학생들이 평가결과를 확인하는 용도로도 챗봇을 사용할 수 있도록 기능을 부여하였다. Fig. 6은 과제 점수와 시험의 부분 점수와 결과를 확인하는데 있어서 학생들이 챗봇에게 질의하고 답변을 확인하는 예시를 보여주고 있다.

Fig. 6. A screenshot of Slack chatbot replying the exam result.

5.2 슬라이드 위젯의 구현

교수자의 슬라이드는 강의 내용과 함께 동적인 정보를 표현할 수 있기 위해 브라우저 기반의 웹 프레젠테이션 서비스인 Slides.com을 사용한다. Slides. com에서 슬라이드를 작성할 때 iframe 객체로 웹페이지를 삽입할 수 있는데 이 때 작성된 슬라이드 위젯의 URL을 지정하여 슬라이드에 위젯을 추가하는 방식을 사용한다. 슬라이드 위젯은 HTML5, Java-script로 작성된 반응형 웹페이지이며 Chart.js 및Skeleton.css 프레임워크를 사용하고 서버와 비동기방식으로 통신하기 위하여 XMLHttpRequest 객체를 사용한다. 슬라이드 위젯은 주기적으로 서버와 통신하며 변화된 데이터가 있을 때마다 갱신하는 방식으로 실시간으로 데이터를 반영하게 되는데 슬라이드 위젯의 종류에 따라 정해진 주기에 차이가 있다. 인스턴트 메세징 위젯이나 차트 위젯의 경우 갱신주기는 0.5초로 가장 빠르며 차트 위젯과 워드 클라우드 위젯의 경우 1초, 컴페티션 위젯의 경우 3초 주기로 정보를 가져오도록 하였다.Fig.7은 슬라이드에 위젯이 배치되는 편집 과정의 예시를 나타낸다.

6. 사용자 평가

제안 시스템은 서울의 한 대학 교양 프로그래밍 수업에서 학기당 4개 분반의 학생들을 대상으로 하는 수업에서 두 학기 동안 사용되며 시스템의 유용성을 평가하였다. 제안 시스템을 활용하지 않았던 분반의 수업에서는 학생들의 참여 빈도가 수업 당 평균 약 2.3회에 그쳤지만 제안 시스템을 활용한 분반의 수업에서는 학생들의 참여 빈도가 수업 당 평균 17.1회로 질문의 빈도가 확연히 증가하는 효과를 확인할 수 있었다. 또한 학기말에 제안 시스템을 활용한 만족도를 평가하는 설문에서는 제안 시스템이 수업 진행에 도움이 되었는지, 수업에 대한 흥미가 증가하였는지 등 다섯가지의 질문에 대해 1∼5의 점수로 답변하도록 하였다.

총 118명의 학생이 설문에 응답한 결과는 Table 2에 제시되어 있다. 각 문항에 대한 답변의 평균은 3.83으로, 문항별 평균분포는 2.95에서 4.285로 대체적으로 높게 나타났으며 크론바흐 알파(Cronbach Alpha) 신뢰도는 0.69로 신뢰할 수 있는 적정 범위에 있음을 알 수 있다. 문항 중에서는 수업에 참여하는데 도움이 되는지, 제안 시스템을 통해 수업시간의 집중도가 증가하였는지, 설문 결과를 통해 수업 내용에 대한 흥미가 증가하였는지에 대한 답변이 비교적 높게 나타나 제안 시스템의 방식이 학생들의 수업 참여도를 높이는데 있어 긍정적인 효과가 있음을 알수 있다. 이는 익명성으로 인한 심적 부담을 줄이는 것이 수업의 참여에 도움이 된다는 기존 CRS 관련 연구들의 결과와 일치하고 있음을 나타낸다.

7. 결론

본 연구에서는 기존 모바일기반 CRS의 긍정적인 교육적인 효과를 그대로 유지하면서 확장성과 참여용이성, 그리고 교육자료와의 연동성을 개선하기 위해 챗봇과 슬라이드 위젯을 도입한 CRS를 제안하였다. 제안 시스템은 이미 많은 사용자층이 확보되어 있는 인스턴트 메세징 서비스를 기반하여 학생들의 참여가 보다 더 용이하도록 하였으며 기존의 고정된 질문과 답변 인터페이스가 아닌 텍스트 인터페이스를 통해 다양한 방식의 참여 형식을 가능하게 하는 확장성에서 유리한 방식이다. 또한 제안된 슬라이드 위젯 방식은 교수자의 슬라이드에 통합되어 추가적인 전용 프로그램이나 애드인 설치과정 없이 다수의청중들에게 라이브 피드백을 공유할 수 있는 장점이 있다.

제안 시스템을 교양 프로그래밍 수업에서 활용하며 학생들의 참여 빈도와 만족도를 평가한 결과 향상된 익명성과 접근성으로 인해 학생들이 참여도가 활성화되고 수업과 수업내용에 대한 학생들의 호감도가 증가하는 등 학생들의 긍정적인 인식에 있어 기준모바일 기반 CRS들과 유사한 정도의 효과를 유지하면서 동시에 기존 모바일기반 CRS의 제한점들을 개선하는 방식임을 확인할 수 있었다.

향후 연구로는 프로그래밍 교육에 있어 필요한 다양한 방식의 상호작용을 분석하고 이를 위한 다양한 슬라이드 위젯 방식을 개발하는 것과 제안 시스템의 교육적 효과에 대한 검증을 위한 심도 깊은 사용자 평가를 수행하는 것이 제안된다.

Fig. 7. An example process of inserting a slide widget,

Table 2. Student survey results