A Study on Evaluation of e-learners' Concentration by using Machine Learning

머신러닝을 이용한 이러닝 학습자 집중도 평가 연구

Abstract

Recently, e-learning has been attracting significant attention due to COVID-19. However, while e-learning has many advantages, it has disadvantages as well. One of the main disadvantages of e-learning is that it is difficult for teachers to continuously and systematically monitor learners. Although services such as personalized e-learning are provided to compensate for the shortcoming, systematic monitoring of learners' concentration is insufficient. This study suggests a method to evaluate the learner's concentration by applying machine learning techniques. In this study, emotion and gaze data were extracted from 184 videos of 92 participants. First, the learners' concentration was labeled by experts. Then, statistical-based status indicators were preprocessed from the data. Random Forests (RF), Support Vector Machines (SVMs), Multilayer Perceptron (MLP), and an ensemble model have been used in the experiment. Long Short-Term Memory (LSTM) has also been used for comparison. As a result, it was possible to predict e-learners' concentration with an accuracy of 90.54%. This study is expected to improve learners' immersion by providing a customized educational curriculum according to the learner's concentration level.

Ⅰ. 서론

2019년 발생하여 전 세계로 확산된 COVID-19은 교육의 온라인화를 가속화하는 계기가 되었으며[1], 교육의 이러닝(e-learning) 전환이 빠른 속도로 이루어지고 있다[2]. IT기술과 교육의 결합은 기존 오프라인 강의를 단순히 온라인에 옮기는 것에 그치지 않고 새로운 학습 경험을 만들어내고 있다.

교육시장 조사기관 Holon IQ에 따르면 전 세계 에듀테크(EduTech) 시장의 수요는 2019년 1630억 달러에서 2025년 4040억 달러에 이를 것으로 예상했다[3]. 정보통신산업진흥원의 이러닝산업 실태조사에 따르면, 2021년 국내 이러닝 시장 규모는 약 5조 399억 원에 달했으며, 이는 2020년 대비 10.3% 증가한 수준이다[4].

이러닝이 제공하는 여러 가지 장점에도 불구하고 이러닝 교육에 따른 문제점이 보고되고 있다. 이러닝 수업의 문제점 가운데 하나는 교사와 상호작용 및 즉각적인 피드백 부족이다[5]. 이러닝 수업은 대면 수업에 비해 학습자의 자율적 관리능력이 더 요구되며, 동영상을 보는 동안 방해요소가 많은 것으로 나타났다. 성적이 낮은 학생의 경우 이러닝 수업을 지속적으로 듣는 경우 성적을 더 감소시킬 가능성이 높다는 연구 결과도 있다[6].

이러닝 교육의 단점을 보완하기 위한 연구가 다양한 관점에서 이루어졌으며, 이러닝 수업의 효과성을 높이기 위한 학습자의 집중도 연구도 보고되고 있다. 하지만 기존 연구는 시간의 흐름에 따른 데이터의 특성을 제대로 반영하지 못한다는 한계가 있다. 따라서 영상 데이터의 시계열적 특성을 반영한 연구가 필요한 실정이다.

본 연구에서는 이러닝 학습자의 집중도 판별에 사용될 태도 데이터 구축을 위해 데이터를 수집 및 추출하고, 추출한 데이터에 머신러닝 기법을 활용한 집중도 평가 시스템을 구축하고자 한다.

본 연구에서는 실제 이러닝 학습자들을 대상으로 학습 시청 동영상을 수집하고 학습자들의 집중여부를 레이블링 하였다. 동영상 자료를 시계열 데이터로 변환한 다음 피쳐(feature)를 추출하고 머신러닝 기법을 적용하였다.

본 연구는 실제 이러닝 학습 환경에서 수집된 영상을 기반으로 학습자 집중도를 판별한다는 점에서 의의가 있다. 추가적인 장비나 학습자의 주관이 포함되는 설문이 사용되지 않고 학습자가 학습 도중 무의식적으로 표현하는 시선 정보와 머리 방향 등의 정보만 이용했다는 점에서 본 연구의 활용도가 높을 것으로 기대된다.

Ⅱ. 관련연구

이러닝 교육이 확산되면서 온라인 교육에 따른 학습자의 만족도에 관한 연구가 이루어졌다. 동영상 강의에서는 콘텐츠 내용적 특성이 만족도에 중요한 영향을 미치는 것으로 나타났으며[7], 피드백 제공 정도와 정보공유의 정도는 학습의 유용도에 영향을 미치는 것으로 나타났다[8].

이러닝 학습의 효율을 높이기 위한 학습자의 집중과 관련된 연구를 살펴보면 다음과 같다. 집중이란, 입력된 자극을 알아채는 것을 넘어 선별적으로 받아 들이고 여러 인식의 균형을 맞춰 정서적 중요성을 부여하는 것을 말한다[9].

학습자의 집중도를 측정하기 위한 연구로는 학습자의 생체정보를 활용한 연구가 이루어졌다. De Carolis 등[10]은 학습자의 시선으로부터 추출한 시계열 데이터에 LSTM 모델을 사용하여 학습자의 집중도를 판별했으나 이는 학습 시간이 오래 걸린다는 단점이 있다.

Asteriadis 등[11]은 시선과 머리 방향 정보를 측정해 학습 집중도를 측정했고, Sharma 등[12]은 학습자의 표정에서 나타나는 감정 데이터를 다층퍼셉트론 모델을 이용해 분석하여 집중 여부를 판단했다.

Daniel & Kamioka[13]는 시선 추적 데이터를 활용해 MLP(Multi-layer perceptron) 분류기로 집중 상태를 판별했고, Lee 등[14]은 학습자의 눈 깜박임을 측정하여 OCSVM(One-class support vector machine) 분류기를 사용했다.

양은별과 류지헌[15]은 동영상 강좌에서 대학생의 주의 집중 수준과 관심 영역에 따른 시선 응시 및 동공 지름에 대해 분석하였다. 학생의 주의 집중 수준에 따라 시선 응시 시간 차이를 규명하고 원인을 분석함으로써 학습자의 주의 집중 수준을 고려한 교수 설계의 필요성을 실증했다. 이러닝 콘텐츠 평가를 위해 시선 추적 기법을 이용하고, 뇌파를 이용하는 등 학습자의 생체 신호를 활용하여 학습 집중도를 측정했으나[16, 17], 아이트래커 등의 추가적인 장비를 사용해야 한다는 단점이 존재한다.

살펴본 바와 같이 온라인 학습자의 집중도를 판별하기 위한 기존 연구는 머신러닝 학습시간이 오래 걸리고, 추가적인 장비를 요구하며, 시간의 흐름에 따른 데이터의 특성을 제대로 반영하지 못한다는 한계가 있다.

Ⅲ. 연구방법

본 연구에서는 학습자를 촬영한 영상으로부터 시선 및 감정 데이터를 추출한 뒤, 학습자의 집중 여부를 머신러닝 기법을 통해 판별한다. 연구의 전체적인 프레임워크는 <그림 1>과 같다. 연구에 필요한 데이터를 직접 수집하기 위해 실험을 설계하고 집중 및 미집중 영상데이터를 수집했다. 수집된 데이터는 시계열 데이터로 변환했다. 이후 집중도 판별을 위해 이진분류 형태(집중/미집중)로 레이블링 하였다. 시계열 데이터에 머신러닝을 적용하기 위해 시계열데이터의 피쳐를 추출하였다. 이후 서포트 벡터 머신(Support Vector Machines, SVM), 랜덤 포레스트(Random Forests, RF), 다중 퍼셉트론(Multi-layer Perceptron, MLP) 모델과 앙상블 모델, Long Short-Term Memory(LSTM)의 성능을 비교·실험하였다.

<그림 1> 연구 프레임워크

3.1 데이터구축

본 연구에서는 이러닝 학습자의 영상 데이터를 수집하기 위해 실제로 학습자들이 온라인으로 학습하는 영상을 촬영하였다. 학습자의 모습을 최대한 자연스럽게 촬영하기 위해 학습 환경을 구성하도록 실험을 설계했다. 학습자의 집중 태도뿐만 아니라 미집중 태도까지 수집하기 위해 학습 영상으로 흥미를 유발하는 강의와 흥미를 저해하는 강의를 각각 선정하고 모든 학습자들에게 순서대로 보여주었다.

학습 자료 영상은 학습자와 관련성이 있거나[18], 학습자가 호기심이 들게 하는 자료인지[19], 상황에 대한 적절한 사진이나 영상 등의 자료를 활용하는지[20] 여부에 따라 선정했다.

학습자의 흥미를 유발하는 강의로는 <설민석의 영화 속 역사 이야기[관상] 수양대군 1부>를 약 9분간 시청했다. 해당 강의는 우리나라 역사와 관련된 영상으로 촬영 당시 개봉했던 영화와 관련된 내용이기 때문에 학습자에게 호기심을 유발할 것으로 보았다. 강의 중간에 적절한 영화 장면을 인용해 부연 설명하기 때문에 자칫 지루할 수 있는 강의에 환기를 주므로 학습자의 흥미를 유발하는 요소로 볼 수 있다.

학습자의 흥미를 저해하는 강의로는 MIT Open Course Ware의 <Unit 2: Second Order Constant Coefficient Linear Equations - Modes and the Characteristic Equation> 강의를 약 13분에서 17분가량 시청했다. 해당 강의는 영어로 진행이 되고 웹사이트에서 강의 내용을 자막 형태로도 확인할 수 있지만, 학습자의 흥미가 떨어지는 모습을 의도적으로 유도하기 위해 자막은 제공하지 않았다. 강의 주제의 경우, 다양한 전공을 가진 학생들을 대상으로 실험을 진행했기 때문에 해당 강의를 흥미 있게 받아들일 학생이 있을 것으로 예상하여 시청 시간을 상대적으로 길게 설정했다. 또한, 분석에 필요한 집중 및 미집중 데이터 비율을 비슷하게 유도하려는 목적으로 진행했다. 강사가 직접 판서를 하며 진행하지만, 다른 학습 자료는 추가로 사용하지 않았고 시청 종료까지 판서와 음성 설명만 제공되었다.

실험은 92명의 대학생을 대상으로 진행했으며, 두 강의를 각각 시청하여 184개 영상을 수집했다. 실험 시작 전 모든 학습자는 개인정보 제공동의서와 정보 활용 동의서를 작성했다. 촬영 영상은 초당 30프레임의 480*640 해상도로 구성되었다. 촬영 전, 학습자의 의도가 실험에 반영되지 않도록 하기 위해 학습 태도와 관련된 실험을 진행한다는 안내만 하고 촬영이 진행되는 동안 개입하지 않았다. 촬영 환경은 최대한 온라인 학습 환경과 유사하게 설계하였으며, 모니터 중앙 상단에 카메라가 위치하도록 했고 모든 참가자가 같은 환경에서 진행했다.

3.2 데이터 정제

3.2.1 데이터 변환

본 연구에서는 영상데이터를 <표 1>과 같이 시계열 데이터로 변환하여 분석을 수행하였다. 영상데이터의 시계열 데이터 변환을 위해서 ㈜위드마인드의 영상인식 시스템을 활용하였다. 활용된 변수 및 데이터 요약 정보는 <표 1>과 같다. ValidFace는 얼굴 인식 여부를 나타내고 본 연구에서는 얼굴 인식이 True인 경우의 데이터만 사용했다. Expression은 7가지 감정을 수치로 표현한 데이터로, 각 변수의 범위는 0~1 사이의 실수이며, Angry(분노), Fear(공포), Happy(행복), Normal(중립), Sadness(슬픔), Surprise(놀람)으로 구성되어 있다. BodyMoving은 화면상의 신체 좌우 움직임을 나타내며 화면 중앙을 기준으로 -50에서 50 사이의 정수로 나타낸다. GazeAngle은 Pitch(시선 상하), Yaw(시선 좌우) 두 변수로 나타내며, -50에서 50 사이의 실수로 이루어져 있다. HandOcclusion은 화면상에 손이 나타나는지 여부를 나타낸다. 각 변수 별로 초당 30프레임의 184개 동영상을 변환하여 약 210만 개의 데이터를 연구에 사용했다.

<표 1> 데이터 셋

3.2.2 집중도 레이블링

본 연구에서 학습자의 집중도를 판별하기 위해 학습자를 촬영한 영상을 관찰하면서 1분마다 집중 여부를 레이블링 했다. 객관성을 확보하기 위해 총 3명이 작업을 수행했으며, 레이블링 결과가 상이할 경우, 재분류 과정을 통해 레이블링을 보정하였다.

3.2.3. 피쳐(feature) 추출

원데이터는 시간 정보를 내포하는 시계열 신호 데이터이므로 구간의 특성을 효과적으로 반영할 수 있는 통계 기반의 상태 지표(condition indicators)를 적용하여 피쳐를 추출하였다. 적용된 상태 지표는 총 10가지로, 각 지표의 설명은 <표 2>에 제시하였다.

각 지표는 총 9개의 데이터를 이용하여 추출하였다. 본 연구에서는 감정을 나타내는 데이터 6개(Angry, Fear, Happy, Normal, Sadness, Surprise)와 움직임을 나타내는 3개(BodyMoving, GazeAngle_Pitch, GazeAngle_Yaw)의 데이터를 활용하였다.

<표 2> 피쳐추출을 위한 지표수식

다만 Margin factor(CIF)는 원시데이터의 특정 구간 평균이 0일 경우 계산이 되지 않아 피쳐가 추출되지 못하는 문제가 존재한다. 따라서 본 연구에서는 Margin factor 추출 시 3개의 데이터(BodyMoving, GazeAngle_Pitch, GazeAngle_Yaw)를 분석에서 제외하였다.

3.3 적용방법론

본 연구에서는 SVM, RF, MLP, 앙상블 기법을 사용했다. RF는 동일한 데이터 분포에서 독립적으로 표집된 무작위 벡터 값에 따라 달라지는 결정 트리를 묶은 앙상블 모델이다[21]. 입력 데이터 중 일부와 변수 중 일부를 무작위로 추출하여 조금씩 다른 데이터 셋을 이용하는 부트스트랩 샘플링(Bootstrap sampling)을 이용하므로 훈련 데이터에 과적합되는 것을 방지한다는 장점이 있다. SVM은 기계 학습 알고리즘 중 하나로, 입력 벡터를 매우 높은 차원의 특징 공간에 비선형적으로 대응시켜 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 범주에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만든다[22]. MLP는 전방향 인공신경망의 한 종류로, 입력층과 출력층 사이에 여러 노드층을 쌓아놓은 형태이다. 결합의 세기인 가중치를 임의의 값부터 점차 학습 데이터를 잘 설명할 수 있도록 수정하는 역전파 연산을 통해 학습을 진행한다. 본 연구에서는 총 3개의 레이어를 사용했으며 활성함수로는 ReLU와 Sigmoid를 적용했고 이진 분류를 위해 손실 함수는 Binary cross-entropy를 사용했다. 세 가지 모델은 랜덤포레스트의 부트스트랩 방식을 차용해 전체 학습 데이터의 80%를 랜덤으로 샘플링 하여 각각 5번씩 적용하고 결과를 보팅(Voting)하는 방식으로 실험했다.

실험의 비교를 위한 베이스라인 모델은 순환신경망(Recurrent Neural Network, RNN) 모델 중 하나인 LSTM을 사용했다. LSTM은 순차적 데이터(sequential data)를 받아들인다는 점에서 순방향 신경망(Feed Forward Neural Network)과 차이가 있다. LSTM은 각 RNN의 내부 구조를 변형하여 은닉 상태값에 대한 후보 정보를 저장하는 메모리 셀(Memory cell)을 추가했다. 또한, 여러 게이트(gate)를 활용하여 입력 데이터와 이전 시점 은닉 상태(hidden state)의 결과 값을 토대로 정보가 얼마나 저장될 것인지 결정할 수 있다.

LSTM의 입력데이터는 순차적 데이터이어야 하므로, 레이블을 기준으로 1분당 300개의 시퀀스에 10개의 다중 변수를 가진 데이터 셋을 구성했다. LSTM 계층 2개, 전결합 계층 2개를 쌓아 모델을 구성했으며, 마지막 계층에는 이진 분류를 위해 이진 크로스 엔트로피(Binary Crossentropy) 손실함수를 사용했다. 학습 에포크는 200회 중 조기 종료(Early Stopping) 기법을 통해 109회 진행한 후 종료했다.

Ⅳ. 실험결과

<표 3>은 실험결과의 요약을 나타낸다. 본 연구의 목표는 이러닝 교육의 단점을 보완하기 위해 실제 환경에서 강의에 집중하지 않은 경우를 제대로 포착했는지 판별하는 것이다. 따라서 연구의 미집중과 집중 모두를 제대로 판별했는지 확인하는 분류 정확도(accuracy)와 더불어 미집중을 제대로 판별했는지에 대한 재현율(recall)의 성능도 함께 확인하는 것이 바람직하다. RF, SVM, MLP의 분류 정확도는 각각 0.8262, 0.8214, 0.8333으로 나타났다. 세 모델(RF, SVM, MLP)의 정확도는 LSTM과 비슷한 수준이지만, 세 모델 모두 미집중일 때 재현율(recall)이 0.7133, 0.6533, 0.6867로 나타나 0.9021인 LSTM에 비해 상대적으로 낮게 나타났다. SVM은 결정 경계와 서포트 벡터 사이의 거리(margin)을 최대화함으로써 데이터를 분류하기 때문에 커널 함수 등의 파라미터 조정에 따라 모델의 성능이 달라질 수 있다. 집중과 미집중에 대한 정밀도(precision)는 안정적으로 나타나므로 일관된 예측을 하는 것을 알 수 있지만, 그에 비해 재현율이 낮은 것으로 보아 파라미터 조정이 제대로 되지 않은 것을 알 수 있다. MLP 또한 파라미터 조정에 영향을 많이 받으며 과적합(overfitting)이 발생하기 쉽다는 단점이 있다. 따라서 미집중에 대한 재현율이 0.6867로 집중에 대한 재현율(0.9148)보다 훨씬 낮게 나타났음을 알 수 있다. RF의 경우 결정 트리의 성능을 높이기 위해 여러 트리를 복원 추출하여 과적합을 줄인 모델이다. RF는 SVM, MLP보다 미집중 재현율에서 상대적으로 안정된 결과를 보였으나 미집중 재현율과 정확도 면에서 LSTM보다 낮은 것을 알 수 있다. 본 연구에서는 미집중 학습자 판별이 중요하다는 측면에서 LSTM과 앙상블 모델이 더 적합하다고 볼 수 있다.

<표 3> 실험 결과

LSTM 모델과 앙상블 모델을 비교했을 때, 정밀도와 재현율의 차이가 LSTM보다 앙상블 모델에서 더 적으므로 앙상블 모델의 분류 결과가 안정적이라는 것을 알 수 있다. LSTM의 미집중 판별 재현율은 앙상블 모델보다 높지만, 집중에 대한 판별 성능은 앙상블 모델보다 낮게 나타났다. 집중의 정밀도와 재현율에 대한 조화평균인 F1-score도 0.9297을 달성해 0.7545인 LSTM의 집중 F1-score보다 높게 나왔다. 앙상블 모델의 정확도 또한 0.9054로 가장 높게 나타났으므로 본 연구에서 제시한 앙상블 모델이 가장 합리적인 것을 알 수 있다.

V. 결론

본 연구에서는 이러닝 학습자를 촬영한 영상으로 부터 순차적 데이터를 추출하여 학습자의 집중도 판별에 활용했다. 실험은 RF, SVM, MLP, 앙상블 모형과 LSTM을 비교하는 방식으로 진행했다. 프레임 별 데이터를 일정 시간 단위에 따라 상태지표로 피쳐를 추출하여 기법을 적용하여 비교 실험하였다. 실험결과, 앙상블 기법이 가장 높은 정확도를 보였으며, 정밀도과 재현율의 차이가 적어 안정적인 예측성능을 나타내었다.

본 연구는 실제 이러닝 학습 환경에서 수집된 영상을 기반으로 학습자 집중도를 판별하는 방법론을 제시했다는 점에서 의의가 있다. 이 과정에서 추가적인 장비나 학습자의 설문이 사용되지 않고 학습자의 동영상만으로 집중도를 판별한다는 점에서 본 연구의 활용도가 높을 것으로 기대된다. 본 연구는 학습자의 피드백을 효과적으로 판단함으로써 기존 이러닝 시스템의 단점을 극복하는데 기여할 것으로 기대된다.

본 연구의 한계점은 다음과 같다. 실험군 확보를 위해 대학생을 대상으로 하였으나 이는 이러닝 학습자를 모두 대표하지는 못한다. 연구용 데이터를 얻기 위한 촬영 시간도 짧았다는 한계도 있다. 추후 연구에서 위와 같은 사항들이 고려되어 양질의 데이터를 활용한다면 학습자의 집중도에 영향을 미치는 양상을 자세히 파악할 수 있을 것으로 보인다.