Teachers' Perception on the Expression Method in Bebras Challenge for Computing Knowledge Assessment

Abstract

The evaluation of students' computational thinking begins with the evaluation of knowledge about the concepts and principles of computing. In this study, we analyzed the differences in teachers' perceptions depending on the description method of the bebras challenge questions to evaluate computer science knowledge. First, we classified the questions into two types depending on whether computer science terms were included or not. Also we made a computational thinking questionnaire with two types of questions and surveyed 72 major teachers. As a result, teachers expressed the opinion that the evaluation questions that revealed computer science terms were appropriate as evaluation questions for information subjects. They also perceived it as more helpful in assessing computational thinking and coding skills. Through the results of this study, we suggested that the way the questions are worded is important in the process of assessing students' understanding of computer science concepts and computational thinking skills.

컴퓨팅 사고력의 평가는 컴퓨터과학 개념과 원리에 대한 지식의 평가로부터 시작된다. 본 연구에서는 컴퓨터과학 지식을 평가하기 위한 비버 평가 문항의 서술 방식에 따른 교사의 인식의 차이를 분석했다. 우선 평가 문항을 컴퓨터과학 용어의 포함 유무에 따라 두 가지 유형으로 분류했다. 그리고 각 유형의 문항에 대한 컴퓨팅 사고 설문지를 작성하였고, 72명의 전공 교사를 대상으로 설문을 했다. 설문 결과, 컴퓨터과학 용어가 드러난 문항이 정보 교과의 평가 문항으로 적합하다는 의견이 제시되었고 컴퓨팅 사고와 코딩 능력을 평가하는데 더 도움이 된다고 인식했다. 연구 결과를 통해 학생들의 컴퓨터과학 개념 이해와 컴퓨팅 사고력 함양을 평가하기 위해서는 어떤 서술 방식의 평가가 더 필요한지에 대해 제언했다.

I. Introduction

정보 교육과정 구성의 변화는 특히 미래 사회의 불확실성에 능동적으로 대응할 수 있는 능력을 함양하는 것으로 모든 학생이 학습의 기초인 언어・수리・디지털 기초 소양을 갖추는 것을 중점 사항으로 삼았다[1]. 이러한 목표를 달성하기 위해서는 학생들이 정보 교육을 통해 습득해야 하는 개념, 사고 과정, 가치 및 태도를 이해 및 함양할 수 있도록 교육과정 내용을 구성하고 이를 평가해야 한다.

2022 개정 교육과정에서 정보 교육 내용은 삶의 맥락에서 컴퓨팅사고를 통해 문제를 해결할 수 있는 학습 과제를 제시하고 놀이⋅체험 중심의 학습 방법을 적용하여 과제를 해결하는 과정에서 자연스럽게 인공지능 소양을 함양할 수 있도록 해야 한다. 평가 측면에서는 평가의 방향을 단편적인 지식이나 사실보다는 개념, 사고 과정 및 기능, 가치 및 태도 등에 대한 평가 자료를 다양하게 수집하여 학습자의 지식과 기능 그리고 가치를 포함한 종합적인 교과 역량을 평가해야 한다[2].

하지만 정보교육의 교육과정, 교육프로그램 개발, 교수 학습 방법에 대한 연구는 다양하게 진행되고 있으나 정보 교육의 평가와 검사에 관한 연구는 매우 부족한 실정이며 특히, 컴퓨터과학의 지식을 이루는 개념과 원리를 평가하는 방법은 많이 부족한 편이다. 이에 대한 국제적인 시도가 비버 챌린지(Bebras Challenge)의 평가 방식이다[9]. 비버 챌린지는 컴퓨터과학을 배우지 않고도 논리적 사고와 알고리즘의 절차적 사고를 평가하는 방식의 문항 형식으로 개발되고 있는데 이러한 형식이 컴퓨팅 평가 문항으로서 효과적인가에 관한 논쟁이 제기되고 있다[16].

이러한 논쟁을 중심으로 본 연구에서는 정보 교육 평가 문항의 서술 방식에 따른 교사의 문항 인식을 살펴보고, 초등학생들의 컴퓨터과학 개념 이해와 컴퓨팅 사고력 함양을 평가하기 위해서는 어떤 서술 방식의 평가가 더 필요한지에 대해 제안하고자 한다. 본 연구의 구체적인 연구 문제는 다음과 같다.

첫째, 정보 교육 평가 문항의 서술 방식에 따라 평가에 대한 교사의 인식이 달라지는가?

둘째, 초등학생의 컴퓨팅 사고력에 대한 평가는 어떤 평가의 방향을 지향해야 하는가?

II. Preliminaries

2.1 Information Education Assessment

2022 개정 교육과정에서 정보 교육과 관련하여 ‘디지털 사회와 인공지능’ 영역을 통해 중학교 1~3학년 정보 교과와 연계하여 변화하는 세상을 인식하고 컴퓨팅 사고를 바탕으로 인공지능을 활용한 실생활 문제 해결 역량 함양을 지향한다[2]. 자세한 내용 체계는 아래 <Table 1>과 같다.

Table 1. 2022 Revised Curriculum Practical Course 'Digital Society and Artificial Intelligence' Content

정보 교육과정에서 학습자의 발달을 평가하는 방향은 크게 네 가지로 제시되어 있다. ‘교육과정-교수⋅학습-평가-기록’의 일체화, ‘개념, 사고 과정 및 기능, 가치 및 태도’의 종합적 평가, 과정 중심 평가 및 평가의 환류, 단편 지식에 대한 평가보다는 개념, 사고 과정 및 기능, 가치 및 태도 등의 다양한 평가 자료 수집이다[2].

이를 위한 평가 방법으로 다양한 피드백 계획 및 실시, 지식⋅이해의 평가뿐 아니라 과정⋅기능의 수행, 가치⋅태도의 내면화 확인, 다양한 평가 도구 활용, 평가 문항이 단순한 사실이나 지식의 측정뿐만 아니라 학습자의 적용력, 분석력, 종합력, 평가력 등의 고등정신 기능까지 측정할 수 있도록 양질의 문항을 개발하여 활용, 평가 주체의 다양화, 다양한 학습자 상황에 맞는 평가 계획 수립, 디지털 격차로 인한 평가 영향 최소화가 제시되었다.

2.2 Computational Thinking

정보 교육 평가 문항의 서술 방식에 따라 어떤 사고력을 측정하는데 적절한지 묻고 이를 분석하기 위해서는 컴퓨팅 사고에 대한 논의가 필요하다.

J.Wing은 컴퓨팅 사고력을 추상화(Abstraction)와 자동화(Automation) 두 개의 하위요소로 제시했다. 추상화란 문제를 해결하기 위한 사고 과정을 말하고, 자동화는 추상화 과정을 통한 문제 해결 방법을 컴퓨팅 시스템으로 코딩하고 시뮬레이션하는 것을 의미한다[3].

교육부는 컴퓨팅 사고력을 컴퓨팅의 기본적인 개념과 원리를 기반으로 문제를 효율적으로 해결할 수 있는 사고 능력으로 정의하였고 그 세부 하위 요소로 자료 분석 및 조직, 구조화, 추상화, 자동화, 일반화를 제시했다[4].

Keane은 유아교육부터 중등학교까지 프로그래밍과 컴퓨팅 사고의 필요성을 제시했다. 학생들이 디지털 시대의 생산적이고 독립적인 시민이 되기 위해서 학교 교육 전반에 걸쳐 학생들에게 코딩과 프로그래밍 수업을 진행해야 한다는 것이다. 이를 통해 컴퓨터와 의사소통할 수 있게 하고, 프로그래밍의 기반이 되는 컴퓨팅 사고가 기반이 되어야 한다고 했다[5].

2.3 Bebras Challenge

컴퓨터과학의 지식을 묻는 비버 챌린지는 모든 연령의 학생들에게 컴퓨터 과학의 개념과 원리의 탐구에 대한 동기를 유발하고, 컴퓨팅사고를 장려하는 것을 목표로 한다[6]. 비버 챌린지는 2004년 리투아니아에서 처음 시작되었으며, 현재 전 세계 78개국의 기관과 단체들이 공동으로 문제를 개발 및 보급하고, 컴퓨팅 교수·학습 방법 및 평가 방안을 연구하고 있다[7].

비버 챌린지는 학생들에게 동기를 부여하고 더 깊이 생각하도록 흥미로운 과제(task)를 제공한다. 모든 문제들은 CSTA에서 발표한 K-12 컴퓨터과학 교육과정 표준에 맞는 5개 평가영역을 바탕으로 개발된다. 좋은 비버 챌린지 과제의 특성은 <Table 2>와 같다[8].

Table 2. Characteristics of a Good Bebras Challenge Task

2.4 Related Works

컴퓨팅 사고를 촉진하기 위해 비버 챌린지를 적용한 연구를 살펴보면 다음과 같다.

Vinikiene 등은 여러 국가들이 초등학교 교육과정에 컴퓨팅 사고를 도입하는 추세와 학생들이 컴퓨터 과학 주제에 대한 동기 부여를 위해 비버 챌린지 과제를 활용하는 배경에 주목했다. 최신 비버 챌린지 과제를 분석하고, 미국 K-12 초등학교 교실에서 프로그래밍 개념을 가르치기 위한 과제가 어떤 방향이어야 하는지 분석했다[9].

Lehtimäkiet 등은 아일랜드 240개 학교 교사들과 함께 비버 챌린지를 기반으로 초중등학생들과 예비 교사를 대상으로 한 컴퓨팅 사고 교육 프로그램을 개발했다. 또한 컴퓨터 과학 배경이 없는 교사들이 초등학생 수준에서 컴퓨팅 사고를 가르치기 위한 10가지의 수업 콘텐츠와 워크 북을 개발했다[10]. Boom 등은 컴퓨팅 사고력을 신장시키기 위한 컴퓨터 프로그램 개발의 관계를 분석하고 구체적인 컴퓨팅사고 교육 콘텐츠를 개발했다[11].

Vaníček 등은 비버 챌린지에 사용된 추상화와 알고리즘의 과업 내용을 비교하여 분석했다. 분석 결과 실제 검사 문항에서 컴퓨터과학의 개념의 추상화와 원리의 알고리즘의 내포된 사항을 제시했다[12].

Čertochová과 Selcuk의 연구에서는 초등교사들이 개발한 비버 챌린지 과제의 내용을 분석하여 교사들이 어떠한 방식으로 컴퓨팅 사고력를 인식하는지 분석했다. 이를 통해 검사 문항에 컴퓨팅 과업이 반드시 포함되어야 함을 제시했다[13].

Shimabuku 등은 초등학생을 위한 프로그래밍 학습 프로그램을 개발하고 비버 챌린지 과업으로 평가[14]하였으며, Palts은 컴퓨팅 사고력 평가 모델을 주제로 연구를 진행하며 비버 챌린지 문항을 분석했다[15].

선행연구 결과를 보면 주로 컴퓨팅 사고를 위한 비버 챌린지의 과업에 포함된 문항 분석이나 교육 콘텐츠의 개발이 주를 이루고 있으나 실제 교사들이 비버 챌린지 문항에 대한 컴퓨팅 사고력의 관계나 이를 위한 평가 문항의 개발 방향에 대한 연구는 부족함을 알 수 있었다.

III. The Proposed Scheme

3.1 Analysis Target

본 연구에서 정보 교육에서 활용할 수 있는 평가의 기초 자료를 확보하고자 전 세계에서 진행되었던 비버 챌린지에서 제공하는 200개의 문항을 수집하여 컴퓨터과학 용어가 드러나지 않도록 일반적인 문제해결 방식으로 서술한 A유형과 컴퓨터과학 용어가 전면에 드러나게 서술한 B유형으로 분석하여 구분했다. 그리고 이 두 가지 유형의 문항과 설문 문항을 초중등 교사 72명에게 제공하여 교사들이 각 유형의 문항을 어떻게 인식하는지 조사했다.

설문에 참여한 교사들은 평균 15시간 이상의 SW교육 연수를 받았으며, 다수의 교사들이 블록 코딩이 가능했다. 또한, 교사들은 컴퓨터과학의 지식과 컴퓨팅 사고에 대한 보통 이상의 이해를 가졌다고 응답하였기에, SW교육과 컴퓨팅과학에 대한 관심이 있는 교사들이라고 판단했다. 분석 대상에 대한 구체적인 내용은 <Table 3>과 같다.

Table 3. the Basic Details of Those Surveyed

연구에 참여한 교사들의 컴퓨터 과학 지식에 대한 역량과 자신의 인식에 관한 내용은 <Table 4>와 같이 높다고 의견을 제시한 비율이 많았으며 연구에 참여한 교사들의 컴퓨팅 사고에 대한 인식 또한 <Table 5>와 같이 높은 것으로 제시했다.

Table 4. Teacher's Perception of Computer Science Knowledge

Table 5. Teacher's Perception of Computing Thinking

3.2. Analysis Method

본 연구에서는 정보 교육 평가 문항을 컴퓨터과학 용어가 드러나지 않게 서술한 A유형의 문항과 컴퓨터과학 용어가 전면에 드러나게 서술한 B유형의 문항으로 나누어 교사들에게 제시했다. A유형과 B유형의 문항의 서술 방식의 문항 사례는 Figure 1과 같으며 각각 10개의 유사 문항을 예시로 제시했다.

Fig. 1. Question Description Method (Type A and B)

이후 교사들에게 설문지를 통해 A유형의 문항들과 B유형의 문항들이 어떤 검사로 느껴지는지, 어떤 지식이 해당 문항들을 해결하는데 도움이 될 것 같은지, 어떤 역량을 측정하는 것으로 보이는지를 설문 조사를 통해 물었다. 두가지 문항에 대한 인식의 차이를 묻는 설문의 구체적인 내용은 <Table 6>과 같이 총 14문항으로 구성했다.

Table 6. Questionnaire

교사들에게 받은 응답을 A유형에 대한 응답과 B유형에 대한 응답으로 구분했다. 그리고 같은 설문 조사의 질문에 대하여 A유형과 B유형의 문항에서 인식의 차이가 발생하는지 통계적으로 분석했다.

IV. Research Results

4.1 Analysis of Differences in Perception according to Evaluation Description

A유형과 B유형의 문항에 대한 인식 차이를 분석하기 위하여 동일한 설문 질문에 대하여 유형별로 대응표본 t-검증을 실시했다. 그 결과 설문 조사 질문 5번, 6번, 7번, 8번, 10번, 11번, 13번, 14번 총 8개의 질문에서 5점 척도 답변의 평균값에 유의미한 차이가 발생하여 유의수준이 .05 미만으로 나타났다. 해당 설문 질문의 분석 결과는 <Table 7>과 같다.

Table 7. Comparison Results of Differences in Recognition of Type A and B

*p:<.05​​​​​​​

자세히 살펴보면 5, 6번 질문을 통해 교사들이 A유형(평균 3.549, 표준편차 .9069)보다 B유형(평균 4.085, 표준편차 .7121) 문항이 학생의 컴퓨터과학 지식, 코딩 능력을 평가하는데 더 도움이 된다고 인식한다는 것을 확인했다. 7번 질문을 통해 교사들은 A유형(평균 3.792, 표준편차 .8548)보다 B유형(평균 4.056, 표준편차 .7294)이 더컴퓨터과학(소프트웨어교육, 정보) 내용과 관련이 있다고 생각한다는 것을 확인하였으며, 8번 질문을 통해 풍부한 컴퓨터과학 지식이 A유형(평균 3.597, 표준편차 .9140)보다 B유형(평균 4.083, 표준편차 .7645)을 해결하는데 도움이 될 것으로 인식했다.

10번 질문에서는 A유형(평균 3.972, 표준편차 .8387)에 비해 B유형(평균 3.472, 표준편차 1.0066)을 해결하는데 컴퓨터과학 지식이나 코딩 기능이 필요하다고 인식한다는 것을 확인할 수 있었고, 11번과 14번 질문을 통해 A유형(평균 3.577, 표준편차 .7683 / 평균 3.292, 표준편차 .8465)보다 B유형(평균 3.873, 표준편차 .7916 / 평균 3.903, 표준편차 .8906)이 컴퓨팅 사고를 측정하는데 도움이 되며, 해당 평가를 위해 정보 교과 지식 학습이 필요하다고 인식하고 있었다.

이를 통해 두 유형 모두 정보 교육에서 활용할 수 있는 평가 문항임에도 컴퓨터과학 용어가 표면적으로 드러나는지 여부에 따라 평가 문항에 대한 교사들의 인식 차이가 발생했다. 즉, 비버 평가 문항에서 컴퓨터과학 용어가 표면에 직접적으로 드러나는 경우에 교사들이 해당 문항이 컴퓨터과학 개념, 컴퓨팅 사고력 평가 문항으로 인식하는 정도가 더 높았다는 것을 확인할 수 있었으며 이를 통해 일반적인 문제해결형 문항보다는 보다 직접적인 컴퓨터과학의 개념과 원리를 포함하는 형태의 문항으로 평가를 구성하는 것이 좋다는 결과를 확인했다.

4.2 Analysis of Differences in Perception of the Evaluation Competence

컴퓨팅 사고력 컴퓨팅의 기본적인 개념과 원리를 기반으로 문제를 효율적으로 해결할 수 있는 사고 능력이다. 그 하위 요소로 다양한 요소가 있으나 분해, 패턴인식, 추상화, 알고리즘, 자동화 등으로 구성된다. 이러한 하위요소는 창의성, 논리력, 문제해결력, 수리력, 융합력, 추론 능력 등의 일반화 능력이 포함된다.

본 연구에서 활용된 A유형과 B유형의 검사 문항이 어떤 역량을 측정하는 것으로 파악되는지에 관해 다중선택문항으로 물었다. 그 응답 결과는 <Table 8>과 같이 분석되었다.

Table 8. Multiple Choice Question Results

분석 결과를 살펴보면 응답 결과 A유형의 문항에서는 창의력을 측정한다는 답변이 11.2%인 반면, B유형은 5.6%로 그 수치가 크게 줄어들었다. 반대로 A유형의 문항에서 수치가 낮았던 수리력(3.9%), 추상화(5.6%), 자동화(5.6%)는 답변 수치가 2배 정도로 크게 증가하여 각각 수리력(8.8%), 추상화(8.8%), 자동화(10.2%)를 차지했다.

즉, A유형보다 B유형이 컴퓨팅 사고와 관련된 추상화, 자동화 역량을 측정하는 것으로 인식하는 교사가 더 많았기에, 교사들은 컴퓨터과학 용어가 표면에 직접적으로 드러났던 B유형 문항이 더 컴퓨팅 사고력 측정의 평가 도구에 적합하다고 인식한 것으로 보였다.

V. Conclusions

본 연구에서는 정보 교육에서 활용할 수 있는 평가의 서술 방식에 따른 교사들의 인식을 확인하고 더 나은 정보 교육 평가 방향을 제안하고자 했다. 이를 위해 비버 챌린지에서 사용된 평가 문항을 수집하여 컴퓨터과학 용어가 드러나지 않게 서술한 A유형과 컴퓨터과학 용어가 전면에 드러나게 서술한 B유형으로 구분한 뒤 교사들에게 제공하였고, 교사들이 각 유형의 문항을 어떤 시각으로 받아들이는지를 비교, 분석하였고 그 결과는 다음과 같다.

첫째, 교사들은 컴퓨터과학 용어나 원리가 평가 문항에서 직접적으로 드러나는 경우 해당 문항이 정보 교육 평가 문항으로 더 가치가 있는 것이라고 인식하는 경우가 많았다. 유의미한 설문문항 중 5,6,7,8,10,11,14번의 질문에서 A유형의 평균은 3.59, 표준편차는 0.23으로 나타났고, B유형의 문항 평균은 3.92, 표준편차는 0.21로 나타났다. 즉, 컴퓨터과학 용어가 드러나도록 서술한 평가 문항이 학생의 컴퓨터과학 지식, 코딩 능력을 평가하는데 적절하고, 해당 문항을 해결할 때 정보 교과 지식 학습이 필요하다 느꼈다고 응답한 경우가 유의미하게 많았다.

둘째, 각 서술 방식에 따른 평가 문항이 어떤 역량을 측정하는 것으로 파악되는지에 대한 다중선택문항 분석 결과 컴퓨터과학 용어가 표면에 드러나지 않는 경우 창의력을 묻는 문항(A타입 11.2%, B타입 5.6%)으로 보았으며, 컴퓨터과학 용어가 표면에 드러나는 경우 컴퓨팅 사고와 관련된 추상화, 자동화 역량을 측정하는 것으로 인식하는 경우가 2배 가량 높았다.

정보 교육의 평가는 단편적인 지식이나 사실보다는 개념, 사고 과정 및 기능, 가치 및 태도 등에 대한 평가 자료를 다양하게 수집하여 학습자의 교과 역량을 평가하도록 방향을 제시하고 있다.

그러나 평가를 계획하고 실시하는 주체인 교사들 또한 컴퓨터과학 용어, 즉 컴퓨터과학 지식이 표면에 드러나는 평가 문항이 아닐 경우 컴퓨팅 사고력을 평가하는 문항이라고 인지하지 못한다는 본 연구의 결과를 통해 향후 교사들의 컴퓨팅 사고력에 대한 깊은 이해, 다양한 정보 교육 평가 방식에 대한 접근과 활용 그리고 정보 교육 평가 문항에 대한 분석 및 개발을 도울 수 있는 가이드라인과 연수 등의 제공이 필요할 것으로 제언한다.