DOI QR코드

DOI QR Code

A Study on IT Curriculum Evaluation for College Students

  • Kim, Heon Joo (Global Leadership School, Handong Global University) ;
  • Kim, Kyung-mi (Global Leadership School, Handong Global University) ;
  • Yi, Kang (School of Computer Science and Electrical Engineering, Handong Global University)
  • Received : 2022.08.12
  • Accepted : 2022.09.28
  • Published : 2022.10.31

Abstract

We compared and analyzed the factors affecting the lecture evaluation of IT subjects, which are mandatory for all students of H University. The purpose of this study is to determine whether lecture satisfaction has a significant correlation with academic achievement, attendance rate, and categories of courses. In this study, we check whether the lecture satisfaction of IT liberal arts subjects that require a lot of computer-based practice differs from that of other liberal arts subjects. We used the 2,149 evaluation data of 12 lectures submitted by 2,322 students in the first and second semesters of year 2019 at University H. As for the lecture evaluation results, in addition to the evaluation scores of the multiple choice questions, the subjective questions were also quantified by classifying the statements submitted by the students into positive and negative types to make the results of the lecture evaluation objective. Our research results show that student group who have the higher attendance rates and academic achievements have higher level of lecture satisfaction and they also use more positive words than negative words in subjective evaluation questions. Students with the lower score use the more negative words, but the ratio between positive and negative words does not differ between groups. Higher attendance rates groups in the basic programming courses and software applications courses have higher lecture satisfaction ratio. But in the intermediate programming courses, the higher attendances rate and the lecture satisfaction do not have any significant relationship. Also students in the intermediate programming courses use more negative words than those in the basic programming courses.

본 연구는 H대학 전교생 필수인 IT 교과목 강의평가에 영향을 주는 요인에 대해 비교 분석하였다. 본 연구의 목적은 강의만족도가 학업성취도, 출석율, 수강과목군과 유의미한 상관관계를 가지는지 파악하는 것이다. 특별히 컴퓨터를 활용하는 실습이 많이 요구되는 IT 교양과목들의 강의 만족도가 일반 교양과목의 강의만족도 경향과 어떤 차이가 있는가를 확인하고자 하였다. 본 연구를 위해서 H 대학교에서 2019년도 1, 2학기에 진행한 교양 IT 교과교육과정의 12개 교과목에서 2,322명 수강생들이 제출한 2,149건 강의평가 결과를 자료로 사용하였다. 강의평가 결과는 객관식 선택형 문항의 평가점수 외에도 주관식 서술형 문항도 학생들이 제출한 서술문을 긍정형과 부정형으로 분류하여 계량화를 하여 강의평가 결과를 객관화하였다. 연구 결과, 출석률과 학업성취도가 높을수록 강의만족도가 높았으며, 주관식 문항에서는 부정 단어보다는 긍정 단어를 더 많이 사용하였고, 학점이 낮을수록 부정 단어를 더 많이 사용하였다. 초급프로그래밍이나 소프트웨어활용군 과목군에서는 출석률이 높을수록 강의만족도가 높았지만, 중급프로그래밍에서는 출석률과 선택형 평가점수는 상관관계가 없었으며 주관식 문항에서도 타 과목군보다 부정 단어를 많이 사용하였다. IT 교과목에 대한 강의평가 경향은 일반 교과목의 강의평가 경향과 유사한 면도 있지만 중급프로그래밍 교과목에서는 대체로 부정적인 평가를 하는 것으로 나타났다.

Keywords

I. Introduction

대학에서 강의평가는 수업의 질을 개선하고 예비수강생들에게 수업에 대한 정보를 제공하고, 교수의 승진이나 재임용을 하는 근거자료로 활용한다. 대학에서의 교육은 주로 교과교육과정인 수업을 통해 이루어지고, 수업의 질을 평가하고 유지하는 것은 대학 경쟁력을 제고하는데 필수 불가결한 요소이다[1]. 수업의 질을 평가하는 대표적인 잣대가 수강생들에 의한 강의평가 결과이며[2], 이는 대학교육 질 관리에 핵심적인 요소이다.

교수자는 수업 진행과 운영을 본래 목적에 맞게 하여야 하며 성실하게 준비해야 한다. 또한, 수강생들의 피드백을 통해 자신과 자신의 수업을 성찰하여 그 다음 학기 수업에 반영하려는 시도를 하면서 꾸준히 성장하는 모습을 보여야 한다. 그러한 노력의 일환으로 강의평가 결과뿐 아니라 수강생들과의 다양한 방법으로 교류하는 것은 바람직하다[1].

국내 대학의 강의평가는 1990년대부터 일부 교수들이 자발적으로 수업 개선을 위해 실시하였다[3][4]. 그 후 정부의 재정지원 사업과 대학종합평가에서 중요한 평가항목이 되면서 대학에서는 전면적으로 시행하고 있다. 이렇게 강의평가 시행이 확대되어서 체계적인 연구 결과가 적용하지 못한 채로 강의평가 결과 활용이 자리잡게 되면서, 점수화 가능한 항목을 수강생들의 한 번의 평가로 정해지기 때문에 무성의한 응답이나 모든 문항에 같은 번호를 선택하는 등 문제점도 드러나고 있다[5][6].

현재 시행되는 선택형과 서술형 강의평가 결과만으로는 실제적인 수업 개선을 위해 필요한 정보가 부족하기 때문에 강의 개선에 관한 수강생들의 필요를 파악하는 질문이 추가될 필요가 있다[7].

통상적으로 대학교에서 실시되는 강의평가는 리커트 5점 척도인 선택형 문항이 대부분이며, 강의평가를 실시할 때 교수자의 발언이나 수강생 숫자나 공지된 성적에 대한 만족도 등 다양한 요소가 직접적인 영향을 미칠 수 있다[8]. 또한, 선택형 문항에 대한 응답이 무성의한 경우 강의 평가 결과에 대한 신뢰도가 크게 떨어진다[6]. 이와 관련된 선택형 강의평가 문항에 대한 일관적 응답을 연구한[10][11][12]는 50% 이상의 수강생들이 동일한 응답을 했다고 지적하였다. 전술한 문제점들을 가진 채로 강의평가 결과는 대학교에서 다양하게 활용되면서, 약간의 보완을 위해 서술형 강의평가 문항이 추가되었지만, 기술하는 응답자 수가 적고, 짧고 의미없는 문장으로 제출하고 있다. 또한, 정부 재정지원사업의 지표나 교수평가 시, 선택형 강의평가 평균점수만을 활용하기 때문에 주관식 문항에 대한 중요성을 인식하기 어려운 실정이다.

본 연구에서는 수강생들의 의견을 파악하기 위하여 선택형 문항과 서술형 문항을 통하여 분석해 보려고 한다. 선택형 강의평가는 문항들의 평균점수를 사용하고 서술형 문항은 긍정적인 표현, 부정적인 표현으로 나누었다. 이 결과와 수강생들의 출석율, 학업성취도와 수강과목군의 상관 관계를 분석하려고 한다. 분석 대상은 H 대학교에서, 2019년 2학기 진행한 교양 IT 교과교육과정의 12개 교과목, 2,322명 수강생들이 제출한 2,149건 강의평가 결과이다. 이번 연구를 통해 해당 수업의 질을 평가하고 개선하는 기초자료로 활용하려고 한다. 특별히 컴퓨터를 활용하는 실습이 많이 요구되는 IT교과목의 강의만족도가 일반 교양과목의 강의만족도 경향과 어떤 차이가 있는가를 확인하고자 한다.

위와 같은 목적을 달성하기 위해, 다음과 같은 연구문제를 기반으로 선택형, 서술형 강의만족도 결과와 출석률, 학업성취도와 수강과목군의 관련성을 확인하였다.

첫째, 수강생의 출석률과 강의만족도 결과는 상관관계가 있는가?

둘째, 수강생의 학업성취도와 강의만족도 결과는 상관관계가 있는가?

셋째, 수강과목군과 강의만족도 결과는 상관관계가 있는가?

본 논문은 1장은 서론, 2장 선행연구, 3장 연구 방법 및 연구 절차, 4장 연구결과와 5장 결론 및 논의로 구성하였다.

II. Preliminaries

강의평가 관련 선행연구에서 수강생의 주요 요인으로는 성별, 학년, 전공, 학업성취도, 출석률 등이 있었고, 군필 여부, 수강생의 강의 체감난이도, 수강동기, 무성의응답 빈도 등이다. 선행연구 결과를 살펴보면, 수강생의 성과면에서는 대부분의 연구에서 남학생이 여학생보다 강의평가 점수가 높은 것으로 나타났으며[1][13][14], 일부 연구에서는 차이가 없다고 보고하였다[15]. 또한 고학년일수록 강의평가 점수가 높고 학업성취도와 수업참여도가 높을수록 강의평가 점수도 높게 나타났다[13][14][15].

동일한 환경에서 진행된 다섯 학기 수업의 강의평가 결과와 출석률을 살펴본 결과 수강생들의 출석률이 낮은 학기는 강의만족도 평가점수가 낮게 나타났다[16]. 한편 수강생들은 강의평가 시 전공과목을 가르치는 교수의 수업에서 교양과목 수업보다 높은 강의평가 점수를 부여하는 성향을 보인다[17].

또한 온라인 대학 수강생들은 강의평가 참여율이 0% 또는 100%로 양극단에 몰려 있으며, 평가문항 간 평정일관성과 수강과목 간 평정일관성은 상호관련성이 아주 높다고 했다[18].

강의평가 서술형 문항 분석결과, 교과목 특성에 따라 서술형 응답 문장 길이가 차이나며, 강의평가 점수와 서술형 응답 문장 길이의 관계를 분석하니 문장이 길어질수록 강의평가 점수는 낮아지는 경향이 나타났다[19]. 대학 소프트웨어 과목 강의평가 서술형 응답 분석 결과, 수강생들은 실습위주의 코딩 조별활동, 해당 교과목의 필요성에 대한 동기부여 제시, 적절한 난이도와 분량의 과제, 적극적인 조별활동 참여 문화 조성, 평가에 대한 시기적절한 피드백 제공이 필요하다고 응답하였다[20].

강의평가 관련 연구에서 교수자 요인으로는 교수 직위, 나이, 성별, 강의경력 등이 있으며, 교과이수구분 등이 있다. 교수 직위의 경우, 전임이 비전임보다 강의평가 점수가 높으며[21][22], 일부 전임과 비전임간에 차이가 없다는 연구 결과도 있다[14]. 교수 나이가 적을수록 강의평가 점수가 높다는 결과[14][15]가 있으며, 강의경력이 많을수록 강의평가 점수가 낮다고 보고하였다[23].

한편 강의평가에 영향을 미치는 중간고사, 기말고사, 출석, 숙제 등 평가 비율의 영향력은 출석점수의 비중이 높을수록 강의평가 점수의 평균이 높게 나타났다[24]. 교과이수구분으로는 전공 교과목이 교양(비전공) 교과목 보다, 선택 교과목이 필수 교과목 강좌보다 강의평가 점수가 높게 나타난다고 보고하지만[14][21][25], 전공 교과목과 교양(비전공) 교과목의 강의평가 결과가 통계적으로 유의한 차이가 없다는 결과도 있다[14][26].

강의평가 관련 연구에서 수업조건은 수강인원, 사이버 강의여부, 강의언어등이 있다. 합리적인 예상이 되듯이, 수강인원이 적을수록 강의평가 점수가 높다고 보고되었지만[27], 통계적으로 유의한 영향을 주지 못한다는 결과[14]도 나타났다. 반대로 수강인원이 많을수록 강의평가 점수가 높다는 결과[28]도 보고되었는데, 이 결과는 사이버강의 수강생들의 응답이다.

한편 강의언어의 경우 강좌평균성적, 수강인원, 전공분야 등의 영향을 통제했음에도 영어로 진행되는 수업이 한국어로 진행되는 수업보다 강의에 대한 전반적인 만족도가 높았다고 보고한다[29].

강의평가에 관한 선행연구 중 기존의 강의평가 문항의 문제점을 개선하는 다양한 형태의 문항 개발 연구[30][31]가 지속적으로 진행되어 왔으며, 시행된 강의평가 결과의 타당성과 신뢰도를 분석한 연구도 있고[9][10][26], 좋은 강의의 개념을 교수자와 수강생 입장에서 파악한 연구도 있다[32][33].

대학 전교생 대상 IT교양 또는 소프트웨어 기초교육과정 교육과정 관련 선행연구는 다음과 같다. 비전공자에게 적합한 교육 콘텐츠를 탐구하는 연구가 주로 이루어졌다. 컴퓨터과학 비전공 학생 대상으로 문제 중심 프로그래밍 교과로 설계 및 운영된 수업에서, 문제의 용도를 문법 설명보조재로 확대하고 전공 친화형 문제 비율을 확대 운영한 사례에서는 학습자들의 응답이 더 높은 점수에 집중되었고 응답 평균은 약 7% 향상되었다고 한다[34]. 또한 비전공자를 위한 인공지능 기초 교양 수업으로 인공지능 개념 학습, 인공지능 체험 학습, 인공지능 프로그램 학습, 인공지능 응용 학습을 제시하였다[35],

예술관련 전공자들은 특히 IT교양에 관심이 낮은 편이라, 이 학생들을 대상으로 흥미를 끌어낼 수 있는 소프트웨어 기초교육 내용으로, 수학 관련 콘텐츠에서 전공별 시각 관련 콘텐츠로 교육 내용을 수정하여 수업을 진행 후 SW교양 교육에 대한 만족도를 분석하였다[36].

전교생 대상 소프트웨어 기초교육 운영방안에 관한 연구와 효과성에 관한 연구로는, 전교생 대상 파이썬 프로그래밍 수업을 플립드 수업 분반과 일반 수업 분반으로 나누어서 프로그래밍 주제별 학업 성취도를 비교 분석하여 플립드 수업의 효과가 높은 것을 확인하였다[37]. 전교생 대상 소프트웨어 기초교육 전공 결정에 미치는 영향에 대한 연구하여. 소프트웨어 교육의 효용성을 알게 하였다[38].

III. The Proposed Scheme

3.1 Research Method

본 연구에서는 H대학 재학생들이 졸업 필수 7학점, 최소 3개 교과목을 수강하는 프로그래밍 과목 과 소프트웨어 활용 과목에 대한 강의평가를 비교 분석하였다. 2019년 각 과목을 수강한 학생들의 수와 강의평가에 응답한 학생들의 수는 Table 1과 같이 조사되었다. 학생들이 성적을 확인하기 위해서는 반드시 설문에 참여하도록 하는 시스템 때문에 응답비율이 92.5%로 높게 나타났다.

Table 1. Number of Participants and Respondents in Each Subject

CPTSCQ_2022_v27n10_255_t0001.png 이미지

본 연구에서는 학생들이 수강한 과목과 해당 과목의 학점, 출석일 및 결석일 그리고 강의만족도를 기초로 분석하였다. 강의만족도는 Table 2에서 주어진 것처럼 13개의 객관식 평가와 1개의 주관식 평가로 이루어진다. 객관식 평가는 모두 리커드식 5점 척도로 이루어졌으며 이 중에서 마지막 종합평가 문항인 “이 수업에 대한 항목별 평가를 포함한 종합적인 만족도”에 대한 응답을 기초로 분석하였으며 주관식 평가는 평가에 임한 모든 응답에 대해 분석하였다.

Table 2. Lecture Satisfaction Assessment Questions

CPTSCQ_2022_v27n10_255_t0002.png 이미지

3.2 Research Procedure

2019년 IT교과목을 수강한 학생들의 강의만족도 평가점수를 요약한 결과는 Table 3과 같다.

Table 3. Course Satisfaction Summary

CPTSCQ_2022_v27n10_255_t0003.png 이미지

IT교과목을 포함하여 2019년도 개설된 모든 교양과목의 강의만족도 평균점수는 4.32인 것과 비교하면 IT교과목의 강의만족도는 일반 교양과목보다는 낮음을 알 수 있다. 이는 IT교과목에 대한 학생들의 태도와도 관련이 있으므로 IT과목 내에서 평가가 어떻게 달라지는가에 대한 분석이 필요하다. 먼저 일반적인 강의평가에 영향을 미치는 출석률과 학점에 따른 변화를 살펴보았으며 다음으로 IT 과목군에 따라 강의평가가 어떻게 변하는지 살펴보았다. 또한 주관식 평가에 대해서는 군산대학교에서 발표한 감성사전을 활용하여 R version 4.0.2로 분석하였다. 긍정 또는 부정으로 분류되지 않은 중립적 응답은 통계처리에서 제외하였다. 전체 2322명 중에서 주관식 문항에 응답한 사람은 333명이며 이중에서 긍정단어수는 181개이고 부정단어수는 99개로 나타났다.

3.3 Research Conclusion

3.3.1 Comparison of Lecture Evaluation According to Attendance Rate

일반적으로 출석률과 강의평가는 상관이 있는 것으로 알려져 있는데 본 강의평가에 참여한 2149명의 출석률과 강의평가에 대해서도 조사하였다. H 대학에서는 16주의 학사일정으로 주 2회 수업으로 총32회 강의가 이루어진다. 중간고사와 기말고사 주를 고려하여 보통 30회 이상 출석은 수업 시간에 매우 충실하게 참여한 학생으로 간주할 수 있으며 나머지 학생들에 대해서는 주 2회 수업을 고려하여 그룹을 나누었다. 즉, 학생들의 출석일에 따라 30일 이상, 28일 이상 30일 미만, 26일 이상 28일 미만, 24일 이상 26일 미만 그리고 24일 미만인 5개의 그룹으로 나누어 분석하였다. 출석일이 24일 미만인 학생들은 수업에 대한 흥미가 없는 것으로 간주할 수 있으나 출석일이 중간그룹인 학생들의 수업만족도를 살펴보기 위하여 출석일은 일주일 단위로 나누어서 그룹화하였다. Table 4는 출석일별 인원, 평균과 분산치를 나타낸다.

Table 4. Lecture Satisfaction by Attendance Day

CPTSCQ_2022_v27n10_255_t0004.png 이미지

5개 그룹의 강의평가만족도 평균이 동일한가에 대해 검정하기 앞서 먼저 각 그룹의 분산이 동일한가에 대한 분산의 동질성 검정을 실시하였다. 검정결과 Levene 검정통계량 값이 2.561이고 p-value가 0.037로 유의수준 5%에서 분산이 모두 동일하다는 귀무가설이 기각되었다. 따라서 일반적으로 사용하는 ANOVA 검정 대신 Welch의 검정통계량을 사용하여 각 그룹의 평균이 동일한가에 대해 검정하였다. 그 결과 Welch의 검정통계량 값은 9.419이고 p-value 값은 0.000으로 유의수준 5%에서 5개 그룹의 강의평가 평균이 모두 동일하다는 귀무가설을 기각한다. 즉, 출석일에 따라 강의평가가 다르다는 것을 알 수 있다. 대체로 출석일이 많을수록 강의평가만족도는 높은 것으로 나타났다. 또한 각 그룹의 크기와 분산이 동일하지 않으므로 Games-Howell 방법과 Dunnett T3 사후분석을 실시하였으며 두 방법 모두 동일한 결과를 보였다. Table 5는 Games-Howell 사후검정 결과이다.

Table 5. Post-hoc Test by Attendance Day

CPTSCQ_2022_v27n10_255_t0005.png 이미지

mean difference(p-value)

** : p-value < 0.01

사후검정 결과를 살펴보면 출석일이 24일 이상인 그룹들의 강의만족도는 동일하다고 할 수 있다. 반면 출석일이 24일 미만인 그룹의 강의평가는 타 그룹과 비교하면 강의 만족도가 가장 높게 나타났다.

주관식 문항 응답과 출석률과의 상관이 있는가에 대해 추가 분석한 결과를 Table 6에 나타내었다.

Table 6. No. of Positive/Negative Words by Attendance Day

CPTSCQ_2022_v27n10_255_t0006.png 이미지

( ) : % of Positive/Negatibe Words

출석일과 주관식 응답에 사용한 긍정과 부정의 단어수가 상관이 있는가에 대한 카이제곱 분석을 실시하였으며 그 결과 카이제곱 검정통계량의 값은 11.850이고 p-value 는 0.018로 유의수준 5%에서 귀무가설을 기각한다. 따라서 출석일과 주관식 응답에서 사용한 긍정/부정 단어 수는 차이가 있다는 것을 알 수 있다. 다만 출석일이 24일에서 25일인 그룹에서 주관식 응답비율이 타 그룹보다 매우 낮게 나타난 것에 대한 추가 분석이 필요한 것으로 판단된다. Fig. 1 에서 출석일별로 긍정 부정 응답율을 막대그래프로 표현하였다.

CPTSCQ_2022_v27n10_255_f0001.png 이미지

Fig. 1. Percentage of Positive/Negative Words by Attendance Rate

3.3.2 Comparison of Lecture Evalustion According to Academic Achievement

수강한 과목의 학점이 높은 학생들의 강의만족도가 높은 것으로 나타난다. 본 연구에 참여한 학생들은 본인의 최종학점을 알기 이전에 강의평가를 실시하였다. 일반적인 학점 분류대신 H 대학의 학점 비율과 평가 비율을 고려하여 상급에 해당하는 A+와 A0를 성적의 최상위 그룹, B+를 상위그룹, B0를 중위그룹, C+와 C0를 하위그룹 그리고 D+이하를 최하위 그룹으로 나누어서 분석하였다. 이렇게 분류함으로 성적이 상위와 중위 그룹의 강의 만족도의 상세한 차이를 알고자 한다. Table 7는 학업성취도별 인원, 평균과 분산치를 나타낸다.

Table 7. Lecture Satisfaction by Grade

CPTSCQ_2022_v27n10_255_t0007.png 이미지

5개 그룹에 대한 분산의 동질성 검정에서 분산이 동일하지 않은 것으로 나타났기 때문에(Levene 통계량=22.419, p-value=0.000) Welch 검정으로 평균의 동질성 검정을 실시하였다. Welch 통계량의 값은 26.166이고 p-value는 0.000으로 유의수준 5%에서 5개 그룹의 평균이 동일하다라는 귀무가설을 기각한다. 즉, 학업성취도 그룹에 따라 강의만족도는 차이가 있는 것으로 나타났으며 학업성취도가 높을수록 강의만족도도 높게 나타났다. 또한 Games-Howell 방법으로 사후분석 검정결과 Table 8과 같이 나타났다. 성적이 최상위 그룹의 강의만족도가 가장 높게 나타났으며, 상위와 중위 그룹의 강의만족도는 차이가 없는 것으로 나타났다. 즉, B+ 성적과 B0 성적을 받은 학생들의 강의만족도에는 차이가 없는 것으로 나타났다.

Table 8. Post-hoc Test by Grade

CPTSCQ_2022_v27n10_255_t0008.png 이미지

mean difference(p-value)

** : p-value < 0.01

학업성취도에 따라 주관식 응답에 사용한 긍정과 부정 단어 사용수에 차이가 있는가에 대한 분석결과가 Table 9이다. 카이제곱 검정통계량의 값은 1.979이고 p-value는 0.740으로 유의수준 5%에서 차이가 없는 것으로 나타났다.

Table 9. No. of Positive/Negative Words by Grade

CPTSCQ_2022_v27n10_255_t0009.png 이미지

( ) : % of Positive/Negatibe Words

Except for 25( grage P or PD)

전체적으로 부정 단어보다는 긍정 단어를 더 많이 사용하였으며 학점이 낮을수록 부정 단어를 더 많이 사용하였으나 비율에서는 학업성취도에 따라 통계적으로는 차이가 없는 것으로 나타났다.

Fig. 2 에서 학업성취도별로 긍정 부정 응답율을 막대그래프로 표현하였다.

CPTSCQ_2022_v27n10_255_f0002.png 이미지

Fig. 2. Percentage of Positive/Negative Words by Academic Achievement

3.3.3 Comparison of Lecture Evaluation According to Subject Area

앞선 분석결과를 보면 출석률과 학업성취도가 높을수록 강의평가 만족도가 높아지는 것을 알 수 있다. 이는 IT교과목이 아닌 일반 과목에서도 유사하게 나타나는 현상이라고 할 수 있다. 본 연구에서는 IT교과목을 기초프로그래밍 교과목과 중급프로그래밍 교과목 그리고 소프트웨어활용군으로 나누어 각 과목군에 따라 강의만족도가 차이가 있는가에 대해 살펴보았다. 기초프로그래밍은 프로그래밍 언어를 시작하는 단계에 해당하는 과목으로 block coding과 text coding을 각각 다루는 과목으로 이루어져 있으며 중급프로그래밍 언어는 기초프로그래밍 과목을 이수한 후 수강할 수 있는 과목으로 text coding만으로 이루어진다. 소프트웨어 활용군에 해당하는 과목은 프로그래밍 이외 과목들로 이루어져 있다. 과목군별 강의만족도 점수는 Table 10과 같이 나타났다.

Table 10. Lecture Satisfaction by Subject Area

CPTSCQ_2022_v27n10_255_t0010.png 이미지

3개 과목군의 강의만족도가 동일한가에 대한 검정에서는 Welch 통계량의 값은 41.052이고 p-value가 0.000으로 나타났다. 이는 유의수준 5%에서 과목군에 따라 강의 만족도가 동일하지 않음을 나타낸다. 프로그래밍 과목군보다는 소프트웨어활용군 과목에서 강의만족도가 높은 것으로 나타났다. 이는 대체로 쉬운 과목일수록 강의만족도가 높게 나타나는 경향으로 일반 과목과도 유사한 형태를 가짐을 알 수 있다. 과목군별 강의만족도의 분포는 Fig. 3에서와 같이 기초프로그래밍과 중급프로그래밍은 유사한 모양을 가지지만 소프트웨어활용군 과목에서는 강의만족도가 낮은 쪽에서 이상값(outlier)가 많은 것으로 나타났다. 강의만족도 평균이나 표준편차에서는 발견할 수 없는 것으로 소프트웨어활용군에 속하는 과목들의 강의만족도가 높은 점수에 치우치는 성향이 뚜렷함을 알 수 있다.

CPTSCQ_2022_v27n10_255_f0003.png 이미지

Fig. 3. Satisfaction Level by Subject Area

Table 11은 과목군별로 주관식 응답의 긍정 부정 수치와 비율을 보여준다. 전체적으로는 부정 단어보다는 긍정 단어를 더 많이 사용하기는 하였으나 분포를 살펴보면 중급프로그래밍 과목에서는 타 과목군보다 부정 단어를 많이 사용하였다.(카이제곱 검정통계량 = 9.025, p-value=0.011)

Table 11. No. of Positive/Negative Words by Subject Area

CPTSCQ_2022_v27n10_255_t0011.png 이미지

( ) : % of Positive/Negatibe Words

Fig. 4 에서는 과목군별로 주관식 응답의 긍정 부정 비율을 막대그래프로 나타내었다.

CPTSCQ_2022_v27n10_255_f0004.png 이미지

Fig. 4. Percentage of Positive/Negative Words by Subject Area

앞서 출석률이 높을수록 강의만족도는 높은 것으로 나타났는데 과목군 별로도 동일한 결과가 나타나는가에 대해 분석하였다. 그 결과 Table 12에 나타난 것처럼 초급 프로그래밍의 경우에는 출석률이 높을수록 강의만족도는 높은 것으로 나타났다. 반면 중급프로그래밍에서는 출석률과 강의만족도는 상관이 없는 것으로 나타났다. 특이한 점은 소프트웨어활용군에서는 출석률이 가장 저조한 그룹에서 강의만족도가 가장 높은 것으로 나타났다.

Table 12. Lecture Satisfaction by Attendance Day

CPTSCQ_2022_v27n10_255_t0004.png 이미지

* F value - when the variance between groups is equal

** Welch value – when the variance between groups is not equal

Table 13은 학업성취도에 따른 출석일수에 대한 교차표이다.

Table 13. Lecture Satisfaction by Grade x Attendance Day

CPTSCQ_2022_v27n10_255_t0013.png 이미지

또한 학업성취도와 강의만족도 분석 결과에서 학업성취도가 높을수록 강의만족도는 높게 나타났는데 이는 과목군별 비교에서도 동일한 결과가 나타났다. 즉 과목군에 상관없이 학업성취도가 높을수록 강의만족도가 높게 나타났다.

IV. Conclusions

본 연구에서는 H대학 재학생들이 졸업 필수인 IT교과목 7학점 3개 교과목으로 수강하는 프로그래밍 과목과 소프트웨어 활용 과목에 대한 강의만족도와 수강생요인을 비교 분석하였다. 이 과정은 교양과정을 통해 제공되며, 강의만족도의 선택형 평가 점수와 서술형 문항의 내용을 긍정, 부정으로 나누어서 수강생들의 출석, 학업성취도와 수강과목군과의 상관관계를 분석해 보았다. H 대학교에서, 2019년도 1, 2학기에 진행한 교양 IT 교과교육과정의 12개 교과목, 2322명 수강생들이 제출한 2149건 강의평가 결과를 대상으로 분석하였다.

다음과 같은 연구문제를 기반으로 선택형, 서술형 강의만족도 결과와 출석률, 학업성취도와 수강과목군의 관련성을 확인하였다.

첫째, 수강생의 출석률과 강의만족도 결과는 상관관계가 있는가?

둘째, 수강생의 학업성취도와 강의만족도 결과는 상관관계가 있는가?

셋째, 수강 과목군과 강의만족도 결과는 상관관계가 있는가?

연구 문제를 기반으로 연구 결과 기술하면, 첫째, 출석률과 강의만족도 분석 결과, 선택형 강의만족도 결과는 전반적으로 출석률이 높은 학생일수록 선택형 강의만족도는 높은 것으로 나타났다. 주관식 문항에서는 출석일이 높을수록 긍정단어를 부정단어보다 더 많이 사용하였다. 출석일별로 살펴보면 출석일이 24~25일인 학생들의 선택형 강의만족도 평균이 가장 낮게 나타났으며 반면, 24일 미만인 그룹의 강의만족도 평균이 가장 높게 나타났다.

둘째, 학업성취도와 선택형 강의만족도 분석결과 전반적으로 학업성취도가 높은 학생일수록 강의만족도는 높은 것으로 나타났다. 주관식 문항에서는 전체적으로 부정 단어보다는 긍정 단어를 더 많이 사용하였으며, 학점이 낮을수록 부정 단어를 더 많이 사용했지만 비율에서는 학점별로 차이가 없는 것으로 나타났다.

셋째, IT 수강 교과목군에 따라서는 강의만족도가 차이가 있는 것으로 나타났다. 소프트웨어 활용군에 있는 과목들이 기초프로그래밍이나 중급프로그래밍 과목들보다는 강의만족도가 높게 나타났다. 이는 어려운 과목일수록 출석이 강의만족도에 영향을 미치지 않는 것으로 유추할 있다. 주관식 문항에서는 전체적으로는 부정 단어보다는 긍정 단어를 더 많이 사용하였으나, 중급프로그래밍 과목에서는 타 과목군보다 부정 단어를 많이 사용한 것으로 나타났다. 다만 주관식 평가에 응답한 비율이 약 15%정도로 높지 않기 때문에 이에 대한 추가 연구가 필요하다.

추후 연구가 필요한 주제는 첫째, 출석일이 24~25일인 학생들의 선택형 강의만족도 평균이 가장 낮게 나타났는데 이 원인이 무엇인지 분석해 볼 필요가 있다. 둘째, 중급 프로그래밍 과목에서는 타 과목군보다 부정 단어를 많이 사용하였는데 그 원인이 무엇인지 찾아보는 것이다. 제시한 주제들을 연구하여 수강생들의 필요를 충족시킬 수 있는 교수 방법이나, 과정을 조정하는데 기반 자료로 활용하려고 한다.

본 연구를 통해 학업성취도와 출석율이 강의만족도와 비례한다는 것을 확인하였다. 이는 소프트웨어 교양 교과목에서의 강의평가 경향과 일반 교과목에서의 강의평가 경향이 유사하다는 의미이다. 따라서 소프트웨어 교과목을 운영할 때도 이미 잘 알려진 다양한 교육학적인 노우하우를 활용하는 것이 바람직 할 것이다.

References

  1. Choonho RYU, Joungho Lee, "A Study on Student Factors Associated with the Student Evaluation of Teaching at Universities" " Korean management review, vol. 32, no. 3, pp. 789-807. 2003, UCI : G704-000126.2003.32.3.004 G704-000126.2003.32.3.004
  2. H.J. Song, "Study on Developing Inventory of Students Satisfaction in University", Journal of Korea Contents Association, vol. 16, no.8, pp. 556-567, 2016. DOI:10.5392/JKCA.2016.16.08.556
  3. K.S. Han, S.H. Choi, J-C. Park, "Problems in Mandatory Course Evaluations", Communications for Statistical Applications and Methods, vol 18, no. 1, pp. 35-45, 2011. UCI: G704-000420.2011. 18.1.014 https://doi.org/10.5351/CKSS.2011.18.1.035
  4. Mi-Sook Cho, Chang-suk Kim, "Students'Awareness of Questions for Course Evaluation in Department of Dental, Journal of Korea Contents Association, vol. 14, no. 2, pp. 450-456, 2014. DOI : 10.5392/JKCA.2014.14.02.450
  5. Innwoo Park, "A study on effects of student ratings of their learning on consistent responses in student ratings of college teaching", The Korean Journal of Educational Methodology Studies, vol. 24, no. 1, pp. 257-281, 2012.DOI : 10.17927/tkjems.2012.24.1.257
  6. Yong-Tae Kim, Seongyoon Kim, SangJun Lee, "The Practicability of the Sample Course Evaluation System through Simulation", ournal of Korea Contents Association, vol. 18, no. 2, pp. 468-475, 2018. DOI : 10.5392/JKCA.2018.18.02.468
  7. Heewon Lee, Hye-Ree Min, "Development of concrete method through which the course evaluation feedback system could contribute to improving the quality of higher education", The Journal of Yeolin Education, vol. 21, no. 3, pp. 257-283, 2013. UCI : G704-001282.2013.21.3.004 G704-001282.2013.21.3.004
  8. Jung Woong Choi, Dongkyu An, "A Study on the Data Analysis of the Written Comments in Lecture Evaluation", Journal of Digital Convergence, vol. 14, no. 11, pp. 101-106, 2016. DOI : 10.14400/JDC.2016.14.11.101
  9. Kwon O Young, Young-tae Park, Il-Kyu Hwang, Tae-WOn Ahn, KyeongSook Kim, "A Study on the Reliability Improvement for the Course Evaluation System", Journal of Engineering Education Research, vol. 17, no. 2, pp. 35-41, 2014. DOI : 10.18108/jeer.2014.17.2.35
  10. Myoungwha Kim, "Validity and Reliability of Lecture Evaluation", Asian Journal of Education, vol. 6, no. 3, pp. 1-24, 2005. UCI : G704-000733.2005.6.3.005 G704-000733.2005.6.3.005
  11. Kilseok Yang, "A study on the students' consistent responses to course evaluation at universities". Journal of Educational Evaluation, vol. 27, no. 2, pp. 255-278, 2014. UCI : G704-000051.2014.27.2.014 G704-000051.2014.27.2.014
  12. Kyungsun Hong, "An analysis of students' response to course evaluation", Journal of Korean Association for Educational Information and Media, vol. 12, no. 2, pp. 97-127, 2006. UCI : G704-000750.2006.12.2.007 G704-000750.2006.12.2.007
  13. J.-M. Lee, Young-Joon Cha, "Course evaluation model using standardized transformation by group in student evaluation of teaching", Journal of the Korean Data And Information Science Sociaty, vol.23, no. 1, pp. 143-150, 2012. UCI : G704-000605. 2012.23.1.009 https://doi.org/10.7465/jkdi.2012.23.1.143
  14. Bo-Keum Choi, Jae-Woong Kim, "Multilevel Analysis of the Effects of Student and Course Characteristics on Student Evaluations of University Teaching", The Journal of Yeolin Education, vol. 21, no. 1, pp. 77-100, 2013. UCI : G704-001282.2013.21.1.010
  15. Shin-Il Han, "Research on Student Ratings of University Teaching : Analysis of Determinants related to Professor, Student, and Class", The Journal of Educational Administration and Policy, vol. 19, pp. 247-266, 2001.
  16. Jin-Ho Choi, "The Relation of Attendance Rate and Course Evaluation in Computer Practice Liberal Education", Journal of the Korea Institute Of Information and Communication Engineering, vol. 17, no. 5, pp. 1233-1238, 2013. DOI : 10.6109/jkiice.2013.17.5.1233
  17. Hanho Jeong, "A study on students awareness of course evaluation: focusing on integrity of responsive attitudes and satisfaction", The Korean Journal of Educational Methodology Studies, vol. 28, no. 3, pp. 443-470, 2016. https://doi.org/10.17927/TKJEMS.2016.28.3.443
  18. Euilkil Lee, Yun-Jung Kim, Joohae Kim, "The effects of learners' rating tendencies on the course evaluation results in an online university", The Journal of Korean Association of Computer Education, vol. 19, no. 3, pp. 55-66, 2016. DOI : 10.32431/kace.2016.19.3.005
  19. Jong Ho Shin, "Analysis of Student Response status and Characters of Descriptive Course Evaluation - Focus on A University Case", CNU Journal of Educational Studies, vol. 40, no. 3, pp. 61-81, 2019. DOI : 10.18612/cnujes.2019.40.3.61
  20. Keunju Park, "Network Analysis for the Evaluation of Software Education", Global Creative Leader: Education & Learning, vol. 9, no. 4, pp. 67-88, 2019. DOI : 10.34226/gcl.2019.9.4.67
  21. Dong Myong Lee, "The Effect of Context on the Relationship between Faculty Teaching and Student Satisfaction", Productivity Review,, vol. 13, no. 2, pp. 105-130, 1999.
  22. Joonsuk Chu, Youngsoo Lee, "A Study on the Adjustment Method of Lecture Evaluation", Collection of Thesis, vol. 11, pp. 97-126, 2003.
  23. Eugene Yoon, "A Study on the Variables Affecting the Evaluation of Lectures", Korean Journal of General Education, vol. 12, no. 5, pp. 185-210, 2018.
  24. Wansung Park, A study on Teaching Methods And Lecture Evaluation of General Subjects, Korean Journal of General Education, vol. 4, no. 2, pp. 29-44, 2010. UCI : G704-SER000001745.2010.4.2.004 G704-SER000001745.2010.4.2.004
  25. Jangsik Cho, Changwan Kang, SeungBae Choi, "Comparison on equating methods for course evaluation", Journal of the Korean Data And Information Science Sociaty, vol. 20, no. 1, pp. 65-75, 2009. UCI : G704-000605.2009.20.1.003 G704-000605.2009.20.1.003
  26. Sichang Yum, "Validating Students' Ratings of Teaching Scale and Analyzing Multilevel Models", Journal of Educational Evaluation, vol. 21 no. 2, pp. 25-52, 2008. UCI : G704-000051. 2008.21.2.005
  27. Min-Woo Nam, Eun Soon Cho, "A study of college semester-end lecture evaluation weight control and class size difference verification", The Korean Journal of the learning Sciences, vol. 8, no. 2, pp. 153-168, 2014. UCI : G704-SER000003049.2014.8.2.001
  28. Eun-Jung Jang, Wan-Young Ryoo, "A case study of the students' course evaluation and the learning achievement in cyber university", Journal of Educational Technology, vol. 21, no. 2, pp. 103-126, 2005. https://doi.org/10.17232/KSET.21.2.103
  29. Haesook Park, Innwoo Park, "The Effect of Instructional Language on Overall Course Satisfaction", The Korean Journal of the learning Sciences, vol. 37, no. 3, pp. 319-338, 2006. UCI : G704-001618.2006.37.3.002 G704-001618.2006.37.3.002
  30. JiYeon Lee, Yeong-Ju Lee, "Developing and Validating the Lecture Evaluation for Enhancing Teaching Competency", Soonchunhyang Journal of Humanities, vol. 37, no. 4, pp. 91-120, 2018. DOI : 10.35222/IHSU.2018.37.4.91
  31. Yoon-Hee Choi, Rin Yun, "A Study on Developing and Validating the Lecture Evaluation Tool-Focusing on the H University case", Journal of Korean Association for Educational Information and Media, vol. 26, no 1, pp. 25-49, 2020. DOI : 10.15833/KAFEIAM.26.1.025
  32. Yoonhee Choi, Rin Yun, "The study on the comparison of students' and professors' perception of lecture evaluation", Journal of Korean Association for Educational Information and Media, vol. 25, no.2, pp. 251-272, 2019. DOI : 10.15833/KAFEIAM.25.2.251
  33. Seung-Ok Kim, Sumee Park, "Analysis of Perception Gaps regarding a University Course and Teaching Evaluation between Students and Faculty Groups: Based on a Case Study of a Course and Teaching Evaluations at K University", The Journal of Learner-Centered Curriculum and Instruction, vol. 19, no. 18, pp. 501-520, 2019. DOI : 10.22251/jlcci.2019.19.18.501
  34. Joo-Young Seo, Seung-Hun Shin, "Case Study on Problem-based Programming Classes in Software Education for Non-Computer Science Majors", Journal of The Korea Society of Computer and Information vol. 25 no. 4, pp. 213-222, April 2020. DOI : /10.9708/jksci.2020.25.04.213
  35. Eui-Sun Kang, Jung-Mi Lee, "Artificial Intelligence Liberal Arts Curriculum Design for Non-Computer Majors", Journal of Digital Contents Society vol. 23, no. 1, pp. 57-66, Jan. 2022. DOI : 10.9728/dcs.2022.23.1.57
  36. Eun-Hee Roh, "A Study on Non-Majors Student's Perception of SW Education and Contents of SW Liberal Education", Journal of Digital Contents Society vol. 21, no. 7, pp. 1241-1250, Jul. 2020. DOI : 10.9728/dcs.2020.21.7.1241
  37. Kyungmi Kim, Heon Joo Kim, "A Study on the Effect of Flipped Class by Analysis of Programming Achievement", Journal of The Korean Association of Computer Education vol. 20, no. 4, 2017.
  38. Kyungmi Kim, Heon Joo Kim, "The Effects Analysis of Programming Education to Freshmen's Major Choice", Journal of The Korean Association of Computer Education vol. 19, no. 2, 2016.