The Journal of Korean Association of Computer Education (컴퓨터교육학회논문지)

The Korean Association of Computer Education (한국컴퓨터교육학회)
권호 표지

The effects of learners' rating tendencies on the course evaluation results in an online university

온라인대학 학습자의 평정성향이 강의평가 결과에 미치는 영향

  • 이의길 (고려사이버대학교 평생교육학과) ;
  • 김윤정 (고려사이버대학교 사회복지학과) ;
  • 김주혜 (고려사이버대학교 실용외국어학과)
  • Received : 2016.04.08
  • Accepted : 2016.05.19
  • Published : 2016.05.30
Download PDF
⟨ Previous Next ⟩

Abstract

This study explored the rating tendency of online university learners in their course evaluations and its effects on the course evaluation results. Data including the subjects' demographic information, learning activities, rating tendency, and course evaluation results were collected from 1,098 learners in an online university in the spring semester of 2015. There were three main findings. First, the subjects showed distinctive rating tendencies in participation rates for course evaluation and rating consistency. The participation rates went from one extreme (0%) to the other (100%), and the rating consistency among the test items was highly related to that among the courses as a whole. Second, the subjects showed different tendencies in terms of course evaluation period, rating consistency, and course evaluation results according to demographic information and learning activities. Third, course evaluation results were independently affected by demographic information, learning activities, and rating consistency. The study was meaningful in that it explored learners' rating tendencies concretely and suggested that such tendencies should be considered in analyzing course evaluation results.

본 연구는 온라인대학 학습자들이 강의평가에서 보여주는 평정성향에 대해 알아보고, 그 평정성향이 강의평가 점수에 미치는 영향을 탐색하였다. 이를 위하여 2015년 1학기에 한 온라인대학의 재학생 1,098명으로부터 인구학적 배경, 학습활동, 평정성향, 강의평가 결과에 대한 자료를 수집하였다. 연구의 주요 결과는 다음과 같다. 첫째, 연구대상자들은 강의평가 참여율과 평정일관성 영역에서 자신만의 뚜렷한 평정성향을 보였다. 참여율이 0%와 100% 등 양극단에 몰려 있었으며, 평가문항 간 평정일관성과 전체 수강과목 간 평정일관성은 상호관련성이 매우 높았다. 둘째, 연구대상자들은 인구학적 배경과 학습활동 정도에 따라 강의평가 참여일과 평정일관성, 강의평가 결과 측면에서 차이를 보였다. 셋째, 연구대상자의 인구학적 배경, 학습활동, 평정일관성은 강의평가 결과에 독립적인 영향력을 행사하였다. 본 연구는 학습자들의 평정성향을 세분화하여 드러냈다는 점과, 강의평가 결과 해석 시 학습자의 평정성향을 고려해야 한다는 것을 제안하였다는 점에서 의의가 있다.

Keywords

References

  1. 백순근, 신효정 (2008). 위계선형모형을 활용한 대학생의 강의평가 분석-S대학교 교양강의. 교육평가연구, 21(2), 1-24.
  2. 손충기, 김영태 (2007). 수업평가 관련 변인에 따른 수업평가 결과 차이 탐색 연구. 교육평가연구, 20(2), 1-24.
  3. Jones, S. J. (2012). Reading between the lines of online course evaluations: Identifiable actions that improve student perceptions of teaching effectiveness and course value. Journal of Asynchronous Learning Networks, 16(1), 49-58.
  4. Centra, J. (2003). Will teachers receive higher student evaluations by giving higher grades and less course work? Research in Higher Education, 44(5), 495-518. https://doi.org/10.1023/A:1025492407752
  5. 류춘호, 이정호 (2003). 대학의 강의평가에 영향을 미치는 학생관련 요인에 관한 연구. 경영학연구, 32(3), 789-807.
  6. 양길석 (2014a). 대학 강의평가 영향요인에 대한 메타연구. 교육방법연구, 26(2), 293-322.
  7. 지은림 (1996). 교수강의평가에 미치는 학생변인효과. 교육발전연구, 12, 113-124.
  8. 황인수 (2008). e-러닝에서 학습자의 사전동기와 수강관련 요인이 강의평가에 미치는 영향. 교육공학연구, 21(2), 103-126.
  9. Ting, K. (2000). A Multilevel Perspective on Student Ratings of Instruction: Lessons from the Chinese Experience. Research in Higher Education, 41(5), 637-661. https://doi.org/10.1023/A:1007075516271
  10. 김명랑, 강민석, 김민희 (2013). 강의평가 응답 태도 건전성 측정도구 개발. 교육정보미디어연구, 19(4), 765-784.
  11. 양길석 (2014b). 대학 강의평가 일관적 응답의 경향성과 영향력 분석. 교육평가연구, 27(2), 255-278.
  12. 한신일, 김혜정, 이정연 (2005). 한국대학의 강의평가실태분석, 교육행정학연구, 23(3), 379-403.
  13. 김석용 (2010). 조사연구 방법론. 탑북스.
  14. 김보나, 우종정 (2011). 사이버대학 학습자의 인구학적 특성이 학습효과에 미치는 영향. 한국정보기술학회논문지, 9(3), 213-219.
  15. 김현숙 (2011). 사이버대학교에서의 강의평가 분석과 적용, 사이버사회문화. 2(2), 133-168.
  16. Cashin W. E. (2003). Evaluating college and university teaching: Reflections of a practicioner. J. C. Smart (Ed.), Higher Education: Handbook of Theory and Research, Vol. 18, 531-593, MA: Kluwer Academic Publishers.
  17. Arun V. S. (2013). Appraisal of students ratings as a measure to manage the quality of higher education in India. International Journal for Quality Research, 7(3), 3-14.
  18. 이정기 (2013). 대학 강의 평가문항 개선 및 활용 방안 연구. 교양교육연구, 7(6), 247-274.
  19. 오은주 (2009). 강의평가 실태조사를 통한 강의평가 개선 방향 연구. 교육방법연구, 21(2), 1-20.
  20. 이희원, 민혜리 (2013). 수업개선을 위한 강의평가 결과 활용 방안 탐색. 열린교육연구, 21(3), 257-283.
  21. 이호배 (2005). 학생의 수업관여도와 강의평가 관심도가 강의만족도에 미치는 영향. 상품학 연구, 23(3), 95-117.
  22. 한신일 (2001). 학생에 의한 강의평가의 관련 요인 분석: 교수, 학생, 수업관련요인을 중심으로. 교육행정학연구, 19(4), 247-266.
  23. 이재만, 차영준 (2012). 학생에 의한 강의평가에서 집단별 표준화변환을 이용한 강좌평가모형. 한국데이터정보과학지, 23(1), 143-150.
  24. 추준석, 이영수 (2003). 강의평가 결과 분석 및 평가 조정 방법에 관한 연구. 영산논총, 11, 97-126.
  25. Marsh, H. W., & Roche, L. A. (1997). Making students' evaluations of teaching effectiveness effective. American Psychologist, 52(11), 1187-1197. https://doi.org/10.1037/0003-066X.52.11.1187
  26. Bawane, J., & Spector, J. M. (2009), Prioritization of online instructor roles: Implications for competency-based teacher education programs. Distance Education, 30(3). 383-397. https://doi.org/10.1080/01587910903236536
  27. Berge, Z. (2009). Changing instructor's role in virtual worlds. Quarterly Review of Distance Education, 9(4), 401-415.
  28. 임형, 노은하 (2001). 강의평가 결과의 심층적 분석 및 해석: 성공회대학교의 1999년과 2000년 자료를 중심으로. 성공회대학논총, 16, 81-102.
  29. 엄진섭 (2013). 사이버대학의 질에 영향을 미치는 요인도출을 위한 탐색적 연구. 컴퓨터교육학회논문지, 16(5), 49-58.
  30. 최보금, 김재웅 (2013), 위계적 선형모형을 활용한 대학생 강의평가 관련 요인 탐색: 무성의 응답의 영향을 중심으로. 열린교육연구, 21(1), 77-100.
  31. 정영란 (2009). 사이버대학에서 수업만족도 영향 요인이 수업만족도에 미치는 영향 정도에 관한 연구. 교육공학연구, 23(1), 61-94.
  32. 홍경선 (2006), 대학교 강의평가에 나타난 일관적 응답분석. 교육정보미디어연구, 12(2), 97-127.
  33. Agoritsas, T., Lubbeke, A., Schiesari, L., & Perneger, T.V. (2009). Assessment of patients' tendency to give a positive or negative rating to healthcare. Quality & Safety of Health Care, 18, 374-379. https://doi.org/10.1136/qshc.2008.028175
  34. 김구 (2008). 사회과학 연구조사 방법론의 이해: 양적연구와 질적연구의 접근. 비앤엠북스.
  35. Krosnick, J. (1991). Response Strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213-236. https://doi.org/10.1002/acp.2350050305
  36. 박인우 (2012). 대학강의평가에서 무성의 응답에 대한 학생의 자기평가의 영향에 관한 연구. 교육방법연구, 24(1), 257-281.
  37. 이원석, 이현우, 정영근 (2012). 대학 강의평가에서 실시 방식이 학생들의 불성실한 응답에 미치는 영향에 관한 연구. 교육방법연구, 24(3), 547-561.
  38. 장영주 (2012). 대학 강의평가제도에 대한 교수와 학생의 인식분석. 석사학위 논문, 고려대학교.
  39. 하오선, 정민호 (2014). 강의평가 응답분석을 통한 강의평가도구 개선방안-D대학 강의 평가 사례를 중심으로. 열린교육연구, 22(3), 273-294.
  40. 손영민, 채수은 (2016). 영향 요인 조정을 통한 강의평가 결과 공개방안. 교원교육, 32(1), 1-24.
  41. 이명숙, 손유익 (2013). 스마트러닝 개선을 위한 평가시스템 개발 및 타당도 연구. 컴퓨터교육학회논문지, 16(3), 31-39.