DOI QR코드

DOI QR Code

An Exploratory Study of e-Learning Satisfaction: A Mixed Methods of Text Mining and Interview Approaches

이러닝 만족도 증진을 위한 탐색적 연구: 텍스트 마이닝과 인터뷰 혼합방법론

  • Sun-Gyu Lee (Graduate School of Information, Yonsei University) ;
  • Soobin Choi (Graduate School of Information, Yonsei University) ;
  • Hee-Woong Kim (Graduate School of Information, Yonsei University)
  • 이순규 (연세대학교 정보대학원) ;
  • 최수빈 (연세대학교 정보대학원) ;
  • 김희웅 (연세대학교 정보대학원)
  • Received : 2018.11.19
  • Accepted : 2019.01.22
  • Published : 2019.02.28

Abstract

E-learning has improved the educational effect by making it possible to learn anytime and anywhere by escaping the traditional infusion education. As the use of e-learning system increases with the increasing popularity of e-learning, it has become important to measure e-learning satisfaction. In this study, we used the mixed research method to identify satisfaction factors of e-learning. The mixed research method is to perform both qualitative research and quantitative research at the same time. As a quantitative research, we collected reviews in Udemy.com by text mining. Then we classified high and low rated lectures and applied topic modeling technique to derive factors from reviews. Also, this study conducted an in-depth 1:1 interview on e-learning learners as a qualitative research. By combining these results, we were able to derive factors of e-learning satisfaction and dissatisfaction. Based on these factors, we suggested ways to improve e-learning satisfaction. In contrast to the fact that survey-based research was mainly conducted in the past, this study collects actual data by text mining. The academic significance of this study is that the results of the topic modeling are combined with the factor based on the information system success model.

이러닝은 전통적인 주입식 교육에서 벗어나 언제 어디서나 원하는 학습을 가능하게 하여 교육 효과를 높였다. 그러나 효과적으로 정보시스템을 활용하기 위해서는 사용자의 만족을 평가하여 피드백을 반영하는 것이 중요하다. 학습은 유무형의 요소를 많이 포함하기 때문에 이러닝의 만족 요인을 명확하게 규명할 필요가 있다. 따라서 본 연구는 혼합방법론을 사용하여 이러닝 학습 만족도 증진 방안을 도출하고 이러닝 만족도 모델 제안을 목적으로 한다. 따라서 본 연구는 실제 학습자 대상으로 1:1 심층 인터뷰를 하고, Udemy 사이트의 온라인 학습자 후기를 텍스트 마이닝하여 상위평점 강의와 하위평점 강의를 분지한 것을 바탕으로 토픽 모델링을 하였다. 분석 결과 학습자들이 이러닝 학습에 대하여 어떠한 부분을 긍정 혹은 부정적으로 느끼고 이용하는지 파악하고자 한다. 기존에는 설문 기반의 연구가 주로 이루어졌던 것에 반해 본 연구는 학습자가 직접 작성한 실제 데이터를 수집하였다. 이것을 정보시스템 성공 모델을 기반으로 토픽 모델링을 통해 도출된 결과와 접목하였다는 것에서 학술적 의의가 있다고 할 수 있다.

Keywords

Acknowledgement

이 논문은 2015년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2015S1A3A2046711). 이 논문은 연세대학교 바른ICT연구소의 (일부) 지원을 받아 수행된 연구 결과입니다.

References

  1. 김장영, 박은혜, "빅데이터 분석을 이용한 이러닝 수강 후기 분석", 한국정보통신학회논문지, 제21권, 제2호, 2017, pp. 423-428.  https://doi.org/10.6109/JKIICE.2017.21.2.423
  2. 박형민, 오창석, 염창선, "e-Learning의 학습자 만족에 영향을 미치는 요인에 대한 실증적 연구", 한국정보기술학회논문지, 제9권, 제7호, 2011, pp. 143-152. 
  3. 손 맥, 조은영, 김희웅, "E러닝 성공 평가에 관한 연구", 지식경영연구, 제15권, 제2호, 2014, pp. 67-88.  https://doi.org/10.15813/KMR.2014.15.2.004
  4. 안정국, 김소담, 김희웅, "텍스트 마이닝 기법을 이용한 정보시스템 분야 연구 동향 분석", Information Systems Review, 제18권, 제3호, 2016, pp. 73-96.  https://doi.org/10.14329/isr.2016.18.3.073
  5. 이러닝산업발전위원회, 제2차 이러닝산업 발전 및 활성화 기본 계획, 산업통산자원부, 2011. 
  6. 이용탁, "e-Learning의 유효성 평가방법에 관한 연구", 직업능력개발연구, 제8권, 제1호, 2005, pp. 65-87. 
  7. 이현선, 리대룡, "구전으로서 온라인 사용후기의 효과에 관한 연구", 홍보학 연구, 제8권, 제2호, 2004, pp. 234-268. 
  8. 정보통신산업진흥원, 2016년 이러닝 산업실태조사, 2016. 
  9. 정준호, 송영수, "기업에서 요구되는 셀프리더십 역량에 대한 대기업 종사자와 대학생의 인식 차이 및 교육 요구도 분석", 산업교육연구, 제23권, 2011, pp. 53-75. 
  10. Ambient Insight, The 2016-2021 Worldwide Self-paced eLearning Market: Global eLearning Market in Steep Decline, 2016. 
  11. Aparicio, M., F. Bacao, and T. Oliveira, "Cultural impacts on e-learning systems' success", The Internet and Higher Education, Vol.31, 2016, pp. 58-70.  https://doi.org/10.1016/j.iheduc.2016.06.003
  12. Arbaugh, J. B. and R. Duray, "Technological and structural characteristics, student learning and satisfaction with web-based courses: An exploratory study of two on-line MBA programs", Management Learning, Vol.33, No.3, 2002, pp. 331-347.  https://doi.org/10.1177/1350507602333003
  13. Babbie, E. R., "The practice of social research", iN 고성호 외 (역), 사회조사방법론, 서울: 도서출판 그린, 2002. 
  14. Blei, D. M., "Probabilistic topic models", Communication of the ACM, Vol.55, No.4, 2012, pp. 77-84.  https://doi.org/10.1145/2133806.2133826
  15. Chen, L. H. and H. C. Lin, "Integrating Kano's model into E-learning satisfaction. In Industrial Engineering and Engineering Management", 2007 IEEE International Conference, 2007, pp. 297-301 
  16. Chiu, C. M., M. H. Hsu, S. Y. Sun, T. C. Lin, and P. C. Sun, "Usability, quality, value and e-learning continuance decisions", Computers & Education, Vol.45, No.4, 2006, pp. 399-416. 
  17. Creswell, J. W. and V. L. P. Clark, Designing and Conducting Mixed Methods Research (2nd ed), Thousand Oaks, CA: Sage, 2011. 
  18. DeLone, W. H. and E. R. McLean, "Information systems success: The quest for the dependent variable", Information Systems Research, Vol.3, No.1, 1992, pp. 60-95.  https://doi.org/10.1287/isre.3.1.60
  19. Duan, W., Y. Yu, Q. Cao, and S. Levy, "Exploring the impact of social media on hotel service performance: A sentimental analysis approach", Cornell Hospitality Quarterly, Vol.57, No.3, 2016, pp. 282-296.  https://doi.org/10.1177/1938965515620483
  20. Freeze, R. D., K. A. Alshare, P. L. Lane, and H. J. Wen, "IS success model in e-learning context based on students' perceptions", Journal of Information Systems Education, Vol.21, No.2, 2010, pp. 173. 
  21. Harandi, S. R, "Effects of e-learning on Students", Motivation. Procedia-Social and Behavioral Sciences, Vol.181, 2015, pp. 423-430.  https://doi.org/10.1016/j.sbspro.2015.04.905
  22. Kim, H. W., S. Gupta, and S. H. Lee, "Examining the effect of online switching costs on customer's willingness to pay more", Asia Pacific Journal of Information Systems, Vol.23, No.1, 2013, pp. 21-43. 
  23. Kim, S. Y., S. J. Song, and M. Song, "Investigation of Topic Trends in Computer and Information Science by Text Mining Techniques", 정보관리학회지, Vol.32, No.1, 2015, pp. 135-152.  https://doi.org/10.3743/KOSIM.2015.32.1.135
  24. Lee, J. U., K. J. Seo, and H. W. Kim, "An exploratory study on the cloud computing services: Issues and suggestion for the success", Asia Pacific Journal of Information Systems, Vol.24, No.4, 2014, pp. 473-491.  https://doi.org/10.14329/apjis.2014.24.4.473
  25. Leen, E. A. and F. R. Lang, "Motivation of computer based learning across adulthood", Computers in Human Behavior, Vol.29, No.3, 2013, pp. 975-983.  https://doi.org/10.1016/j.chb.2012.12.025
  26. Leung, M. S., Business Strategy of New Age Business From old to new-the Social Commerce Approach, 2012. 
  27. Lin, C. and Y. He, "Joint sentiment/topic model for sentiment analysis", In Proceedings of the 18th ACM Conference on Information and Knowledge Management, 2009, pp. 375-384. 
  28. Lin, H. F., "Measuring online learning systems success: Applying the updated DeLone and McLean model", Cyber Psychology & Behavior, Vol.10, No.6, 2007, pp. 817-820.  https://doi.org/10.1089/cpb.2007.9948
  29. Mohammadi, H., "Investigating users' perspectives on e-learning: An integration of TAM and IS success model", Computers in Human Behavior, Vol.45, 2015, pp. 359-374.  https://doi.org/10.1016/j.chb.2014.07.044
  30. Mudambi, S. M. and D. Schuff, "What makes a helpful review? A study of customer reviews on Amazon.com", MIS Quarterly, Vol.34, No.1, 2010, pp. 185-200.  https://doi.org/10.2307/20721420
  31. O'Halloran, K. L., S. Tan, D. S. Pham, J. Bateman, and A. Vande Moere, "A digital mixed methods research design: Integrating multimodal analysis with data mining and information visualization for big data analytics", Journal of Mixed Methods Research, Vol.12, No.1, 2016, pp. 11-30. 
  32. Piccoli, G., R. Ahmad, and B. Ives, "Web-based virtual learning environments: A research framework and a preliminary assessment of effectiveness in basic IT skills training", MIS Quarterly, Vol.25, No.4, 2001, pp. 401-426.  https://doi.org/10.2307/3250989
  33. Roca, J. C., C. M. Chiu, and F. J. Martinez, "Understanding e-learning continuance intention: An extension of the Technology Acceptance Model", International Journal of Human-Computer Studies, Vol.64, No.8, 2006, pp. 683-696.  https://doi.org/10.1016/j.ijhcs.2006.01.003
  34. Sun, P. C., R. J. Tsai, G. Finger, Y. Y. Chen, and D. Yeh, "What drivers a successful e-Learning? An empirical investigation of the critical factors influencing learner satisfaction", Computers & Education, Vol.50, No.4, 2008, pp. 1183-1202.  https://doi.org/10.1016/j.compedu.2006.11.007
  35. Venkatesh, V., S. A. Brown, and H. Bala, "Bridging the qualitative-quantitative divide: Guidelines for conducting mixed methods research in information systems", MIS Quarterly, Vol.37, No.1, 2013, pp. 21-54.  https://doi.org/10.25300/MISQ/2013/37.1.02
  36. Wang, X., F. Zhu, J. Jiang, and S. Li, "Real time event detection in twitter", In Interational Conference on Web-Age Information Management, Springer, Berlin, Heidelberg, 2013, pp. 502-513. 
  37. Wu, J. H., R. D. Tennyson, and T. L. Hsia, "A study of student satisfaction in a blended e-learning system environment", Computers & Education, Vol.55, No.1, 2010, pp. 155-164.  https://doi.org/10.1016/j.compedu.2009.12.012
  38. Xianghua, F., L. Guo, G. Yanyan, and W. Zhiqiang, "Multi-aspect sentiment analysis for Chinese online social reviews based on topic modeling and HowNet lexicon", Knowledge-Based Systems, Vol.37, 2013, pp. 186-195. https://doi.org/10.1016/j.knosys.2012.08.003