Information Systems Review (경영정보학연구)

The Korea Society of Management Information Systems (한국경영정보학회)
권호 표지
DOI QR코드

DOI QR Code

User Experience Analysis and Management Based on Text Mining: A Smart Speaker Case

텍스트 마이닝 기반 사용자 경험 분석 및 관리: 스마트 스피커 사례

  • Received : 2019.11.20
  • Accepted : 2020.01.03
  • Published : 2020.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

Smart speaker is a device that provides an interactive voice-based service that can search and use various information and contents such as music, calendar, weather, and merchandise using artificial intelligence. Since AI technology provides more sophisticated and optimized services to users by accumulating data, early smart speaker manufacturers tried to build a platform through aggressive marketing. However, the frequency of using smart speakers is less than once a month, accounting for more than one third of the total, and user satisfaction is only 49%. Accordingly, the necessity of strengthening the user experience of smart speakers has emerged in order to acquire a large number of users and to enable continuous use. Therefore, this study analyzes the user experience of the smart speaker and proposes a method for enhancing the user experience of the smart speaker. Based on the analysis results in two stages, we propose ways to enhance the user experience of smart speakers by model. The existing research on the user experience of the smart speaker was mainly conducted by survey and interview-based research, whereas this study collected the actual review data written by the user. Also, this study interpreted the analysis result based on the smart speaker user experience dimension. There is an academic significance in interpreting the text mining results by developing the smart speaker user experience dimension. Based on the results of this study, we can suggest strategies for enhancing the user experience to smart speaker manufacturers.

스마트 스피커는 인공지능을 활용하여 음악, 일정, 날씨, 상품 등 다양한 정보와 콘텐츠들을 검색, 이용할 수 있는 대화형 음성 기반 서비스를 제공하는 기기이다. 인공지능 기술은 데이터가 축적될수록 이를 활용하여 더욱 정교하고 최적화된 서비스를 이용자에게 제공한다. 따라서 스마트 스피커 제조사들은 초기에 공격적인 마케팅을 통해 플랫폼 구축에 힘썼다. 하지만 스마트 스피커의 사용빈도는 월 1회 미만이 전체의 3분의 1 이상을 차지하고, 사용자 만족도도 49%에 그치는 것으로 나타났다. 이에 지속적인 이용활성화와 만족도 증진을 위해 스마트 스피커의 사용자 경험을 강화할 필요성이 대두되었다. 이에 본 연구에서는 스마트 스피커의 사용자 경험을 분석하고, 이를 바탕으로 스마트 스피커의 사용자 경험 강화 방안을 제시하고자 한다. 본 연구는 사용자가 직접 작성한 실제 리뷰 데이터를 수집하여 스마트 스피커 사용자 경험 차원을 기반으로 분석 결과를 해석했다는 점에서 의의가 있다. 또한 스마트 스피커 사용자 경험 차원을 개발하여 텍스트 마이닝 결과를 해석한 것에서 학술적 의의가 있다. 본 연구 결과를 통해 스마트 스피커 제조사에게 실무적으로 사용자 경험 강화를 위한 전략을 제안할 수 있다.

Keywords

Acknowledgement

이 논문은 2018년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF- 2018S1A3A2075114).

References

  1. 권오병, "DeLone과 McLean의 정보시스템 성공 모형을 통한 추천시스템 성공 요인 재구성", 지식경영연구, 제11권, 제4호, 2010, pp. 21-39.  https://doi.org/10.15813/KMR.2010.11.4.002
  2. 김영대, "[Zoom in] 인공지능, 생활로 가져온 말하는 스피커", 마이더스, 제2017권, 제6호, 2017, pp. 116-117. 
  3. 박수아, 최세정, "인공지능 스피커 만족도와 지속적 이용의도에 영향을 미치는 요인", 정보사회와 미디어, 제19권, 제3호, 2018, pp. 159-182.  https://doi.org/10.52558/ISM.2018.12.19.3.159
  4. 박일우, 임규건, "인공지능 스피커의 품질특성이 이용의도에 미치는 영향에 관한 연구", 한국경영학회 통합학술발표논문집, 2018, pp. 460-463. 
  5. 박지혜, 주재우, "인공지능 스피커의 지속적 사용의도를 높이는 행동경제학 기법: 의인화", 디자인융복합연구, 제17권, 제3호, 2018, pp. 41-53.  https://doi.org/10.31678/SDC.70.3
  6. 박천희, 비자발적인 환경에서의 정보시스템 성공모형 실증 연구 (석사학위 논문), 아주대학교 대학원 행정학과, 2012. 
  7. 성용준, 김아연, 조민하, "인공지능(AI) 스피커와의 상호작용이 소비자 심리에 미치는 영향", 한국심리학회학술대회자료집, 2018, pp. 85-85. 
  8. 연종흠, 이동주, 심준호, 이상구, "상품 리뷰 데이터와 감성 분석 처리 모델링", 한국전자거래학회지, 제16권, 제4호, 2011, pp. 125-137.  https://doi.org/10.7838/JSEBS.2011.16.4.125
  9. 이지희, 전소원, 이종태, "융합기술의 사용자 수용에 시대적 압박이 미치는 영향에 대한 연구", 한국기술혁신학회학술대회, 2017, pp. 1355-1368. 
  10. 이태헌, 윤영주, 김희웅, "텍스트 마이닝을 이용한 정보보호인식 분석 및 강화 방안 제시", 정보화정책, 제23권, 제4호, 2016, pp. 40-58. 
  11. 이홍주, "A Ghost in the Shell? 고객 리뷰를 통한 스마트 스피커의 인공지능 속성이 평가에 미치는 영향 연구", 한국IT서비스학회지, 제17권, 제2호, 2018, pp. 191-205.  https://doi.org/10.9716/KITS.2018.17.2.191
  12. 장필식, "소셜 데이터의 주된 감성분석에 대한 연구", 한국컴퓨터정보학회논문지, 제19권, 제12호, 2014, pp. 49-56.  https://doi.org/10.9708/JKSCI.2014.19.12.049
  13. 정상래, 신현식, "스마트폰의 사용자 경험이 만족에 미치는 영향 연구", 한국전자통신학회논문지, 제7권, 제5호, 2012, pp. 1087-1093.  https://doi.org/10.13067/JKIECS.2012.7.5.1087
  14. 조규은, 김승인, "인공지능 스피커(AI speaker) 사례 분석을 통한 고찰", 한국융합학회논문지, 제9권, 제8호, 2018, pp. 127-133.  https://doi.org/10.15207/JKCS.2018.9.8.127
  15. 컨슈머인사이트, 제27차 이동통신 기획조사(2018년 10월 실시), 2018. 
  16. 홍성연, 최재원, "토픽 모델링 분석 기법을 활용한 대학의 학생 지원 연구 동향 분석", 학습자중심교과교육연구, 제17권, 2017, pp. 21-48. 
  17. Blei, D. M., "Probabilistic topic models", Communications of the ACM, Vol.55, No.4, 2012, pp. 77-84.  https://doi.org/10.1145/2133806.2133826
  18. Brajnik, G. and S. Gabrielli, "A review of online advertising effects on the user experience", International Journal of Human-Computer Interaction, Vol.26, No.10, 2010, pp. 971-997.  https://doi.org/10.1080/10447318.2010.502100
  19. DeLone, W. H. and E. R. McLean, "Information systems success: The quest for the dependent variable", Information Systems Research, Vol.3, No.1, 1992, pp. 60-95.  https://doi.org/10.1287/isre.3.1.60
  20. Delone, W. H. and E. R. McLean, "The DeLone and McLean model of information systems success: A ten-year update", Journal of Management Information Systems, Vol.19, No.4, 2003, pp. 9-30.  https://doi.org/10.1080/07421222.2003.11045748
  21. Ding, X., B. Liu, and P. S. Yu, "A holistic lexicon-based approach to opinion mining", Proceedings of the 2008 International Conference on Web Search and Data Mining, 2008, pp. 231-240. 
  22. Greco, F. and A. Polli, "Emotional text mining: Customer profiling in brand management", International Journal of Information Management, Vol.51, 2019. 
  23. Hashemi, S. H., K. Williams, A. El Kholy, I. Zitouni, and P. A. Crook, "Measuring user satisfaction on smart speaker intelligent assistants using intent sensitive query embeddings", Proceedings of the 27th ACM International Conference on Information and Knowledge Management 2018, pp. 1183-1192. 
  24. Hassenzahl, M. and N. Tractinsky, "User experience: A research agenda", Behaviour & Information Technology, Vol.25, No.2, 2006, pp. 91-97.  https://doi.org/10.1080/01449290500330331
  25. Hassenzahl, M., A. Platz, M. Burmester, and K. Lehner, "Hedonic and ergonomic qualityaspects deter-mine a software's appeal", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2000, pp. 201-208. 
  26. Hedegaard, S. and J. G. Simonsen, "Extracting usability and user experience information from online user reviews", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2013, pp. 2089-2098. 
  27. Hwang, S., "Would satisfaction with smart speakers transfer into loyalty towards the smart speaker provider?", Conference of the 22nd ITS Biennial, International Telecommunications Society (ITS), Seoul, 2018. 
  28. Joseph 'Jofish' Kaye, "Evaluating experience-focused HCI. In CHI '07 Extended Abstracts on Human Factors in Computing Systems (CHI EA '07). Association for Computing Machinery, New York, NY, USA, 2007, pp. 1661-1664.
  29. Kim, H. W., H. C. Chan, and S. Gupta, "Social media for business and society", Asia Pacific Journal of Information Systems(APJIS), Vol.25, No.2, 2015/6, pp. 329-336.  https://doi.org/10.14329/apjis.2015.25.2.329
  30. Kujala, S. and K. Vaananen-Vainio-Mattila, "Value of information systems and products: Understanding the Users' perspective and values", Journal of Information Technology Theory and Application (JITTA), Vol.9, No.4, 2009, pp. 23-39. 
  31. Law, E. L. C., V. Roto, M. Hassenzahl, A. P. Vermeeren, and J. Kort, "Understanding, scoping and defining user experience: A survey approach", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2009, pp. 719-728. 
  32. Lin, C. and Y. He, "Joint sentiment/topic model for sentiment analysis", Proceedings of the 18th ACM Conference on Information and Knowledge Management, 2009, pp. 375-384. 
  33. Liu, B., "Sentiment analysis and opinion mining", Synthesis lectures on Human Language Technologies, Vol.5, No.1, 2012, pp. 1-167.  https://doi.org/10.1007/978-3-031-02145-9
  34. Lopez G., L. Quesada L.A. Guerrero, "Alexa vs. Siri vs. Cortana vs. Google Assistant: A comparison of speech-based natural user interfaces", In: I. Nunes (ed.) Advances in Human Factors and Systems Interaction. AHFE 2017. Advances in Intelligent Systems and Computing, vol. 592. Springer, Cham, 2018. 
  35. Mason, R. O., "Measuring information output: A communication systems approach", Information & Management, Vol.1, No.4, 1978, pp. 219-234.  https://doi.org/10.1016/0378-7206(78)90028-9
  36. Mullen, T. and N. Collier, "Sentiment analysis using support vector machines with diverse information sources", EMNLP, Vol.4, 2004, pp. 412-418. 
  37. Norman, D. A., Emotional Design: Why We Love (or Hate) Everyday Things, Basic Books, 2004. 
  38. Pang, B. and L. Lee, "Opinion mining and sentiment analysis", Foundations and Trends® in Information Retrieval, Vol.2, No.1-2, 2008, pp. 1-135.  https://doi.org/10.1561/1500000011
  39. Pang, B., L. Lee, and S. Vaithyanathan, "Thumbs up?: Sentiment classification using machine learning techniques", EMNLP '02: Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics, 2002, pp. 79-86. 
  40. Pitt, L. F., R. T. Watson, and C. B. Kavan, "Service quality: A measure of information systems effectiveness", MIS Quarterly, Vol.19, No.2, 1995, pp. 173-187.  https://doi.org/10.2307/249687
  41. Rai, A., S. S. Lang, and R. B. Welker, "Assessing the validity of IS success models: An empirical test and theoretical analysis", Information Systems Research, Vol.13, No.1, 2002, pp. 50-69.  https://doi.org/10.1287/isre.13.1.50.96
  42. Rose, S., N. Hair, and M. Clark, "Online customer experience: A review of the business-to-consumer online purchase context", International Journal of Management Reviews, Vol.13, No.1, 2011, pp. 24-39.  https://doi.org/10.1111/j.1468-2370.2010.00280.x
  43. Sedon, P. and M. Kiew, "A partial test and development of the DeLone and McLean model of IS success. JI DeGross, SL Huff and MC Munro", Proceeding of the Fifteenth International Conference on Information Systems, 1995, pp. 99-110. 
  44. Shannon, C. E. and W. Weaver, The Mathematical Theory of Communication, Ill. Univ. Illinois Press, Urbana, 1949, p. 17. 
  45. Shin, J., J. Choi, and W. Koh, "A study on the use of learning analytics in higher education: Focusing on the perspective of professors", Journal of Educational Technology, Vol.31, No.2, 2015, pp. 223-252.  https://doi.org/10.17232/KSET.31.2.223
  46. Steyvers, M. and T. Griffiths, "Probabilistic topic models", Handbook of Latent Semantic Analysis, Vol.427, No.7, 2007, pp. 424-440. 
  47. Taboada, M., J. Brooke, M. Tofiloski, K. Voll, and M. Stede, "Lexicon-based methods for sentiment analysis", Computational Linguistics, Vol.37, No.2, 2011, pp. 267-307.  https://doi.org/10.1162/COLI_a_00049
  48. Tan, S., X. Cheng, Y. Wang, and H. Xu, "Adapting naive bayes to domain adaptation for sentiment analysis", Advances in Information Retrieval, 2009, pp. 337-349. 
  49. VoiceBot, Smart Speaker Consumer Adoption Report, March 2018. 
  50. Wang, H., D. Can, A. Kazemzadeh, F. Bar, and S. Narayanan, "A system for real-time twitter sentiment analysis of 2012 us presidential election cycle", Proceedings of the ACL 2012 System Demonstrations, Association for Computational Linguistics, 2012, pp. 115-120. 
  51. Xianghua, F., L. Guo, G. Yanyan, and W. Zhiqiang, "Multi-aspect sentiment analysis for Chinese online social reviews based on topic modeling and HowNet lexicon", Knowledge-Based Systems, Vol.37, 2013, pp. 186-195.  https://doi.org/10.1016/j.knosys.2012.08.003
  52. Xiao, X. T. and S. I. Kim, "A study on the user experience of smart speaker in China-Focused on Tmall Genie and Mi AI Speaker", Journal of Digital Convergence, Vol.16, No.10, 2018, pp. 409-414.  https://doi.org/10.14400/JDC.2018.16.10.409
  53. Ye, Q., R. Law, and B. Gu, "The impact of online user reviews on hotel room sales", International Journal of Hospitality Management, Vol.28, No.1, 2009, pp. 180-182.  https://doi.org/10.1016/j.ijhm.2008.06.011
  54. Yun, Y. and H. Ji, "A development of open social learning platform for learning analytics and educational data mining", Journal of Korean Institute of Information Scientists and Engineers, Vol.23, No.12, 2015, pp. 1349-1351.