Journal of Service Research and Studies (서비스연구)

The Society of service Science (서비스사이언스학회)
권호 표지
DOI QR코드

DOI QR Code

Understanding the Evaluation of Quality of Experience for Metaverse Services Utilizing Text Mining: A Case Study on Roblox

텍스트마이닝을 활용한 메타버스 서비스의 경험 품질 평가의 이해: 로블록스 사례 연구

  • Minjun Kim (School of Industrial Engineering, Kumoh National Institute of Technology)
  • 김민준 (국립금오공과대학교 산업공학부)
  • Received : 2023.11.17
  • Accepted : 2023.12.09
  • Published : 2023.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

The metaverse, derived from the fusion of "meta" and "universe," encompasses a three-dimensional virtual realm where avatars actively participate in a range of political, economic, social, and cultural activities. With the recent development of the metaverse, the traditional way of experiencing services is changing. While existing studies have mainly focused on the technological advancements of metaverse services (e.g., scope of technological enablers, application areas of technologies), recent studies are focusing on evaluating the quality of experience (QoE) of metaverse services from a customer perspective. This is because understanding and analyzing service characteristics that determine QoE from a customer perspective is essential for designing successful metaverse services. However, relatively few studies have explored the customer-oriented approach for QoE evaluation thus far. This study conducted an online review analysis using text mining to overcome this limitation. In particular, this study analyzed 227,332 online reviews of the Roblox service, known as a representative metaverse service, and identified points for improving the Roblox service based on the analysis results. As a result of the study, nine service features that can be used for QoE evaluation of metaverse services were derived, and the importance of each feature was estimated through relationship analysis with service satisfaction. The importance estimation results identified the "co-experience" feature as the most important. These findings provide valuable insights and implications for service companies to identify their strengths and weaknesses, and provide useful insights to gain an advantage in the changing metaverse service environment.

메타버스는 정치, 경제, 사회, 문화적 활동이 가능한 가상의 환경을 나타내는데, 이를 통해 현실과 디지털이 공존하여 사람들은 색다른 일상을 경험할 수 있다. 최근 메타버스의 발전으로, 기존의 서비스 경험 방식이 변화하고 있다. 기존의 선행연구는 주로 메타버스 서비스의 기술 발전에 중점을 두었지만, 최근의 연구들은 고객 관점에서 메타버스 서비스의 경험 품질을 평가하는 것에 중점을 두고 있다. 고객 관점에서 서비스 품질을 결정하는 서비스 특성을 정확히 이해하고 분석해야, 성공적인 메타버스 서비스를 설계할 수 있기 때문이다. 그러나, 선행연구들은 이러한 중요성만을 강조하고 있을 뿐, 평가를 위한 보편적이고 체계적인 개념과 관련된 연구는 부족한 실정이다. 본 연구는 이러한 한계를 극복하기 위해 텍스트마이닝을 활용한 온라인 리뷰 분석을 수행하였다. 특히, 로블록스 서비스의 온라인 리뷰 227,332건을 분석하고, 분석 결과를 기반으로 로블록스 서비스의 개선 방향을 모색하였다. 분석을 위해 토픽 모델링, 감성 분석, 로지스틱 회귀 분석 등의 텍스트마이닝 및 기계학습 알고리즘을 활용하였으며, 서비스 개선 방향을 모색하기 위해 중요도-실행도 분석을 수행하였다. 연구 결과, 메타버스 서비스의 경험 품질 평가에 활용 가능한 9개 서비스 특징을 도출하였으며, 이들과 서비스 만족도 간의 관계 분석을 통해 특징별 중요도를 추정하였다. 마지막으로 중요도-실행도 분석을 통해 메타버스 서비스를 가능케하는 기술적 요소보다 서비스 경험을 강화하는 방향의 서비스 개선 전략이 필요함을 파악하였다. 본 논문의 결과물은 메타버스 서비스에 관심이 있는 기업들에게 중요한 시사점을 제공하며, 기업은 이러한 서비스 특징을 활용하여 자사의 강점 및 약점을 파악하여, 변화하는 메타버스 서비스의 환경에서 우위를 차지하는데 유용한 통찰력을 제공할 것이라 기대한다.

Keywords

Acknowledgement

이 연구는 국립금오공과대학교 대학 학술연구비로 지원되었음(2022~2023)

References

  1. Bi, J.W., Liu, Y., Fan, Z.P., and Cambria, E. (2019), Modelling customer satisfaction from online reviews using ensemble neural network and effect-based kano model, International Journal of Production Research, 57(22), 7068-7088.  https://doi.org/10.1080/00207543.2019.1574989
  2. Dellarocas, C.(2003). The digitization of word of mouth: Promise and challenges of online feedback mechanisms, Management science, 49(10), 1407-1424.  https://doi.org/10.1287/mnsc.49.10.1407.17308
  3. Du, H., Ma, B., Niyato, D., Kang, J., Xiong, Z., and Yang, Z.(2023). Rethinking quality of experience for metaverse services: A consumer-based economics perspective, IEEE Network. 
  4. Golf-Papez, M., Heller, J., Hilken, T., Chylinski, M., de Ruyter, K., Keeling, D. I., and Mahr, D.(2022). Embracing falsity through the metaverse: The case of synthetic customer experiences, Business Horizons, 65(6), 739-749.  https://doi.org/10.1016/j.bushor.2022.07.007
  5. Gursoy, D., Malodia, S., and Dhir, A.(2022). The metaverse in the hospitality and tourism industry: An overview of current trends and future research directions, Journal of Hospitality Marketing & Management, 31(5), 527-534.  https://doi.org/10.1080/19368623.2022.2072504
  6. Hutto, C., and Gilbert, E.(2014). Vader: A parsimonious rule-based model for sentiment analysis of social media text. Proceedings of the international AAAI conference on web and social media, 8(1), 216-225). 
  7. Joung, J. and Kim, H. M.(2021). Approach for importance-performance analysis of product attributes from online reviews, Journal of Mechanical Design, 143(8), 081705. 
  8. Kim, J. and Lim, C.(2021). Customer complaints monitoring with customer review data analytics: An integrated method of sentiment and statistical process control analyses, Advanced Engineering Informatics, 49, 101304. 
  9. Lawson, C., and Montgomery, D.C.(2006). Logistic regression analysis of customer satisfaction data, Quality and Reliability Engineering International, 22(8), 971-984.  https://doi.org/10.1002/qre.775
  10. Lee, H.J. and Gu, H.H.(2022). Empirical research on the metaverse user experience of digital natives, Sustainability, 14(22), 14747. 
  11. Liu, S., Xie, J., and Wang, X.(2023). QoE enhancement of the industrial metaverse based on Mixed Reality application optimization, Displays, 79, 102463. 
  12. Martilla, J.A., and James, J.C.(1977). Importance-performance analysis, Journal of Marketing, 41(1), 77-79.  https://doi.org/10.1177/002224297704100112
  13. Mystakidis, S.(2022). Metaverse, Encyclopedia, 2(1), 486-497.  https://doi.org/10.3390/encyclopedia2010031
  14. Nalbant, K.G. and Aydin, S.(2023). Development and transformation in digital marketing and branding with artificial intelligence and digital technologies dynamics in the Metaverse universe, Journal of Metaverse, 3(1), 9-18.  https://doi.org/10.57019/jmv.1148015
  15. Nevelsteen, K.J.L.(2017), Virtual world, defined from a technological perspective and applied to video games, mixed reality, and the metaverse, Computer Animation and Virtual Worlds, 29(1), e1752. 
  16. Park, S.M. and Kim, Y.G.(2022). A metaverse: Taxonomy, components, applications, and open challenges. IEEE Access, 10, 4209-4251.  https://doi.org/10.1109/ACCESS.2021.3140175
  17. Porcu, S., Floris, A., and Atzori, L.(2022). Quality of experience in the metaverse: An initial analysis on quality dimensions and assessment, Proceedings of the 14th International Conference on Quality of Multimedia Experience (QoMEX), 1-4. 
  18. Vlahovic, S., Suznjevic, M., and Skorin-Kapov, L.(2022). A survey of challenges and methods for Quality of Experience assessment of interactive VR applications, Journal on Multimodal User Interfaces, 16(3), 257-291.  https://doi.org/10.1007/s12193-022-00388-0
  19. Zhou, Z., Chen, Z., and Jin, X. L.(2023). A review of the literature on the metaverse: definition, technologies, and user behaviors. Internet Research.