DOI QR코드

DOI QR Code

A Study on Classification of Mobile Application Reviews Using Deep Learning

딥러닝을 활용한 모바일 어플리케이션 리뷰 분류에 관한 연구

  • 손재익 (계명대학교 경영정보학과) ;
  • 노미진 (계명대학교 경영정보학과) ;
  • 타지주르 라만 (계명대학교 경영정보학과) ;
  • 표규진 (계명대학교 경영정보학과) ;
  • 한무명초 (동국대학교 경주캠퍼스 파라마타칼리지 디지털기초교육부) ;
  • 김양석 (계명대학교 경영정보학과)
  • Received : 2021.03.15
  • Accepted : 2021.05.24
  • Published : 2021.06.30

Abstract

With the development and use of smart devices such as smartphones and tablets increases, the mobile application market based on mobile devices is growing rapidly. Mobile application users write reviews to share their experience in using the application, which can identify consumers' various needs and application developers can receive useful feedback on improving the application through reviews written by consumers. However, there is a need to come up with measures to minimize the amount of time and expense that consumers have to pay to manually analyze the large amount of reviews they leave. In this work, we propose to collect delivery application user reviews from Google PlayStore and then use machine learning and deep learning techniques to classify them into four categories like application feature advantages, disadvantages, feature improvement requests and bug report. In the case of the performance of the Hugging Face's pretrained BERT-based Transformer model, the f1 score values for the above four categories were 0.93, 0.51, 0.76, and 0.83, respectively, showing superior performance than LSTM and GRU.

스마트폰과 태블릿과 같은 스마트 기기의 발달과 사용이 증가함에 따라, 모바일 기기를 기반으로 한 모바일 어플리케이션 시장이 급속도로 커지고 있다. 모바일 어플리케이션 사용자는 어플리케이션을 사용 경험을 공유하고자 리뷰를 남기는데, 이를 분석하면 소비자들의 다양한 니즈를 파악할 수 있고 어플리케이션 개발자들은 소비자들이 작성한 리뷰를 통해 애플리케이션의 개선을 위한 유용한 피드백을 받을 수 있다. 그러나 소비자들의 남기는 많은 양의 리뷰를 수작업으로 분석하기 위해서는 많은 시간과 비용을 지불해야하기 때문에 이를 최소화 할 방안을 마련할 필요성이 존재한다. 이에 본 연구에서는 구글 플레이스토어(Google PlayStore)의 배달 어플리케이션 사용자 리뷰를 수집한 후 머신러닝과 딥러닝 기법을 활용하여 어플리케이션 기능 장점, 단점, 기능 개선 요청, 버그 보고의 4가지 범주로 분류하는 방법을 제안한다. 연구 결과, Hugging Face의 pretrain된 BERT기반 Transformer모델의 성능의 경우 위의 4개의 범주에 대한 f1 score값은 차례대로 0.93, 0.51, 0.76, 0.83으로 LSTM, GRU보다 뛰어난 성능을 보인 것을 확인할 수 있었다.

Keywords

References

  1. Supot Tiarawut, "Mobile technology: Opportunity for entrepreneurship," Wireless personal communications, Vol. 69, No. 3, pp. 1025-1031, Apr. 2013. https://doi.org/10.1007/s11277-013-1062-7
  2. App Annie, "App Annie State of Mobile 2020 Report," https://www.appannie.com/kr/go/state-of-mobile-2020/(accessed Mar., 15, 2021).
  3. 조미나, "모바일 음식 배달앱 서비스 품질 척도 개발 및 배달앱 품질 개선을 위한 SERVQUAL-Kano 통합 모델의 QFD 적용," 관광학연구, 제44권, 제4호, 103-121쪽, 2020년 6월
  4. Y. Lu, L. Zhang ,B. Wang, "A multidimensional and hierarchical model of mobile service quality," Electronic Commerce Research and Applications, Vol. 8, Issue 5, pp. 228-240, Oct. 2009. https://doi.org/10.1016/j.elerap.2009.04.002
  5. C. Iacob, R. Harrison, "Retrieving and analyzing mobile apps feature requests from online reviews," Proceedings of the 10th Working Conference on Mining Software Repositories, Vol. 1, pp. 41-44, San Francisco, USA, May 2013.
  6. N. Chen, J. Lin, S.C.H. Hoi, X. Xiao, B. Zhang, "Ar-miner: mining informative reviews for developers from mobile app marketplace," Proceedings of the 36th International Conference on Software Engineering, pp. 767-778, Hyderabad, India, May-Jun. 2014.
  7. D. Pagano, W. Maalej, "User feedback in the appstore: An empirical study," 2013 21st IEEE International, In Requirements Engineering Conference (RE), pp. 125-134, Rio de Janeiro, Brazil, Jul. 2013.
  8. W. Maalej, H. Nabil, "Bug report, feature request, or simply praise? on automatically classifying app reviews," 2015 IEEE 23rd international requirements engineering conference (RE). pp. 116-125, Ottawa, Canada, Aug. 2015.
  9. E. Guzman, M. El-Haliby, B. Bruegge, "Ensemble methods for app review classification: An approach for software evolution (n)," Proceedings of the 30th IEEE/ACM International Conference on Automated Software Engineering, pp. 771-776, Lincoln, USA, Nov. 2015.
  10. W. Zhang, T. Yoshida, X. Tang, "Text classification based on multi-word with support vector machine," Knowledge-Based Systems, Vol. 21, No. 8, pp. 879-886, 2008. https://doi.org/10.1016/j.knosys.2008.03.044
  11. Jenq-Haur Wang, Ting-Wei Liu, Xiong Luo, Long Wang, "An LSTM approach to short text sentiment classification with word embeddings," Proceedings of the 30th conference on computational linguistics and speech processing, pp. 214-223, Hsinchu, Taiwan, Oct. 2018.
  12. 김유희, "딥러닝 기반 기사단위 및 문단 단위별 분류," 한국컴퓨터정보학회논문지, 제23권, 제11호, 31-41쪽, 2018년 11월
  13. 황상흠, 김도현, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델," 한국전자거래학회지, 제25권, 제1호, 203-214쪽, 2020년 2월 https://doi.org/10.7838/JSEBS.2020.25.1.203
  14. 임명진, 박원호, 신주현, "Word2vec과 LSTM을 활용한 이별 가사 감정 분류," 스마트미디어저널, 제9권, 제3호, 90-97쪽, 2020년 9월 https://doi.org/10.30693/SMJ.2020.9.3.90
  15. 김희상, 주기훈, 임현승, "단어 임베딩과 GRU를 활용한 상품 범주 분류," 한국정보기술학회논문지, 제19권, 제4호, 11-18쪽, 2021년 4월
  16. 김은희, 임명진, 신주현, "ELMo 임베딩 기반 문장 중요도를 고려한 중심 문장 추출방법," 스마트미디어저널, 제10권, 제1호, 39-46쪽, 2021년 3월
  17. Huggingface bert(2021). https://github.com/huggingface (accessed Apr., 10, 2021).
  18. 장은아, 최회련, 이홍철, "BERT 를 활용한 뉴스 감성분석과 거시경제지표 조합을 이용한 주가지수 예측," 한국컴퓨터정보학회논문지, 제25권, 제5호, 47-56쪽, 2020년 5월
  19. 이현영, 강승식, "Out-of-Vocabulary 단어에 강건한 병렬 Tri-LSTM 문장 임베딩을 이용한 감정분석," 스마트미디어저널, 제10권, 제1호, 16-24쪽, 2021년 3월