Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Performance Evaluation of Pre-trained Language Models in Multi-Goal Conversational Recommender Systems

다중목표 대화형 추천시스템을 위한 사전 학습된 언어모델들에 대한 성능 평가

  • 김태호 (한양대학교 컴퓨터소프트웨어 학과) ;
  • 장형준 (한양대학교 AI응용 학과) ;
  • 김상욱 (한양대학교 컴퓨터소프트웨어 학과)
  • Received : 2023.06.26
  • Accepted : 2020.07.20
  • Published : 2023.07.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this study paper, we examine pre-trained language models used in Multi-Goal Conversational Recommender Systems (MG-CRS), comparing and analyzing their performances of various pre-trained language models. Specifically, we investigates the impact of the sizes of language models on the performance of MG-CRS. The study targets three types of language models - of BERT, GPT2, and BART, and measures and compares their accuracy in two tasks of 'type prediction' and 'topic prediction' on the MG-CRS dataset, DuRecDial 2.0. Experimental results show that all models demonstrated excellent performance in the type prediction task, but there were notable provide significant performance differences in performance depending on among the models or based on their sizes in the topic prediction task. Based on these findings, the study provides directions for improving the performance of MG-CRS.

본 연구는 대화형 추천 시스템인 다중 목표 대화형 추천 시스템(MG-CRS)에서 사용되는 다양한 사전 학습된 언어 모델들을 고찰하고, 각 언어모델의 성능을 비교하고 분석한다. 특히, 언어 모델의 크기가 다중 목표 대화형 추천 시스템의 성능에 어떤 영향을 미치는지에 대해 살펴본다. BERT, GPT2, 그리고 BART의 세 종류의 언어모델을 대상으로 하여, 대표적인 다중 목표 대화형 추천 시스템 데이터셋인 DuRecDial 2.0에서 '타입 예측'과 '토픽 예측'의 정확도를 측정하고 비교한다. 실험 결과, 타입 예측에서는 모든 모델이 뛰어난 성능을 보였지만, 토픽예측에서는 모델 간에 혹은 사이즈에 따라 성능 차이가 관찰되었다. 이러한 결과를 바탕으로 다중 목표 대화형 추천 시스템의 성능 향상을 위한 방향을 제시한다.

Keywords

Acknowledgement

이 논문은 2018년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2018R1A5A7059549, 그리고 No. 2020-0-01373, 인공지능대학원지원(한양대학교).

References

  1. Chen, Qibin, et al., "Towards knowledge-based recommender dialog system," arXiv preprint arXiv:1908.05391, 2019.
  2. Deng, Yeng, et al., "A unified multi-task learning framework for multi-goal conversational recommender systems," ACM Transactions on Information Systems, Vol. 41, No. 3, pp. 1-25, Feb. 2023. https://doi.org/10.1145/3570640
  3. Devlin, Jacob, et al., "Bert: Pre-training of deep bidirectional transformers for language understanding," arXiv:1810.04805, 2018.
  4. Hu, Edward J., et al., "Lora: Low-rank adaptation of large language models," arXiv:2106.09685, 2021.
  5. Lewis, Mike, et al., "Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension," arXiv:1910.13461, 2019.
  6. Li, Raymond, et al., "Towards deep conversational recommendations," Advances in neural information processing systems 31(NeurIPS 2018), PP. 9748-9758, Red Hook, USA, Dec. 2018.
  7. Liu, Zeming, et al., "Towards conversational recommendation over multi-type dialogs," arXiv:2005.03954, 2020.
  8. Liu, Zeming, et al., "Durecdial 2.0: A bilingual parallel corpus for conversational recommendation," arXiv:2109.08877, 2021.
  9. Liu, P., et al., "Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing," ACM Computing Surveys, Vol. 55, No. 9, pp. 1-35, Jan. 2023. https://doi.org/10.1145/3560815
  10. Radford, Alec, et al., "Improving language understanding by generative pre-training," 2018.
  11. Vaswani, Ashish, et al., "Attention is all you need," Advances in neural information processing systems 30(NIPS 2017), 2017.
  12. Wang, Xiaolei, et al., "Towards Unified Conversational Recommender Systems via Knowledge-Enhanced Prompt Learning," Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Minin, PP. 1929-1937, New York, USA, Aug. 2022.
  13. Zhang, Jun, et al., "Kers: A knowledge-enhanced framework for recommendation dialog systems with multiple subgoals," Findings of the Association for Computational Linguistics: EMNLP, PP. 1092-1101, Punta Cana, Dominican Republic, Nov. 2021.
  14. Zhou, Kun, et al., "Improving conversational recommender systems via knowledge graph based semantic fusion," Proceedings of the 26th ACMSIGKDD international conference on knowledge discovery & data mining, pp. 1006-1014, New York, USA, Aug. 2020.
  15. 장준혁, "디지털 소외계층을 위한 지능형 IoT 애플리케이션의 공개 API 기반 대화형 음성 상호작용 기법," 스마트미디어저널, 제11권, 제10호, 22-30쪽, 2022년 11월 https://doi.org/10.30693/SMJ.2022.11.10.22
  16. 전민규, 김남규, "텍스트 요약 품질 향상을 위한 의미적 사전학습 방법론," 스마트미디어저널, 제12권, 제5호, 17-27쪽, 2023년 6월