Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.570-573
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

Empathetic Dialogue Generation based on User Emotion Recognition: A Comparison between ChatGPT and SLM

사용자 감정 인식과 공감적 대화 생성: ChatGPT와 소형 언어 모델 비교

  • Seunghun Heo (Language Intelligence Research Section, ETRI) ;
  • Jeongmin Lee (Language Intelligence Research Section, ETRI) ;
  • Minsoo Cho (Language Intelligence Research Section, ETRI) ;
  • Oh-Woog Kwon (Language Intelligence Research Section, ETRI) ;
  • Jinxia Huang (Language Intelligence Research Section, ETRI)
  • 허승훈 (한국전자통신연구원 언어지능연구실) ;
  • 이정민 (한국전자통신연구원 언어지능연구실) ;
  • 조민수 (한국전자통신연구원 언어지능연구실) ;
  • 권오욱 (한국전자통신연구원 언어지능연구실) ;
  • 황금하 (한국전자통신연구원 언어지능연구실)
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

본 연구는 대형 언어 모델 (LLM) 시대에 공감적 대화 생성을 위한 감정 인식의 필요성을 확인하고 소형 언어 모델 (SLM)을 통한 미세 조정 학습이 고비용 LLM, 특히 ChatGPT의 대안이 될 수 있는지를 탐구한다. 이를 위해 KoBERT 미세 조정 모델과 ChatGPT를 사용하여 사용자 감정을 인식하고, Polyglot-Ko 미세 조정 모델 및 ChatGPT를 활용하여 공감적 응답을 생성하는 비교 실험을 진행하였다. 실험 결과, KoBERT 기반의 감정 분류기는 ChatGPT의 zero-shot 접근 방식보다 뛰어난 성능을 보였으며, 정확한 감정 분류가 공감적 대화의 질을 개선하는 데 기여함을 확인하였다. 이는 공감적 대화 생성을 위해 감정 인식이 여전히 필요하며, SLM의 미세 조정이 고비용 LLM의 실용적 대체 수단이 될 수 있음을 시사한다.

Keywords

Acknowledgement

이 논문은 2019 년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(2019-0-00004, 준지도학습형 언어지능원천기술 및 이에 기반한 외국인 지원용 한국어 튜터링 서비스 개발)

References

  1. C. Pelau, D.-C. Dabija, I. Ene, "What makes an AI device human-like? The role of interaction quality, empathy and perceived psychological anthropomorphic characteristics in the acceptance of artificial intelligence in the service industry", Computers in Human Behavior, Vol. 122, pp. 106855, 2021.
  2. H. Ko, et al., "A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models", arXiv preprint, 2023, arXiv: 2306.02254.
  3. K. Schaaff, C. Reinig, T. Schlippe, "Exploring ChatGPT's Empathic Abilities", 2023 11th International Conference on ACII, , 2023, pp. 1-8.
  4. Q. Li, et al., "EmpDG: Multi-resolution Interactive Empathetic Dialogue Generation", Proceedings of the 28th International Conference on Computational Linguistics, 2020, pp. 4454-4466.
  5. A. Belkhir, F. Sadat, "Beyond Information: Is ChatGPT Empathetic Enough?", Proceedings of Recent Advances in Natural Language Processing, 2023, 159-169.
  6. S. Liu, et al., "Towards Emotional Support Dialog Systems", Proceedings of the 59th Annual Meeting of the ACL and the 11th IJCNLP, pp. 3469-3483, 2021.
  7. S. Concannon, M. Tomalin, "Measuring perceived empathy in dialogue systems", AI & SOCIETY: Knowledge, Culture and Communication, 2023.
  8. K. Papineni, et al., "BLEU: a Method for Automatic Evaluation of Machine Translation", Proceedings of the 40th Annual Meeting of the ACL, 2002, pp. 311-318.
  9. M. Post, "A Call for Clarity in Reporting BLEU Scores", Proceedings of the Third Conference on Machine Translation: Research Papers, 2018, pp. 186-191.
  10. A. Lavie, M. J. Denkowski, "The METEOR metric for automatic evaluation of machine translation", Machine Translation, Vol. 23, 2009, pp. 105-115.
  11. C.-Y. Lin, F. J. Och, "Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics", Proceedings of the 42nd Annual Meeting of the ACL, 2004, pp. 605-612.
  12. N. Reimers, I. Gurevych, "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", Proceedings of the 2019 Conference on EMNLP and the 9th IJCNLP, 2019, pp. 3982-3992.
  13. Y. Zhang, et al., "DialogueLLM: Context and Emotion Knowledge-Tuned Large Language Models for Emotion Recognition in Conversations", arXiv preprint, 2024, arXiv: 2310.11374.