• Title/Summary/Keyword: LLM-based KoBERT

Search Result 2, Processing Time 0.017 seconds

Federated Learning and LLM-based Social Media Comment Classification System Using Crowdsourcing Techniques

  • Jungho Kang
    • International Journal of Computer Science & Network Security
    • /
    • v.24 no.10
    • /
    • pp.25-31
    • /
    • 2024
  • Currently, on social media, malicious comments have emerged as a serious issue. Existing artificial intelligence-based comment classification systems have limitations due to data bias and overfitting. To address this, this study proposed a novel comment classification system that combines crowdsourcing and federated learning. This system collects data from various users and utilizes a large language model like KoBERT through federated learning to classify comments accurately while protecting user privacy. It is expected to provide higher accuracy than existing methods and improve significantly the efficiency of detecting malicious comments. The proposed system can be applied to social media platforms and online communities.

Empathetic Dialogue Generation based on User Emotion Recognition: A Comparison between ChatGPT and SLM (사용자 감정 인식과 공감적 대화 생성: ChatGPT와 소형 언어 모델 비교)

  • Seunghun Heo;Jeongmin Lee;Minsoo Cho;Oh-Woog Kwon;Jinxia Huang
    • Annual Conference of KIPS
    • /
    • 2024.05a
    • /
    • pp.570-573
    • /
    • 2024
  • 본 연구는 대형 언어 모델 (LLM) 시대에 공감적 대화 생성을 위한 감정 인식의 필요성을 확인하고 소형 언어 모델 (SLM)을 통한 미세 조정 학습이 고비용 LLM, 특히 ChatGPT의 대안이 될 수 있는지를 탐구한다. 이를 위해 KoBERT 미세 조정 모델과 ChatGPT를 사용하여 사용자 감정을 인식하고, Polyglot-Ko 미세 조정 모델 및 ChatGPT를 활용하여 공감적 응답을 생성하는 비교 실험을 진행하였다. 실험 결과, KoBERT 기반의 감정 분류기는 ChatGPT의 zero-shot 접근 방식보다 뛰어난 성능을 보였으며, 정확한 감정 분류가 공감적 대화의 질을 개선하는 데 기여함을 확인하였다. 이는 공감적 대화 생성을 위해 감정 인식이 여전히 필요하며, SLM의 미세 조정이 고비용 LLM의 실용적 대체 수단이 될 수 있음을 시사한다.