한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지

대규모 언어모델의 한국어 이해 능력 평가 방법에 관한 연구

A Study on the Evaluation Method of Korean Comprehension Abilities of Large Language Model

  • 손기준 (오피니언라이브) ;
  • 김승현 (한국지능정보사회진흥원)
  • Ki Jun Son (Dept. of AI Data, Opinionlive) ;
  • Seung Hyun Kim (Dept. of AI Data, National Information society Agency)
  • 발행 : 2024.05.23
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

최근 GTP4, LLama와 같은 초거대 언어모델을 활용한 서비스가 공개되어 많은 사람의 주목을 받고 있다. 해당 모델들은 사용자들의 다양한 질문에 대하여 유창한 결과를 생성하고 있지만 한국어 데이터에 대한 학습량이 부족하여 한국어 이해 및 한국 문화 등에 대한 잘못된 정보를 제공하는 문제를 야기할 수 있다. 이에 본 논문에서는 한국어 데이터를 학습한 주요 공개 모델 6개를 선정하고 5개 분야(한국어 이해 및 문화 영역으로 구성)에 대한 평가 데이터셋을 구성하여 한국어 이해 능력에 대한 평가를 진행하였다. 그 결과 한국어 구사 능력은 Bookworm 모델이, 한국어 이해 및 문화와 관련한 부문은 LDCC-SOLAR 모델이 우수한 것으로 확인할 수 있었다.

키워드

참고문헌

  1. S. Lim and S. Lee "Research Trends in Artificial Intelligence Language Models", Information and Communication Magazine, Vol 40, No. 3, pp.42-50, 2023.
  2. M. Shanahan "Talking about large language models", Communication of the ACM, Vol 67, No. 2, pp68-79, 2024.
  3. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez et al., "Attention is All You Need", Advances in Neural Information Processing Systems, pp5998-6008, 2017.
  4. J. Devlin, M. Chang, K. Lee, and K. Toutanova, "BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding", North America Chaper of the Association for Computational Liguistics, pp4171-4186, 2018.
  5. A, Radfordm J, Narasimhan, T. Salimans, and I. Sutskever, Improving Language Understanding by Generarive Pre-training, OpenAI, 2018
  6. LDCC. (2024, February 28). LDCC/LDCC-SOLAR-10.7B. Hugging Face. https://huggingface.co/LDCC/LDCC-SOLAR-10.7B
  7. Yanolja. (2024, March 16). Yanolja/Bookworm-10.7B-v0.4-DPO. Hugging Face. https://huggingface.co/yanolja/Bookworm-10.7B-v0.4-DPO
  8. Dopeornope. (2024, January 15). DopeorNope/SOLARC-M-10.7B. Hugging Face. https://huggingface.co/DopeorNope/SOLARC-M-10.7B
  9. Meta. (2023, November 13). Meta-Llama/Llama-2-13b-Hf. Hugging Face. https://huggingface.co/meta-llama/Llama-2-13b-hf
  10. Heavytail. (2024, January 28). Heavytail/Kullm-Solar. Hugging Face. https://huggingface.co/heavytail/kullm-solar
  11. Beomi.(2023, May 3). Beomi/KoAlpaca-Polyglot-12.8B. Hugging Face. https://huggingface.co/beomi/KoAlpaca-Polyglot-12.8B