Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.1096-1097
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

Easy-Read Conversion Using LLM: Investigating Sentence Transformation Ability in Terms of Readability and Semantic Similarity

LLM 을 활용한 이지리드 변환: 문장 가독성과 의미 유사성 측면에서의 문장 변환 능력 조사

  • Su-Chae Jeong (Dept. of Computer Science and Engineering, Dong-guk University) ;
  • Jae-Hyeong Hwang (Dept. of Computer Science and Engineering, Dong-guk University) ;
  • Hye-Su Kim (Dept. of Economics, Dong-guk University) ;
  • Min-Ji Lee (Dept. of Information and communication Engineering, Dong-guk University) ;
  • Ye-Ji Lee (Dept. of Film, Dong-guk University) ;
  • Jae-Hun Lee (LG U+)
  • 정수채 (동국대학교 컴퓨터공학전공) ;
  • 황재형 (동국대학교 컴퓨터공학전공) ;
  • 김혜수 (동국대학교 경제학과 ) ;
  • 이민지 (동국대학교 정보통신공학과 ) ;
  • 이예지 (동국대학교 영화영상학과 ) ;
  • 이재훈
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

본 연구는 경계선 지능인 등을 대상으로 한 사기 및 부당 계약 문제를 해결하기 위해, 대규모 언어 모델(LLM)을 활용한 쉬운 말(이지리드) 변환 성능을 평가하였다. 이를 위해 Gunning Fog Index, 문장 복잡도, KoBERTScore 등의 지표로 가독성과 의미 유사도를 분석하는 평가 방법론을 제안하였으며, 여섯 종류의 LLM 을 평가한 결과 Claude-3.5-Sonnet 모델에서 우수한 성능을 확인하였다.

Keywords

Acknowledgement

본 논문은 과학기술정보통신부 대학디지털교육역량강화 사업의 지원을 통해 수행한 ICT 멘토링 프로젝트 결과물입니다. 본 논문은 현대차 정몽구 재단 장학생으로서 지원을 받아 수행된 연구입니다.

References

  1. Freyer, N., Kempt, H. & Kloser, L., "Easy-read and large language models: on the ethical dimensions of LLM-based text simplification," Ethics Inf Technol, vol. 26, no. 3, pp. 50, 2024.
  2. 조찬우, 조찬형, 우균, "가독성 평가를 위한 한글 문장의 복잡도 측정 방법," 한국정보과학회 2018 한국컴퓨터종합학술대회, 제주, 2018, pp. 2265-2267.
  3. 정대영, "소설 텍스트의 문장 복잡도 연구-자동화된 프로그램을 활용하여-," 문학교육학, no. 48, pp. 263-292, 2015.
  4. 김미란, "대학수학능력시험 영어 독해지문의 어휘 다양성 및 가독성 분석," 외국어교육연구, vol. 36, no. 4, pp. 71-90, 2022.
  5. Zhang Tianyi, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi, "BERTScore: Evaluating Text Generation with BERT.," In Proceedings of the 8th International Conference on Learning Representations (ICLR), Addis Ababa, Ethiopia, 2020
  6. Sottana, Andrea, Bin Liang, Kai Zou, and Zheng Yuan, "Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks," In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (ICLR), Singapore, 2023, pp. 8776-8788.