A Study of the construct Korean New Word Corpus and Metric of New Word Importance

한국어 신조어 말뭉치 구축 및 신조어 중요도 측정 방법에 대한 연구

  • Kim, Hyunji (Department of Computer Science and Engineering, Chungnam National University) ;
  • Jung, Sangkeun (Department of Computer Science and Engineering, Chungnam National University) ;
  • Hwang, Taewook (Department of Computer Science and Engineering, Chungnam National University)
  • 김현지 (충남대학교 컴퓨터융합학부) ;
  • 정상근 (충남대학교 컴퓨터융합학부) ;
  • 황태욱 (충남대학교 컴퓨터융합학부)
  • Published : 2020.10.14

Abstract

신조어는 자연어처리에 있어 대단히 중요하며, 시스템의 전체 성능에 직접적인 영향을 미친다. 일단위, 주단위로 신규 발생하는 어휘들에 대해, 자동으로 신규성 및 중요도가 측정되어 제공된다면, 자연어처리 연구 및 상용시스템 개발에 큰 도움이 될 것이다. 이를 위해, 본 연구는 한국어 말뭉치 KorNewVocab을 새로이 제시한다. 먼저, 신조어가 가져야 할 세부 중요 조건을 1)신규 어휘 2)인기 어휘 3)지속 사용 어휘로 정의하고, 이 조건을 만족하는 신조어 말뭉치를 2019.01~2019.08까지의 뉴스기사를 중심으로 신조어 412개와 4,532 문장으로 구성된 신조어 말뭉치를 구축하였다. 또한, 본 말뭉치의 구축에 활용된 반자동 신규어휘 검출 및 중요도 측정 방법에 대해 소개한다.

Keywords

Acknowledgement

이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No.2020-0-01441) 이 논문은 2019년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(2019-0-00004, 준지도학습형 언어지능 원천기술 및 이에 기반한 외국인 지원용 한국어 튜터링 서비스 개발) 이 논문은 2019년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(2019R1F1A1060601)