Acknowledgement
이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기술기획평가원의 지원을 받아 수행된 연구임(No. 2020-0-00368, 뉴럴-심볼릭(neural-symbolic) 모델의 지식 학습 및 추론 기술 개발). 본 연구는 과학기술정보통신부 및 정보통신기술기획평가원의 대학ICT연구센터지원사업의 연구결과로 수행되었음(IITP-2020-2018-0-01405).
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2020.10a
- /
- Pages.263-266
- /
- 2020
- /
- 2005-3053(pISSN)
Proposal of Punctuation Mark Filling Task with BERT-based Model
BERT 기반 문장부호 자동 완성 모델
- Han, Seunggyu (Korea University, Dept. of Computer Science and Engineering) ;
- Lim, Heuiseok (Korea University, Dept. of Computer Science and Engineering)
- Published : 2020.10.14
Abstract
문장 부호는 그 중요성에 비해 자연어 처리 분야에서 모델의 학습 효율을 위해 삭제되는 등 잘 연구되지 않았던 분야이다. 본 논문에서는 대한민국 정부에서 공식적으로 공개한 연설문을 수집한 말뭉치를 바탕으로 한국어의 문장 부호를 처리하는 BERT 기반의 fine-tuning 모델을 제시한다. BERT 기반 모델에서 토큰별로 예측하는 본 모델은 쉼표와 마침표만을 예측하는 경우 0.81, 물음표까지 예측하는 경우 0.66, 느낌표까지 예측하는 경우 0.52의 F1-Score를 보였다.