Acknowledgement
이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (R7119-16-1001, 지식증강형 실시간 동시통역 원천기술 개발)
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2020.10a
- /
- Pages.172-175
- /
- 2020
- /
- 2005-3053(pISSN)
BART for Korean Natural Language Processing: Named Entity Recognition, Sentiment Analysis, Semantic role labelling
BART를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의미역 결정
-
Hong, Seung-Yean
(Jeonbuk National University)
;
-
Na, Seung-Hoon
(Jeonbuk National University)
;
- Shin, Jong-Hoon (ETRI) ;
- Kim, Young-Kil (ETRI)
- Published : 2020.10.14
Abstract
최근 자연어처리는 대용량 코퍼스를 이용하여 언어 모델을 사전 학습하고 fine-tuning을 적용함으로 다양한 태스크에서 최고 성능을 갱신하고 있다. BERT기반의 언어 모델들은 양방향의 Transformer만 모델링 되어 있지만 BART는 양방향의 Transformer와 Auto-Regressive Transformer가 결합되어 사전학습을 진행하는 모델로 본 논문에서는 540MB의 코퍼스를 이용해 한국어 BART 모델을 학습 시키고 여러 한국어 자연어처리 태스크에 적용하여 성능 향상 있음을 보였다.