Acknowledgement
이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (RS-2023-00216011, 사람처럼 개념적으로 이해/추론이 가능한 복합인공지능 원천기술 연구)
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2023.10a
- /
- Pages.707-710
- /
- 2023
- /
- 2005-3053(pISSN)
Relation Extraction using Generative Language Models
생성형 언어모델을 이용한 관계추출
- Jeong Heo (ETRI, Language Intelligence Research Section) ;
- Jong-Hun Shin (ETRI, Language Intelligence Research Section) ;
- Soo-Jong Lim (ETRI, Language Intelligence Research Section) ;
- Oh-Woog Kwon (ETRI, Language Intelligence Research Section)
- 허정 (한국전자통신연구원, 언어지능연구실) ;
- 신종훈 (한국전자통신연구원, 언어지능연구실) ;
- 임수종 (한국전자통신연구원, 언어지능연구실) ;
- 권오욱 (한국전자통신연구원, 언어지능연구실)
- Published : 2023.10.12
Abstract
관계추출은 문장 내 두 개체 간의 의미적 관계를 추론하는 자연어분석 태스크이다. 딥러닝의 발전과 더불어 관계추출은 BERT 계열의 이해형 언어모델을 이용하였다. 그러나, ChatGPT의 혁신적인 등장과 함께, GPT계열의 생성형 언어모델에 대한 연구가 활발해졌다. 본 논문에서는 소규모의 생성형 언어모델(Kebyt5)을 이용하여 관계추출 성능개선을 위한 프롬프트 구성 및 생각의 사슬(CoT) 학습 방법을 제안한다. 실험결과 Kebyt5-large 모델에서 CoT 학습을 수행하였을 경우, Klue-RoBERTa-base 모델보다 3.05%의 성능개선이 있었다.