Acknowledgement
이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기술기획평가원의 지원(No. 2020-0-00368, 뉴럴-심볼릭(neural-symbolic) 모델의 지식 학습 및 추론 기술 개발)과 과학기술정보통신부 및 정보통신기술기획평가원의 대학ICT연구센터지원사업의 연구결과로 수행되었음 (IITP-2022-2018-0-01405)
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2022.10a
- /
- Pages.369-373
- /
- 2022
- /
- 2005-3053(pISSN)
Domain-specific Korean Relation Extraction system using Prompt with Meta-Information
메타 정보를 활용한 프롬프트 기반 도메인 특화 한국어 관계 추출
- Jinsung Kim (Department of Computer Science and Engineering, Korea University) ;
- Gyeongmin Kim (Department of Computer Science and Engineering, Korea University) ;
- Junyoung Son (Department of Computer Science and Engineering, Korea University) ;
- Aram So (Department of Computer Science and Engineering, Korea University) ;
- Heuiseok Lim (Department of Computer Science and Engineering, Korea University)
- 김진성 (고려대학교 컴퓨터학과) ;
- 김경민 (고려대학교 컴퓨터학과) ;
- 손준영 (고려대학교 컴퓨터학과) ;
- 소아람 (고려대학교 컴퓨터학과) ;
- 임희석 (고려대학교 컴퓨터학과)
- Published : 2022.10.18
Abstract
기존의 관계 추출 태스크에서의 많은 연구들은 사전학습 언어모델을 파인튜닝하여 뛰어난 성능을 달성해왔다. 하지만, 파인튜닝은 사전학습 시의 학습 기법과의 간극으로 인해 일반화 능력을 저해한다. 본 연구는 다운스트림 태스크를 사전학습의 Masked Language Modeling (MLM) 기법을 통해 해결하는 프롬프트 기반의 학습 기법을 활용하여, 특정 한국어 도메인에서의 관계 추출을 위한 프롬프트 기반 파인튜닝 방법론을 제안한다. 실험의 경우, 도메인의 특성이 뚜렷한 전통문화유산 말뭉치를 대상으로 실험을 진행하여 본 방법론의 도메인 적응력을 보이며, 메타 정보 즉, 개체 유형 및 관계 유형의 의미론적 정보를 일종의 지식 정보로 활용하여 프롬프트 기반 지식 주입의 효과성을 검증한다. 프롬프트에의 메타 정보의 주입과 함께 프롬프트 기반으로 파인튜닝된 모델은 오직 MLM 기법만을 이용하여 태스크를 수행하여 기존 파인튜닝 방법론 대비 파라미터 수가 적음에도, 성능 면에서 대부분 소폭 상승하는 경향을 보여줌으로써 그 효과성 및 효율성을 보인다.