한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리) (Annual Conference on Human and Language Technology)
- 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
- /
- Pages.192-196
- /
- 2020
- /
- 2005-3053(pISSN)
REALM을 이용한 한국어 오픈도메인 질의 응답
REALM for Open-domain Question Answering of Korean
- Kan, Dong-Chan (Jeonbuk National University) ;
- Na, Seung-Hoon (Jeonbuk National University) ;
- Choi, Yun-Su (KT) ;
- Lee, Hye-Woo (KT) ;
- Chang, Du-Seong (KT)
- 발행 : 2020.10.14
초록
최근 딥러닝 기술의 발전에 힘입어 오픈 도메인 QA 시스템의 발전은 가속화되고 있다. 특히 IR 시스템(Information Retrieval)과 추출 기반의 기계 독해 모델을 결합한 접근 방식(IRQA)의 경우, 문서와 질문 각각을 연속 벡터로 인코딩하는 IR 시스템(Dense Retrieval)의 연구가 진행되면서 검색 성능이 전통적인 키워드 기반 IR 시스템에 비해 큰 폭으로 상승하였고, 이를 기반으로 오픈 도메인 질의응답의 성능 또한 개선 되었다. 본 논문에서는 경량화 된 BERT 모델을 기반으로 하여 Dense Retrieval 모델 ORQA와 REALM을 사전 학습하고, 한국어 오픈 도메인 QA에서 QA 성능과 검색 성능을 도출한다. 실험 결과, 키워드 기반 IR 시스템 BM25를 기반으로 했던 이전 IRQA 실험결과와 비교하여 더 적은 문서로 더 나은 QA 성능을 보였으며, 검색 결과의 경우, BM25의 성능을 뛰어넘는 결과를 보였다.