한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리) (Annual Conference on Human and Language Technology)
- 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
- /
- Pages.190-197
- /
- 2000
- /
- 2005-3053(pISSN)
질의응답시스템의 성능 평가를 위한 테스트컬렉션 구축
Construction of Test Collection for Evaluation of Question Answering System
-
이경순
(전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원) ;
- 김재호 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원) ;
- 최기선 (전문용어언어공학연구센터, 첨단정보기술연구센터, 한국과학기술원)
-
Lee, Kyung-Soon
(KORTERM, AITRC, KAIST) ;
- Kim, Jae-Ho (KORTERM, AITRC, KAIST) ;
- Choi, Key-Sun (KORTERM, AITRC, KAIST)
- 발행 : 2000.10.13
초록
본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML 형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.
키워드