Development of New Retieval Performance Measures for Query Reformulation Algorithms

질의 재구성 알고리즘의 검색성능을 측정하기 위한 새로운 평가 방법의 개발

In imformation retrival, query reformulation algorithms construct querise from a set of intial input and feedback documents, and retrieval performance cna be varied by different sets of input documents. In this study, we developed a criterion for measuring the performance sensitivity of query reformulation algorithms to unput sets. In addition, we also propose a way of mesuring the changes in retrived area, (CIRA) during qucry reformulation. We cimpared CIRAs of query refromulation algorithms (i.e., query tree, DNF method, and Dillon's method) using three test sets:the CACM, CISI, and Medlars. In the experiments, the query tree showed the highest decreasing CIRA during refirmulations, which means the fastest convergence rate to an output set. For sensitivity analysis, the query tree sored the highest sensitivity to different input sets even though its differences to the tther algorithms are very small.

정보 검색에서 대부분의 질의 재구성 알고리즘들은 초기 입력 문서나 피드백 문을 이용 하여 질의를 재구성하므로, 질의 재구성 알고리즘의 검색 성능은 입력되는 문서들의 질 에 따라 달라진다. 본 연구에서는 질의 재구성 알고리즘의 입력 문서에 대한 성능 감도를 새로운 검색성능 평가방법을 개발하여 분석하였다. 또한 CIRA라고 불리는 새로운 평가기준을 개발하여 질의 재구성 사이의 성능 변화추이를 분석하였다. 세가지의 질의 재구성 알고리즘(질의나무 (query tree), DNF 방법, Dillon 방법)의 감도와 성능변화를 테시트 세트인 CACM, CISI, Medlars 상에서 분석하였다. 세 실험에서 질의나무가 가장 작은 CIRA를 취득했으며, 감도 분석에서는 비록 다른 알고리즘과 차이는 적으나 가장 높은감도를 나타냈다.