영상 데이터베이스 검색 시스템의 검색효율 평가를 위한 새로운 평가척도

A Novel Measure for Retrieval Efficiency of Image Database Retrieval System

본 논문에서는 순위가 부여되는 영상 데이터베이스 검색 시스템의 검색효율을 평가하기 위한 새로운 단일가 척도를 제안한다. 좋은 순위부여 시스템이 되기 위한 조건은 첫째, 관련영상을 많이 검색해야 하며 둘째, 부적합 영상은 검색하지 말아야 하며 셋째, 평균순위가 높아야 하고, 넷째, 검색된 관련영상들이 밀집되어 있어야 한다. 기존 평가척도들이 일부 조건만을 반영하며 개략적 혹은 부정확한 평가 결과를 보이는데 반해, 제안하는 평가척도 NDS(Normalized Distance Sum)는 이러한 문제점들을 모두 해결한다. NDS의 우수성을 입증하기 위해 ${\_nC_r(_10C_5=252, _20C_9=167,960)}$개의 검색패턴을 자동 발생시켜 이를 기존 평가척도와 함께 측정 비교한다. 이 패턴들은 n 순위 내에서 r 개의 관련 영상이 검색된다고 가정하였을 때 재구적 함수 호출에 의해 자동 발생된것들이다.

This paper proposes a single metric to measure and evaluate the retrieval effectiveness of image database retrieval system that requires an ordered ranking. There are four conditions to be a good ranking system. First, the number of relevant images among the retrieved should be as large as possible. Secondly, the number of irrelevant images should be smaller. Third, the average rank of relevant images should be higher. Last, the relevant images should be clustered close together. The conventional evaluation measures only reflect a part of the conditions listed above, and the evaluated results are coarse or inaccurate. The proposed NDS, however, resolves all those problems. In order to prove the efficiency of the NDS, we generate patterns of ${\_nC_r(_10C_5=252, _20C_9=167,960)}$ to evaluate and compare with other measures. The patterns were generated automatically by a recursive function call on the assumption the 'r' relevant images are retrieved within the range of 'n'.