Implementation and Verification of Dynamic Search Ranking Model for Information Search Tasks: The Evaluation of Users' Relevance Judgement Model

정보 검색 과제별 동적 검색 랭킹 모델 구현 및 검증: 사용자 중심 적합성 판단 모형 평가를 중심으로

The purpose of this research was to implement and verify an information retrieval(IR) system based on users' relevance criteria for information search tasks. For this purpose, we implemented an IR system with a dynamic ranking model using users' relevance criteria varying with the types of information search task and evaluated this system through user experiment. 45 participants performed three information search tasks on both IR systems with a static and a dynamic ranking model. Three Information search tasks are fact finding search task, problem solving search task and decision making search task. Participants evaluated top five search results on 7 likert scales of relevance. We observed that the IR system with a dynamic ranking model provided more relevant search results compared to the system with a static ranking model. This research has significance in designing IR system for information search tasks, in testing the validity of user-oriented relevance judgement model by implementing an IR system for actual information search tasks and in relating user research to the improvement of an IR system.

본 연구는 정보 검색 과제별 주요 적합성 판단 기준을 실제 정보 검색 시스템으로 구현해 보고 사용자 평가를 통해 그 효과를 검증해 보고자 하였다. 이를 위해, 사용자 적합성 판단 기준들을 정보 검색 시스템에서 적합성을 결정하는 검색 랭킹 모델의 랭킹 요소들로 적용하였다. 그리고 정보 검색 과제별 차이가 있는 동적 검색 랭킹 모델과 차이가 없는 정적 검색 랭킹 모델을 시스템으로 구현하였고, 이에 대한 사용자 평가를 진행하여 비교해 보았다. 총 45명의 참가자가 실험에 참여하였고, 정보 검색 과제별 차이가 있는 동적 검색 랭킹 모델과 차이가 없는 정적 검색 랭킹 모델이 적용된 각각의 검색 시스템에서 3개의 검색 과제를 수행하였다. 3개의 정보 검색 과제로는 사실 검색 과제, 문제 해결 검색 과제, 의사 결정 검색 과제가 사용되었다. 각 참가자는 검색 결과 첫 페이지 상위 5 개의 검색 결과에 대해 적합성 정도를 7 점 척도로 평가하였다. 그 결과, 사용자는 전반적으로 모든 검색어에 동일하게 반응하는 정적 검색 랭킹 모델을 적용한 시스템보다 정보 검색 과제별로 사용자 적합성 판단기준의 변화에 따라 랭킹 요소 가중치를 달리한 동적 검색 랭킹 모델을 더 높이 평가하는 것을 확인할 수 있었다. 본 연구는 이를 통해, 정보 검색 과제를 고려한 정보 검색 시스템 디자인의 필요성과 함께, 사용자 중심 적합성 판단 모형 연구 결과를 실제 정보 검색 시스템으로 구현하여 평가함으로써 사용자 중심 적합성 연구 결과의 타당성을 검증하였다는 점, 그리고 사용자 연구 접목을 통한 시스템 개선의 중요성을 강조하였다는 점에서 의의를 가진다.