Natural Language based Video Retrieval System with Event Analysis of Multi-camera Image Sequence in Office Environment

사무실 환경 내 다중카메라 영상의 이벤트분석을 통한 자연어 기반 동영상 검색시스템

Recently, the necessity of systems which effectively store and retrieve video data has increased. Conventional video retrieval systems retrieve data using menus or text based keywords. Due to the lack of information, many video clips are simultaneously searched, and the user must have a certain level of knowledge to utilize the system. In this paper, we suggest a natural language based conversational video retrieval system that reflects users' intentions and includes more information than keyword based queries. This system can also retrieve from events or people to their movements. First, an event database is constructed based on meta-data which are generated by domain analysis for collected video in an office environment. Then, a script database is also constructed based on the query pre-processing and analysis. From that, a method to retrieve a video through a matching technique between natural language queries and answers is suggested and validated through performance and process evaluation for 10 users The natural language based retrieval system has shown its better efficiency in performance and user satisfaction than the menu based retrieval system.

최근 동영상을 저장하거나 효과적으로 검색하는 시스템의 필요성이 증가하고 있다. 기존 동영상 검색 시스템은 메뉴나 텍스트 기반의 키워드로 동작하는데, 검색을 위한 정보가 빈약하여 많은 동영상이 동시에 검색되는 경우가 많고, 사용자가 해당 시스템을 사용하기 위한 지식이 필요하다. 본 논문에서는 키워드 기반 질의에 비해 사용자의 의도나 다양한 정보를 포함 할 수 있고 이벤트나 사람 뿐 아니라 인간의 기본적인 행동까지 검색하는 자연어 질의 기반 동영상 검색 시스템을 제안한다. 먼저, 사무실에서 수집된 동영상에 대한 도메인 분석을 통해 메타데이터로 이벤트 데이터베이스를 구축하고, 해당 영역에서의 사용자 질의에 대한 전처리 과정과 분석 작업을 통해 스크립트 데이터베이스를 구축한다. 이렇게 구축된 시스템을 바탕으로 대화형 질의와 답변 쌍 매칭을 통해 동영상을 검색한다. 10명의 사용자를 대상으로 메뉴 기반 검색 시스템과의 성능 평가와 프로세스 평가 비교 검증을 통해, 성능이나 사용자 만족도면에서 제안하는 시스템이 우수함을 보였다.