뉴스 비디오의 내용기반 검색을 위한 자동 인덱싱

Automatic Indexing for the Content-based Retrieval of News Video

본 논문은 내용에 기반한 뉴스 비디오의 인덱싱과 검색을 위한 통합된 해결책을 제안한다. 핸재 일반적인 비디오의 자동 인덱싱은 불가능하지만 뉴스 비디오와 같은 구조가 명확한 경우는 가능하다. 이러한 뉴스의 구조화된 지식을 이용하여 키 프레임들을 자동 추출하기 위해서 제안된 우리의 모델은 뉴스사건 분할, 자막 인식, 검색 브라우저 모듈로 구성되어 있다. 첫 번째로 뉴스사건의 분할 모듈은 얼굴인식에 기반하여 사건의 중심인 앵커 장면을 인식하고 앵커 장면의 공간적 정보를 이용하여 뉴스사건을 분할한다. 다음으로 뉴스아이콘을 추출한다. 자막인식 모듈은 먼저 자막의 특성을 이용하여 자막 프레임을 검출하고 분리병합 방법을 이용하여 문자열을 추출한다. 다음으로 문자인식기(OCR)를 이용하여 문자인식을 한다. 마지막으로 검색 브라우저 모듈은 다양한 검색 방법이 가능하도록 하였다.

This paper presents an integrated solution for the content-based news video indexing and the retrieval. Currently, it is impossible to automatically index a general video, but we can index a specific structural video such as news videos. Our proposed model extracts automatically the key frames by using the structured knowledge of news and consists of the news item segmentation, caption recognition and search browser modules. We present above three modules in the following: the news event segmentation module recognizes an anchor-person shot based on face recognition, and then its news event are divided by the anchor-person's frame information. The caption recognition module detects the caption-frames with the caption characteristics, extracts their character region by the using split-merge method, and then recognizes characters with OCR software. Finally, the search browser module could make a various of searching mechanism possible.