Video Scene Segmentation Technique based on Color and Motion Features

칼라 및 모션 특징 기반 비디오 씬 분할 기법

The previous video structuring techniques are mainly limited to shot or shot group level. However, the shot level structure couldn't provide semantics within a video. So, researches on high level structuring are going on for getting over the drawbacks of shot level structure, recently. To overcome the drawbacks of shot level structure, we propose video scene segmentation technique based on color and motion features. For considering various color distribution, each shot is divided into sub-shots based on color feature. A key frame is extracted from each sub-shot. The motion feature in a shot is extracted from MPEG-1 video's motion vector. Moreover adaptive weights based on motion's property in search range are applied to color and motion features. The experiment results of proposed technique show the excellence in view of the over-segmentation and the reflection of semantics, comparing with those of previous techniques. The proposed technique decomposes video into meaningful hierarchical structure and provides video browsing or retrieval based on scene.

기존의 비디오 구조화 기법은 주로 샷 또는 샷 그룹 레벨에서 이루어져 왔다. 그러나 이러한 샷 레벨 구조는 사용자에게 의미(semantics)를 충분히 전달할 수 없는 단점이 있다. 이런 단점을 극복하기 위해, 최근 샷 보다 상위 레벨 구조인 비디오 씬 분할에 관한 연구가 진행되고 있다. 본 논문에서는 이러한 샷 레벨 구조의 단점을 극복하기 위해서 칼라와 모션 특징을 기반으로 한 비디오 씬 분할 기법을 제안한다. 샷 내의 다양한 칼라 분포를 반영하기 위해서 각 샷을 sub-shot으로 재분할하고, 이를 이용해 대표 프레임을 추출한다. 샷 내의 모션 특징은 MPEG-1 비디오 내의 모션 벡터를 이용한다. 유사한 컨텐트를 가지고 있는 샷을 찾기 위해서 탐색 구간내의 모션 특성을 반영한 적응적 가중치를 칼라와 모션 특징에 적용한다. 실험 결과 비교를 통해 씬의 과다 분할이나 의미 반영 면에서 기존의 씬 분할 기법보다 우수함을 보였다. 제안된 기법은 비디오를 의미 있는 계층 구조로 분할해서, 사용자에게 의미를 반영하는 씬 단위로의 브라우징이나 검색을 가능케 한다.