Uncertain Region Based User-Assisted Segmentation Technique for Object-Based Video Editing System

객체기반 비디오 편집 시스템을 위한 불확실 영역기반 사용자 지원 비디오 객체 분할 기법

In this paper, we propose a semi-automatic segmentation method which can be used to generate video object plane (VOP) for object based coding scheme and multimedia authoring environment. Semi-automatic segmentation can be considered as a user-assisted segmentation technique. A user can initially mark objects of interest around the object boundaries and then the selected objects are continuously separated from the un selected areas through time evolution in the image sequences. The proposed segmentation method consists of two processing steps: partially manual intra-frame segmentation and fully automatic inter-frame segmentation. The intra-frame segmentation incorporates user-assistance to define the meaningful complete visual object of interest to be segmentation and decides precise object boundary. The inter-frame segmentation involves boundary and region tracking to obtain temporal coherence of moving object based on the object boundary information of previous frame. The proposed method shows stable and efficient results that could be suitable for many digital video applications such as multimedia contents authoring, content based coding and indexing. Based on this result, we have developed objects based video editing system with several convenient editing functions.

본 논문에서는 객체기반 비디오 부호화 또는 멀티미디어 편집을 위한 반지동 비디오 객체 분할방식을 제안한다. 반자동 객체분할은 사용자 지원에 의한 분할 방식으로, 비디오 시퀀스의 초기 프레임에서 사용자가 관심객체의 경계를 표시하고 이후의 영상 프레임의 객체를 배경으로부터 연속적으로 분리해 낸다. 제안된 방식은 부분적으로 사용자 조력에 의한 프레임내 분할과 완전 자동에 의한 프레임간 분할 처리과정으로 구성되는데, 영상 전체에 대해 연산을 수행하는 기존 방식과는 달리 객체 경계가 존재하는 영상영역 부분에서만 연산을 수행한다. 프레임내 분할은 사용자가 관심객체의 경계를 지정하고, 이 경계 주위 화소들의 유사성을 이용한 후처리에 의해 정확한 초기 객체를 구한다. 프레임간 분할에서는 이전 프레임에서 추출한 객체의 경계 정보에 근거하여 시간적 유사성을 구한 후 경계와 영역 추적에 의해 연속적으로 동영상 객체를 추출한다. 실험결과로부터 제안된 방식은 비디오 편집, 객체기반 비디오 압축 및 인덱싱 등의 멀미디어 응용에 사용 가능할 정도로 안정되고 정확한 객체추출을 수행함을 확인하였다. 이 결과를 바탕으로 다수의 편리한 기능을 포함한 비디오 편집시스템을 개발하였다.