A Study on Video Object Segmentation using Nonlinear Multiscale Filtering

Object-based coding, such as MPEG-4, enables various content-based functionalities for multimedia applications. In order to support such functionalities, as well as to improve coding efficiency, each frame of video sequences should be segmented into video objects. In this paper. we propose an effective video object segmentation method using nonlinear multiscale filtering and spatio-temporal information. Proposed method performs a spatial segmentation using a nonlinear multiscale filtering based on the stabilized inverse diffusion equation(SIDE). And, the segmented regions are merged using region adjacency graph(RAG). In this paper, we use a statistical significance test and a time-variant memory as temporal segmentation methods. By combining of extracted spatial and temporal segmentations, we can segment the video objects effectively. Proposed method is more robust to noise than the existing watershed algorithm. Experimental result shows that the proposed method improves a boundary accuracy ratio by 43% on "Akiyo" and by 29% on "Claire" than A. Neri's Method does.

비선형 다중스케일 필터링을 사용한 비디오 객체 분할에 관한 연구

MPEG-4와 같은 객체 기반 부호화는 멀티미디어 응용을 위한 다양한 내용 기반 기능들을 제공한다. 압축 효율의 향상과 더불어 이러한 기능들이 지원되도록 하기 위해서는 비디오 데이터의 각 프레임은 비디오 객체로 분할되어야 한다. 본 논문에서는 비선형 다중스케일 필터링과 시공간 정보를 사용한 효과적인 비디오 객체 분할 기법을 제안한다. 제안된 방법은 안정화된 역 확산 방정식(Stabilized Inverse Diffusion Equation : SIDE)에 기반한 비선형 다중스케일 필터링을 사용하여 공간적 분할을 수행한다. 또한 구해진 초기 분할된 영역들은 인접 영역 그래프 (Region Adjacency Graph : RAG)를 사용하여 병합된다. 본 논문에서는 통계적 유의성 검사(Statistical significance test)와 시변 메모리(Time-variant memory)를 시간적 분할 방법으로 사용하며 구해진 공간적 분할과 시간적 분할을 결합하여 최종 객체 영역을 효과적으로 분할한다. 본 논문에서 제안된 공간적 분할 방법은 기존의 형태학적 Watershed 알고리즘에 비해 잡음에 강인한 분할 특성을 나타내었으며 기존의 A. Neri의 방법과 비교하였을 때, 최종 분할된 객체 영역의 정확도 비율이 Akiyo는 43%, Claire는 29% 정도 향상됨을 확인할 수 있었다.