Normalized Cross Correlation-based Multiview background Subtraction for 3D Object Reconstruction

In this paper, we propose a normalized cross correlation(NCC)-based multiview background subtraction method which is robust when an object and background have similar color. When the background of the capturing environment is not artificially composed, the regions in the background images which would be occluded by an object tends to have difference colors. The colors of those regions, however, becomes similar when an object enters the capturing environment. Based on this assumption, this paper proposes a concept of GoNCC(Graph of Normalized Cross Correlation). GoNCC is the distribution of NCC between a pixel in an image and pixels related by epipolar constraints with the pixel. The proposed multiview background subtraction method is performed by comparing GoNCC of the current images with the background images. To reduce computational complexity, we perform multiview background subtraction only to the pixels undetermined by single view background subtraction. Experimental results show that the proposed method is more robust to color similarity between an object and background than a single-view background subtraction method and a previous multiview background subtraction method.

3차원 객체 복원을 위한 정규 상관도 기반 다중 시점 배경 차분 기법

본 논문에서는 배경과 객체의 색상이 유사한 상황에서 강인한 정규 상관도(Normalized Cross Correlation) 기반 다중 시점 배경 차분 기법을 제안한다. 인위적으로 배경을 구성한 경우가 아닐 경우, 다중 시점 영상의 배경 영상에서 객체로 인해 가려지게 되는 영역들은 서로 다른 색상을 가지고 있을 확률이 높다. 그러나 객체의 등장으로 인해 이러한 영역들은 서로 유사한 색상을 가지게 된다. 이에 기반하여 본 논문은 GoNCC(Graph of Normalized Cross Correlation)을 제안한다. GoNCC는 임의 시점 영상의 한 화소와 에피폴라 제약조건 관계에 있는 인접 영상 내 화소와 해당 화소와의 정규 상관도 값의 분포를 의미한다. 제안하는 다중 시점 배경 차분 기법은 현재 영상의 GoNCC와 배경 영상의 GoNCC를 비교함으로써 이루어진다. 계산량을 줄이기 위해 다중 시점 배경 차분 기법을 모든 화소에 적용하지 않고 간단한 단일 시점 배경 차분 기법으로 판단하기 어려운 영역에 대해서만 제안 방법을 수행한다. 실험 결과 단순한 단일 시점 배경 차분 기법에 비하여 매우 우수한 성능을 보였고, 기존의 다중 시점 배경 차분 기법에 비해서도 보다 정확하게 객체 영역을 검출하는 것을 확인하였다.