Foreground segmentation and tracking from sequential stereo images for 3D object modeling

3차원 물체 모델링을 위한 연속된 스테레오 이미지 상에서의 전경 영역 분리 및 추적

The previous researches of 3D object modeling have been performed in a limited environment where a target object only exists. However, in order to model an object in the real environment, we need to consider a dynamic environment, which has various objects and a frequently changing background. Therefore, this paper presents a segmentation and tracking method for a foreground which includes a target object in the dynamic environment. By using depth information than color information, the foreground region can be segmented and tracked more robustly. In addition, the foreground region can be tracked on the sequential images by referring depth distributions of the foreground region because both the position and the status in the consecutive images of the foreground region are almost unchanged. Experimental results show that our proposed method can robustly segment and track the foreground region in various conditions of the real environment. Moreover, as an application of the proposed method, it is presented a method for modeling an object extracting the object regions from the foreground region that is segmented and tracked.

물체를 3차원으로 모델링 하는 데에 있어서 기존의 연구들은 주로 모델링할 물체 외에 다른 방해 요소가 없는 제한된 환경에서 작업을 수행하였다. 이러한 환경 제약이 없는 일상적인 생활환경에서 물체를 모델링하기 위해서는 관심영역 외의 주변 물체들이 복잡하게 섞여있고 빈번하게 변하는 상황을 고려해야 한다. 본 논문에서는 스테레오 비전 카메라를 이용하여 동적인 환경에서 대상 물체가 포함된 전경 영역을 배경으로부터 분리하고 지속적으로 추적하는 방법을 제안한다. 스테레오 영상으로부터 획득된 거리 정보를 이용하여 색상 정보를 이용할 때보다 환경변화에 강인하게 전경 영역을 분리할 수 있다. 또한 시간적으로 연속된 두 영상에 나타나는 전경 영역은 위치나 상태에 따른 변화가 크지 않으므로 관심영역의 상대적인 거리 분포를 비교하여 추적할 수 있다. 다양한 조건의 동적인 환경에서 전경 영역을 분리 및 추적하는 실험을 통해 본 논문에서 제안하는 방법의 성능을 평가한다. 이를 통해 분리 및 추적된 전경 영역으로부터 물체 영역을 추출하여 3차원 물체 모델링이 가능함을 보인다.