Graph Cut-based Automatic Color Image Segmentation using Mean Shift Analysis

A graph cuts method has recently attracted a lot of attentions for image segmentation, as it can globally minimize energy functions composed of data term that reflects how each pixel fits into prior information for each class and smoothness term that penalizes discontinuities between neighboring pixels. In previous approaches to graph cuts-based automatic image segmentation, GMM(Gaussian mixture models) is generally used, and means and covariance matrixes calculated by EM algorithm were used as prior information for each cluster. However, it is practicable only for clusters with a hyper-spherical or hyper-ellipsoidal shape, as the cluster was represented based on the covariance matrix centered on the mean. For arbitrary-shaped clusters, this paper proposes graph cuts-based image segmentation using mean shift analysis. As a prior information to estimate the data term, we use the set of mean trajectories toward each mode from initial means randomly selected in $L^*u^*{\upsilon}^*$ color space. Since the mean shift procedure requires many computational times, we transform features in continuous feature space into 3D discrete grid, and use 3D kernel based on the first moment in the grid, which are needed to move the means to modes. In the experiments, we investigate the problems of mean shift-based and normalized cuts-based image segmentation methods that are recently popular methods, and the proposed method showed better performance than previous two methods and graph cuts-based automatic image segmentation using GMM on Berkeley segmentation dataset.

Mean Shift 분석을 이용한 그래프 컷 기반의 자동 칼라 영상 분할

그래프 컷(graph cuts) 방법은 주어진 사전정보와 각 픽셀간의 유사도를 나타내는 데이터 항(data term)과 이웃하는 픽셀간의 유사도를 나타내는 스무드 항(smoothness term)으로 구성된 에너지 함수를 전역적으로 최소화하는 방법으로, 최근 영상 분할에 많이 이용되고 있다. 기존 그래프 컷 기반의 영상 분할 방법에서 데이터 항을 설정하기 위해 GMM(Gaussian mixture model)을 주로 이용하였으며, 평균과 공분산을 각 클래스를 위한 사전정보로 이용하였다. 이 때문에 클래스의 모양이 초구(hyper-sphere) 또는 초타원(hyper-ellipsoid)일 때만 좋은 성능을 보이는 단점이 있다. 다양한 클래스의 모양에서 좋은 성능을 보이기 위해, 본 논문에서는 mean shift 분석 방법을 이용한 그래프 컷 기반의 자동 영상분할 방법을 제안한다. 데이터 항을 설정하기 위해 $L^*u^*{\upsilon}^*$ 색상공간에서 임의로 선택된 초기 mean으로부터 밀도가 높은 지역인 모드(mode)로 이동하는 mean의 집합들을 사전정보로 이용한다. Mean shift 분석 방법은 군집화에서 좋은 성능을 보이지만, 오랜 수행시간이 소요되는 단점이 있다. 이를 해결하기 위해 특징공간을 3차원 격자로 변형하였으며, mean의 이동은 격자에서 모든 픽셀이 아닌 3차원 윈도우내의 1차원 모멘트(moment)를 이용한다. 실험에서 GMM을 이용한 그래프 컷 기반의 영상분할 방법과 최근 많이 이용되고 있는 mean shift와 normalized cut기반의 영상분할 방법을 제안된 방법과 비교하였으며, Berkeley dataset을 기반으로 앞의 세 가지 방법보다 좋은 성능을 보였다.