Image Segmentation by Cascaded Superpixel Merging with Privileged Information

단계적 슈퍼픽셀 병합을 통한 이미지 분할 방법에서 특권정보의 활용 방안

We propose a learning-based image segmentation algorithm. Starting from super-pixels, our method learns the probability of merging two regions based on the ground truth made by humans. The learned information is used in determining whether the two regions should be merged or not in a segmentation stage. Unlike exiting learning-based algorithms, we use both local and object information. The local information represents features computed from super-pixels and the object information represent high level information available only in the learning process. The object information is considered as privileged information, and we can use a framework that utilize the privileged information such as SVM+. In experiments on the Berkeley Segmentation Dataset and Benchmark (BSDS 500) and PASCAL Visual Object Classes Challenge (VOC 2012) data set, out model exhibited the best performance with a relatively small training data set and also showed competitive results with a sufficiently large training data set.

기존의 영역 병합을 통한 이미지 분할 방법에서는 이웃한 두 영역 사이의 정보만을 이용하여 병합 모델을 학습한다. 학습 과정에서는 두 영역 사이의 지역적인 정보뿐만 아니라 물체 정보와 같은 전역적인 정보 또한 활용 가능하므로 주어진 모든 정보를 활용하여 병합 모델의 성능을 높이는 것이 바람직하다. 본 논문에서는 학습 기반의 이미지 분할 알고리즘에서 학습 시에만 사용 가능한 특권정보를 활용하는 SVM+ 방법을 제안한다. 특권정보는 학습 시에만 사용 가능한 정보이므로 전통적인 지도학습 방법으로는 학습이 불가하다. SVM+와 같은 특권정보를 학습할 수 있는 구조를 통해 지역 정보뿐만 아니라 물체 정보를 포함하여 영역 간의 병합 여부를 결정하는 모델을 학습하였다. BSDS 500 데이터 세트와 VOC 2012 데이터 세트에서 벤치마크를 수행하였으며 대부분의 평가 지표에서 개선된 성능을 보여 주었다. 특히 학습 데이터 세트가 작은 경우에 기존의 알고리즘에 비해서 월등히 뛰어난 성능을 보인다.