Efficient Image Segmentation Algorithm Based on Improved Saliency Map and Superpixel

향상된 세일리언시 맵과 슈퍼픽셀 기반의 효과적인 영상 분할

Abstract

Image segmentation is widely used in the pre-processing stage of image analysis and, therefore, the accuracy of image segmentation is important for performance of an image-based analysis system. An efficient image segmentation method is proposed, including a filtering process for super-pixels, improved saliency map information, and a merge process. The proposed algorithm removes areas that are not equal or of small size based on comparison of the area of smoothed superpixels in order to maintain generation of a similar size super pixel area. In addition, application of a bilateral filter to an existing saliency map that represents human visual attention allows improvement of separation between objects and background. Finally, a segmented result is obtained based on the suggested merging process without any prior knowledge or information. Performance of the proposed algorithm is verified experimentally.

1. 서 론

영상 분할은 컴퓨터 비전에서 주된 분야이며 여러 다른 기술들을 위한 선행 단계로 오랜 시간 연구된 분야 중의 하나이다. 현대의 기기들의 성능이 발전함에 따라 다양한 분야에서 복잡한 영상 분할 알고리즘이 적용되고 있으며 성능 향상을 위한 다양한 방법들이 제시되고 있다. 영상 분할 알고리즘은 Fig. 1에서 보는 것과 같이 다양한 알고리즘들이 존재하고 새로운 알고리즘들도 계속해서 개발 되고 있다[1,2].

Fig. 1.Various kinds of image segmentation approaches: (a) Graph-based, (b) Edge-based, (c) Thresholding, (d) Watershed methods.

영상 분할은 다양한 분야에 응용이 가능한 분야이기 때문에 패턴인식, 의료, 반도체 검사 시스템 등에 많이 사용되고 있으며[3-7], [22], 최근에는 지능형 교통 시스템, 우주 영상처리 등 첨단 분야에서도 활용되고 있다[8]. 이처럼 다양한 환경에 맞춰진 알고리즘들이 개발되어 활용되지만 여전히 특정한 환경에서 잘 동작하는 수준이며, 다양한 환경이나 목적에 적용 될 수 있는 수준의 알고리즘에 대한 연구가 진행 중이다.

다양한 환경에서 적용 가능한 영상분할 기법은 매우 어려운 부분이자 관심사이다. 최근의 영상분할 알고리즘 분야 중 전처리 과정으로 슈퍼픽셀 알고리즘을 많이 사용하고 있다[9]. 슈퍼픽셀 알고리즘은 유사한 픽셀들의 그룹이며 픽셀단위의 연산을 그룹 단위로 처리하기 때문에 처리하는 데이터의 연산량이 줄어들게 된다.

슈퍼픽셀은 픽셀들의 집합으로 정의되며 그 자체가 항상 같은 레이블로 결정될 수 있는 최소한의 단위이다. 이러한 슈퍼픽셀 기법은 영상분할을 위한 전처리 단계로 사용되고 있다[9]. Fig. 2의 Simple Linear Iterative Clustering (SLIC) 알고리즘은 K-means 군집화 방법을 적용하여 빠르고 효율적인 슈퍼픽셀을 생성해 내는 방법 중의 하나이다[10]. 균등한 슈퍼픽셀들을 만들어 내기 때문에 격자 구조를 유지하면서 픽셀처럼 슈퍼픽셀을 다루기가 쉽고, 적은 연산량을 갖기 때문에 영상 분할의 전처리 과정에 적합하다.

Fig. 2.SLIC superpixel segmentation (64, 356, 1024 pixels for each superpixel).

인간의 눈은 생물학적으로 한 장면을 볼 때 색상의 차이가 큰 영역, 밝기의 차이가 큰 영역, 윤곽선의 특징이 큰 영역에 집중된다. Fig. 3은 인간의 시각적 특징을 정의하는 하나의 방법인 세일리언시 맵(saliency map) 생성 과정을 나타내고 있다[11,12]. 세일리언시 맵(saliency map)은 사전 정보나 지식 없이 영상 내의 영역에 대한 정보를 추출하는 방법이다. 특정 상황에 맞춰진 알고리즘이 아닌 인간의 시각시스템을 모방하였기 때문에 배경과 객체 간의 분할을 다양한 환경에 적응적으로 사용할 수 있는 장점을 가지고 있다.

Fig. 3.The construction of saliency map.

Fig. 3을 살펴보면, 입력 영상은 시각적 주의를 집중시키는 특징들로 구성된 3가지 특징 맵으로 분리된다. 3가지의 특징은 각각 색상 특징 맵, 밝기 특징 맵, 윤곽선 특징 맵이며 다중 피라미드 방식으로 영상을 재구성한 후 영상 상호 간의 차이를 구하고 3가지의 특징을 합산하여 두드러지는 특징 정보를 얻게된다.

각각의 특징 맵 색상 특징 2장, 밝기 특징 1장, 윤곽선 특징 4장의 맵이 생성 되면 영상 내의 어느 영역이 주변과 대비하여 주어진 특징을 두드러지게 보여 주는 Conspicuity Map을 만들게 된다. 이를 통해 생성되는 세일리언시 맵(saliency map)은 영상 내부에 시각적 특징으로 정의되는 객체들에 대한 정보를 가지고 2차원 맵을 의미한다. 즉 세일리언시(saliency)는 영상의 여러 특징들이 강조되도록 위에서 생성한 3장의 Conspicuity Map을 합산하여 만들어 지게 된다.

Fig. 4는 세일리언시 맵(saliency map)이 완성된 예를 보여주고 있다. 원본 영상에서 객체라고 할 수 있는 영역들이 세일리언시 맵(saliency map)에서 두드러지게 보이는 부분임을 확인 할 수 있다.

Fig. 4.An example of the saliency map: (a) Input image, (b) Saliency map.

본 논문에서는 기존 슈퍼픽셀 생성 기법의 문제점을 개선하고, 세일리언시 맵(saliency map)의 성능을 향상시켜 사전 정보나 지식 없이 다양한 환경에 적응적으로 사용할 수 있는 효과적인 영상 분할 방법을 제시하고자 한다.

본 논문의 구성은 다음과 같다. 제2장에서는 기존 방법의 문제점에 대하여 설명한다. 제3장에서는 제안하는 방법의 영상분할 기법에 대하여 자세히 설명하고, 4장에서는 실험 결과를 설명한다. 마지막으로 본 논문의 결론을 제5장에서 언급하며 마무리하고자 한다.

 

2. 기존 방법들의 문제점

2.1 SLIC 기반 슈퍼픽셀 생성의 문제점

SLIC 슈퍼픽셀은 단순하고 직관적인 방법을 사용하면서도 높은 정확도와 빠른 속도를 나타내지만 Fig. 6과 같이 슈퍼픽셀들의 경계가 영상의 에지를 제대로 표현 못하거나 균등하지 못하고 현저히 작은 그룹이 잡음처럼 나타나는 문제점이 있다. 이러한 에지를 제대로 표현 하지 못하는 문제를 해결하기 위해 시그마 필터를 이용하여 새로운 시드(seed)를 지정하고 픽셀들의 밝기 표준 편차를 이용하였다[13]. 또한 Z. Li et al.은 다중계층 슈퍼픽셀을 이용한 그래프 분할(graph partitioning) 방법을 제안하였다[18]. 이 방법에서는 기존의 다중 계층 및 다중 스케일 그래프 모델 활용하여 양자공유(bipartite) 방식의 구조를 제시하여 효율적인 그래프 분할 성능을 보였다. 또한 슈퍼픽셀 개념을 도입한 Watershed 기반의 영상 분할 방법도 제시되었다[19]. 저자들은 기존의 마커(marker) 기반의 Watershed 기법에 슈퍼픽셀 경계정보를 활용하였다. Z. Tian et al.은 자기 공명 영상에 슈퍼픽셀 개념을 도입하여 효과적으로 분할하는 방법을 제시하였다[20]. 본 방법에서는 슈퍼픽셀 기반의 3차원 그래프 개념을 도입하였으며 이를 이용하여 그래프 컷(graph cut) 방식을 사용하였다.

본 논문에서는 기존 SLIC 슈퍼픽셀의 에지 부분의 오류 보다 Fig. 5의 (b)처럼 슈퍼픽셀의 크기가 균등하지 못하고 잡음으로 여겨질 수 있는 현저히 작은 영역을 후처리하여 성능을 개선하고자 한다.

Fig. 5.Some errors of SLIC superpixel: (a) Edge error, (b) Un-equal size of superpixel.

2.2 세일리언시 맵(saliency map)의 문제점

배경과 전방 객체 간의 분할이 최적화가 되려면 배경과 객체 간의 차이가 클수록 유리하다. 세일리언시 맵(saliency map)은 영상의 사전 정보나 일반적인 지식을 활용하지 않고 인간의 시각적 특징을 정의하여 두드러지는 부분을 검출 하지만 인간의 시각 시스템을 완벽하게 구현 할 수 는 없기 때문에 정확도를 높이는 방법을 적용해야 한다[14].

Fig. 6은 이산 웨이블릿 변환(Discrete Wavelet Transform)을 사용하여 더 효율적인 Conspicuity Map을 구성하고 연산량은 늘어나지만 세부적으로 나 시각적으로 중요한 지역을 강조하였다[15]. 상당히 객체의 구별 정도가 향상되지만, 이를 위해 연산량이 기하급수적으로 증가하는 문제점을 지니고 있다.

Fig. 6.A saliency map by Discrete Wavelet Transform: (a) Input image, (b) The Conventional Saliency map, (c) The saliency map by Discrete Wavelet Transform.

본 논문에서 이러한 시각적으로 중요한 부분을 강조해 주기 위해서 계산량이 많은 이산 웨이블릿 변환(Discrete Wavelet Transform)이 아닌 간단한 필터를 활용하여 배경으로부터 객체의 구별 정도를 향상 시키고자 한다.

 

3. 제안하는 영상분할 방법

3.1 SLIC 슈퍼픽셀 전처리 기법

영상 분할 기법의 최종 목표는 배경과 원하는 객체의 분할이기 때문에 작은 객체나 에지, 잡음 등은 제거해야 할 필요가 있다. 잡음으로 간주되는 작은 슈퍼픽셀을 제거하는 과정은 다음 Fig. 7과 같이 진행 된다.

Fig. 7.The proposed solution for improving SLIC scheme.

Fig. 7의 왼쪽 박스 부분은 기존의 SLIC 슈퍼픽셀 생성 알고리즘이고 오른쪽 박스 부분은 제안된 작은 잡음영역으로 간주되는 슈퍼픽셀을 제거하는 방법이다. 첫 번째로 슈퍼픽셀의 시드 수가 정해지면 균등한 슈퍼픽셀의 생성을 방해하는 강한 에지 및 노이즈를 평활화(smoothing) 과정을 통해 약화 시킨다. 이후 기존의 SLIC 슈퍼픽셀 알고리즘을 적용하여 최종적으로 슈퍼픽셀을 생성한다. 두 번째로 최종 영상에 작은 슈퍼픽셀이 남아 있다면 다음 식(1)~(3)을 통하여 제거를 한다.

식(1)의 Gj는 j 인덱스의 슈퍼픽셀이고 N은 슈퍼픽셀의 픽셀 수를 나타낸다. 임계값 β는 이며 영상의 슈퍼픽셀 평균의 영역보다 10% 이하일 경우를 나타낸다. 대부분의 경우 슈퍼픽셀은 균등한 크기로 생성되는 것이 유리하며 이러한 조건에서 생성된 슈퍼픽셀의 크기의 10%보다 작게 생성되는 경우는 불필요한 잡음성분으로 고려될 수 있음을 실험을 통해 확인하였다. 따라서 임계값 β를 10% 크기로 설정하였다.

식(1)을 만족하게 되면 Gj는 작은 슈퍼픽셀으로 간주되고, 식(2)와 식(3)을 수행한다. 식(2)의 Di는 슈퍼픽셀간의 밝기 차이고 Gn은 Gj의 주변 슈퍼 픽셀이다. 식(3)을 만족하는 Gj의 주위 슈퍼픽셀의 밝기가 가장 적은 슈퍼픽셀 Gn과 병합시킨다.

Fig. 8은 기존의 균등하지 못한 슈퍼픽셀들을 영상 전체에 균등하도록 제안된 방법으로 개선한 결과이다. Fig. 8(a)에서는 구름과 개가 작은 슈퍼픽셀로 생성 되어 균등하지 못한 영역을 생성 하였고 Fig. 8(b)에서는 주위의 밝기 차이가 가장 적은 슈퍼픽셀과 병합 하였다. 구름에 생기는 오류는 잘못된 에지 경계선으로 볼 수 있고, 개는 균등한 슈퍼픽셀을 방해하는 에지나 잡음이 아닌 객체로 볼 수도 있지만 최종적으로 배경과 전방의 가장 큰 객체를 분할하는 것이 목표이기 때문에 잡음으로 간주되어 제거된 것으로 볼 수 있다.

Fig. 8.An improved SLIC scheme: (a) SLIC method error, (b) Improvement of the SLIC results.

3.2 향상된 세일리언시 맵(saliency map) 구성

세일리언시 맵(saliency map)을 구성 하는 과정에서 Conspicuity map을 합산 할 때 각각의 특징 맵에 평활화(smoothing)을 하게 되면 더 확실한 객체를 획득 할 수 있지만 에지 부분이 부드럽게 되어 배경과 객체의 경계가 모호해질 가능성이 있다. 객체 간의 경계를 뚜렷하게 만들기 위하여 에지 보존 필터를 적용한다. 에지는 보존하면서 객체에 대한 선명도를 증가시키고 노이즈를 감소시키는 양방향 필터(bilateral filter)[16]를 사용하여 세일리언시 맵(saliency map)을 향상시킨다.

양방향 필터(bilateral filter)는 식(4)와 같이 나타낼 수 있으며 가우시안 필터를 기반으로 하는 에지 보존 평활화(smoothing)로 영상분석 방법 중 하나이다.

여기서 Ifiltered가 결과 이미지로 나오게 된다. xi는 현재 픽셀이 되고 x는 그 주위의 픽셀이다. gs는 픽셀간의 공간상의 가중치를 의미하고 fr은 밝기차이의 가중치를 뜻한다. I(x)는 밝기 값이며 함수 Wp로 정규화 된다. gs와 fr은 식(5) 과 같이 나타내어 가중치를 조절한다.

여기서 ϒs은 공간적인 가중치를 조절하는 파라미터이고 ϒr은 밝기 차이의 가중치를 조절하는 파라미터이다.

양방향 필터(bilateral filter)는 기존 가우시안 필터의 픽셀 간 거리에 의한 가중치에 밝기 차이 가중치를 추가하여 결과 영상을 얻는 방법이다. 범위 내에 존재하는 주변 픽셀들에 대하여 픽셀 단위로 유사성을 비교하고 유사 정도에 따라 가중치를 할당하여 가중치 평균을 취함으로써 잡음을 제거한다. 두 개의 가중치는 픽셀 값 간의 거리와 밝기 차이에 대한 가우시안 함수에 의해 계산되는 유사도 정도에 비례하게 된다. Conspicuity map에 양방향 필터(bilateral filter)를 적용하게 되면 배경과 객체의 경계 부분은 보존이 되면서 객체는 더 뚜렷하게 되는 효과를 얻을 수 있다.

Fig. 9는 세 장의 conspicuity map에 양방향 필터(bilateral filter)를 적용하여 향상된 세일리언시 맵(saliency map)을 얻은 결과를 보여주고 있다. Fig. 9(a)는 원본영상이며, Fig. 9(b)는 기존 방법에 의해 생성된 세일리언시 맵(saliency map)을 보여주고 있다. Fig. 9(c)는 양방향 필터(bilateral filter)를 사용하여 정보를 강화한 세일리언시 맵(saliency map)을 나타내고 있다. 눈으로 비교해 볼 때 에지 부분은 보존이 되면서 객체 부분은 더 두드러지는 결과를 확인할 수 있다. 이는 객체 안에 존재하는 픽셀이 주위의 픽셀들의 위치와 밝기 값을 합산하여 평균을 취하기 때문에 특징이 약하게 나온 픽셀도 주위의 강한 특징의 픽셀의 영향을 받기 때문이다.

Fig. 9.An improved saliency map: (a)Input image, (b)Saliency map, (c)Saliency map by applying bilateral filter.

3.3 제안하는 병합 과정(Merging process)

개선된 슈퍼픽셀과 향상된 세일리언시 맵(saliency map)을 사용하여 결과 영상이 나오면 슈퍼픽셀 그룹 단위로 각각의 밝기 값을 비교하여 유사한 슈퍼픽셀은 병합시킨다. 슈퍼픽셀을 병합하는 과정은 식 (6)에 의해서 이루어진다.

Di는 슈퍼픽셀 그룹 Sj와 주위 그룹 Sn의 밝기 차이를 나타내고 μ는 Sj의 밝기 μn는 Sn그룹의 밝기를 나타낸다. 위의 식에 따라 σ값보다 크게 되면 두 개의 슈퍼픽셀 그룹을 병합 시킨다.

Fig. 10은 식(6)에서 σ의 값이 0.7인 경우 최종 영상분할 결과의 예를 보여준다. 본 논문에서는 병합을 위한 파라미터 σ의 값을 다양한 실험을 통해 오차가 최소화 되는 값으로 설정하였다.

Fig. 10.Final segmentation results with  =0.7: (a)Input image, (b)Improved Saliency map, (c)Final segmentation result.

Fig. 11은 제안하는 방법의 전체 영상분할 과정을 나타낸 것이다. 본 논문에서는 영상 분할을 위해 전처리 과정으로 사용되는 SLIC 기법의 문제점을 해결하기 위해 영역 평활화(region smoothing) 필터를 사용하였고 세일리언시 맵(saliency map)의 성능을 향상시키기 위하여 양방향 필터(bilateral filter)를 사용하였다. 향상된 두 개의 방법을 사용하고 제안된 병합과정을 거쳐 최종적으로 영상 분할 결과를 얻게된다.

Fig. 11.The overall procedure of the proposed scheme.

본 논문에서 제시한 방법은 기존의 이산 웨이블릿 변환(Discrete Wavelet Transform)에 의한 세일리언시 맵(saliency map) 생성 방법보다 적은 연산량으로 향상된 세일리언시 맵(saliency map)을 생성한다. 또한 다중계층 슈퍼픽셀을 이용한 그래프 분할(graph partitioning) 방법[18], 슈퍼픽셀 개념을 도입한 Watershed 기반의 영상 분할 방법[19], 슈퍼픽셀 기반의 3차원 그래프 컷(Graph cut) 방식[20]과는 달리 향상된 세일리언시 맵(saliency map) 정보와 효과적인 병합과정을 통해 영상분할 성능을 향상시킬 수 있다.

 

4. 실험 결과 및 고찰

실험 데이터는 영상 분할 알고리즘 비교에 많이 사용되는 Berkeley Segmentation Dataset[18]을 사용하였다. Berkeley Dataset에서 제공하는 ground-truths 결과와 비교하였으며, 병합 알고리즘을 위한 파라미터 σ는 앞 절에서 설명한 바와 같이 0.7을 사용하였다. 또한 객관적 성능 비교를 위해 제안된 방법과 기존의 방법에 의한 Probabilistic Rand Index(PRI), Global Consistency Error (GCE) 값을 계산하여 비교한다.

Table 1은 제안한 방법과 SAS 방법[18], SCoW[19]의 성능을 나타내고 있다. 4가지의 시퀀스를 사용하였고 각각 방법의 PRI, GCE 지수를 측정하였다. SAS 방법[18]와 비교 시 제안된 방법은 첫 번째와 두 번째의 시퀀스의 경우 제안한 방법이 ground truth와의 픽셀의 일치율, 영상전체의 일관성이 SAS 보다 좋은 성능을 보였으나 세 번째와 네 번째 시퀀스에서는 SAS 방법과 비슷하거나 SAS방법이 약간 더 좋은 성능을 나타내었다. 결과 값이 다르긴 하지만 큰 차이가 나지 않는 이유는 전처리 과정으로 SLIC 슈퍼픽셀을 사용하였기 때문이다.

Table 1.Comparison of the performance measures

또한 SCoW[19]와 비교 시, 제안된 방법과 유사한 성능을 보여 주고 있다. 특히 첫 번째와 두 번째의 시퀀스의 경우 제안된 방법이 성능이 우수함을 보여주고 있으며, 나머지 시퀀스에서는 성능이 거의 유사함을 확인 할 수 있었다.

Fig. 12와 Fig. 13은 제안한 방법의 정성적 영상분할 성능을 보이기 위해 실제 분할 결과를 보여 주고 있다. 단순한 영상은 배경과 객체 간의 경계를 잘 나타내고 분할이 뚜렷하게 잘 되지만 영상에 색상이 많거나 객체가 다수일 경우 배경과 객체들의 경계가 뚜렷하지 않는 경우도 발생 한다. 슈퍼 픽셀의 균등한 영역을 유지하기 위해 값이 크게 다른 이웃픽셀이 같은 레이블로 엮이는 경우가 생기게 되고 특징이 다른 픽셀 그룹을 기반으로 세일리언시 맵(saliency map)을 획득하기 때문이다. 세일리언시 맵(saliency map)은 세장의 특징 맵에서 두드러지는 영역을 나타내기 때문에 영상에서 중요한 부분이지만 크기가 작은 영역이거나 컬러의 변화가 적은 영역이면 특징으로 얻을 수 없다. 또한 병합 방법은 밝기 차이만을 단순하게 사용하기 때문에 복잡한 환경에서의 문제가 생기게 된다.

Fig. 12.Results: (a) Input images, (b) Improved Saliency maps, (c) Final results.

Fig. 13.Results: (a) Input images, (b) Improved Saliency maps, (c) Final results.

Table 2는 제안된 세일리언시 맵(saliency map)생성 기법과 기존의 이산 웨이블릿 변환 Discrete Wavelet Transform)에 의한 세일리언시 맵(saliency map) 생성 방법[15]의 연산량을 비교하기 위하여 순수하게 세일리언시 맵(saliency map) 생성에 소요되는 시간을 측정한 결과이다. 결과에서 볼 수 있듯이 제안된 방법에 의한 결과가 속도 측면에서 평균 25% 정도 빠르다는 것을 확인할 수 있다.

Table 2.Comparison of the average consumed time for saliency map

본 논문에서 제안하는 방법의 결과는 영상 내의 배경에 오브젝트의 수가 적을 때 더 좋은 성능을 나타낸다. 특정 오브젝트의 검출하거나 특징을 더 뚜렷하게 해주는 영상처리에 좋은 결과를 나타내고 있음을 보여 준다. 제안된 방법은 사전 정보 없이 영상에서 나타나는 특징만을 가지고 영상 분할을 진행하기 때문에 다양한 환경에 대하여 적응적으로 영상 분할이 가능하도록 부족한 부분을 개선시킨다면 복잡한 영상에서도 좋은 결과를 나타낼 수 있을 것으로 기대된다

 

5. 결 론

본 논문에서는 영상 분할의 전처리 과정으로 널리 사용되는 슈퍼픽셀 기반의 효과적인 영상분할 알고리즘을 제시하였다. 제안된 방법은 다양한 영상에서 적응적으로 균등한 크기의 슈퍼픽셀을 생성하는 방법을 제시하였다. 또한 양방향 필터(bilateral filter)를 사용하여 객체에 대한 향상된 세일리언시 맵(saliency map) 생성하였으며, 마지막으로 슈퍼픽셀 단위로 구성된 향상된 세일리언시 맵(saliency map)의 영역병합 알고리즘을 통해 최종 영상분할 결과를 도출하였다. 다양한 영상 데이터와 실험을 통해서 제안된 영상분할 기법이 기존 방법에 비해 양호한 성능을 보임을 확인하였다.

제안된 기법에서 병합 과정에서 컬러 정보만을 활용하기 때문에 복잡한 영상에서 분할 성능이 저하되는 경우가 있다. 이러한 부분을 보완하기 위하여 컬러 정보 이외의 에지나 연결성 특징 등을 추가하여 성능 저하를 개선하는 연구가 필요하다.