Semantic Segmentation of Indoor Scenes Using Depth Superpixel

깊이 슈퍼 픽셀을 이용한 실내 장면의 의미론적 분할 방법

Abstract

In this paper, we propose a novel post-processing method of semantic segmentation from indoor scenes with RGBD inputs. For accurate segmentation, various post-processing methods such as superpixel from color edges or Conditional Random Field (CRF) method considering neighborhood connectivity have been used, but these methods are not efficient due to high complexity and computational cost. To solve this problem, we maximize the efficiency of post processing by using depth superpixel extracted from disparity image to handle object silhouette. Our experimental results show reasonable performances compared to previous methods in the post processing of semantic segmentation.

1. 서 론

최근 몇 년 동안, 영상에서 객체를 분류하고 분할하는 알고리즘인 의미론적 분할은 많은 관심을 받았다. 특히, 값싸고 좋은 RGBD(Red, Green, Blue, Depth) 센서의 보급화로 깊이 영상을 쉽게 이용할 수 있어 실내 환경에서의 의미론적 분할은 눈부신 발전을 이루고 있다. 이러한 발전에도 불구하고 아직까지 속도와 성능을 모두 갖춘 의미론적 분할은 존재하지 않다.

일반적인 의미론적 분할은 랜덤 포레스트, CNN (Convolutional Neural Network) [1,2,3,4] 등의 분류 알고리즘으로 픽셀 별 분류를 진행한 이후에, CRF (Conditional Random Field)[1,3]나 슈퍼 픽셀[2,4]을 이용하여 스무딩을 한다. 기존의 알고리즘들은 분류에서의 성능 향상과 함께 속도 향상을 이루었으나 스무딩을 위한 알고리즘에서는 속도 향상에 초점을 두지 않았다. 의미론적 분할은 여러 분야에서 사용될 수 있지만, 로봇과 같은 외부 기기에서 때때로 GPU (Graphics Processing Unit)를 사용할 수 없는 분야에서도 사용된다. 특히, 로봇 청소기와 같이 실내의 위치 와 객체를 실시간으로 반영해야 하는 응용 분야도 존재한다. 그러므로 GPU를 사용하지 않고도 실시간 처리를 할 수 있는 알고리즘이 필요하다.

스무딩에서 CRF는 부드러운 커널을 이용하여 2D 픽셀들의 공간적인 일관성을 만드는데 효과적인 알고리즘이다. 그러나 이 방법은 계산량이 많고 복잡하기 때문에 속도적인 측면에 초점을 두기에 적합하지 않다. 슈퍼 픽셀은 영상을 입력한 숫자의 작은 평면들로 분할하는 알고리즘이다. 대부분의 슈퍼 픽셀은 컬러 영상을 이용하여 정확한 평면들을 생성하지만, 의미론적 분할에서 이용되는 슈퍼 픽셀은 픽셀 별로 분류된 클래스들에 대푯값을 뽑아 잡음을 제거하기 때문에 정확도는 의미론적 분할에 큰 영향을 미치지 않는다. 또한, 흑백 영상을 이용하는 것보다 계산량이 많아진다. 그러므로 본 논문에서는 스무딩에서의 속도 향상을 위해 정확도를 배제하고 흑백 영상에 슈퍼 픽셀을 적용하여 최종 스무딩을 수행한다. 흑백 영상에 슈퍼 픽셀을 적용한 결과가 의미론적 분할의 정확도에 큰 영향을 끼치지 않는 것을 본 논문의 실험 결과에서 보여준다. Fig. 1은 제안하는 의미론적 분할의 흐름도이다.

Fig. 1.Proposed algorithm flow.

RGBD 센서는 여러 가지가 존재하지만 가장 보급화된 기기는 키넥트다. 키넥트는 일반 CCD(Charge Coupled Device) 카메라로 컬러 영상을 촬영하며 IR(Infrared Ray)카메라를 이용해 깊이 영상(흑백)을 획득한다. 깊이 영상은 적외선의 반사되는 정도를 측정하여 카메라와 촬영된 물체 간의 실제 거리를 표현한다. 키넥트가 보급되기 이전의 깊이 영상은 스테레오 카메라를 이용하여 깊이를 추정하는 등의 복잡한 알고리즘이 필요하지만, 보급된 이후에는 값싼 비용으로 깊이 영상을 이용할 수 있어 많은 알고리즘에 이용한다. 그러나 적외선의 반사 정도를 이용하는 키넥트의 깊이 영상은 실외 조건이나 거리가 멀어지면 성능이 급격히 감소하는 단점이 존재하기 때문에, 실내 환경에서 주로 이용된다. 키넥트의 보급화로 인해 많은 RGBD 데이터들이 공용 데이터로써 이용가능하며, 그 중에서 NYU(NewYork University) 깊이 데이터[5,6]를 본 논문의 실험 결과에 이용한다. 깊이 데이터의 보급화가 진행되고 있음에도 불구하고, 의미론적 분할에 깊이 데이터의 특성을 이해하고 이를 적용시킨 알고리즘은 많지 않다.

깊이 영상은 물체와 카메라 간의 거리를 측정하며 직관적으로 같은 물체는 유사한 깊이를 가진다. Fig. 2은 이웃하는 지역에서 유사한 깊이를 가지는 영역은 같은 객체일 확률이 높다는 것을 보여준다. 이는 평면에서 대푯값을 이용하여 스무딩을 하는 슈퍼 픽셀의 특성상 깊이 영상을 이용하여도 문제가 존재하지 않음을 의미한다. 이러한 사실들을 바탕으로, 본 논문에서는 의미론적 분할에 적합한 깊이 슈퍼 픽셀을 제안한다. 제안하는 깊이 슈퍼 픽셀은 지역적인 K-means 클러스터링을 통해 지역적인 깊이 값이 유사한 평면들을 효과적으로 만든다. 본 논문의 실험결과에서는 제안한 알고리즘이 최신 논문과 비교하여 성능은 떨어지지 않으나 속도는 향상되어 매우 효율적임을 보여준다.

Fig. 2.Depth image.

본 논문의 2장은 본 연구와 관련된 연구들을 설명하고 3장에서는 제안하는 알고리즘에 대해 설명한다. 그리고 4장에서는 실험 결과로써 본 논문의 뛰어남을 증명하고 5장에서 결론을 짓는다.

 

2. 관련연구

의미론적 분할은 외부 환경 접근과 내부 환경 접근으로 나눌 수 있다. 두 환경은 존재하는 객체들과 주변이 매우 다르므로 다른 접근이 필요하다. 본 논문에서 적용할 RGB-D 센서는 깊이 영상이 일정 거리를 벗어나면 측정이 어려워지므로 실내 환경에서만 적용가능하다. 그러므로 본 논문에서는 실내 환경에서의 의미론적 분할에 초점을 맞춘다.

실내 환경의 특징 학습에 깊이 영상을 적용한 대표적 논문은 Couprie et al[2]이다. Couprie et al[2]은 딥 러닝[7]을 의미론적 분할에 적용하였으며 특징 학습에 깊이 정보를 이용하였다. 다중 스케일 CNN을 이용하여 특징을 학습하였으며 이를 위한 사전처리로 컬러 영상과 깊이 영상을 라플라시안 피라미드로 만들었다. Ren et al [8]은 커널 디스크립터를 기반으로 분류 트리를 만들어 복잡한 접근을 적용하였다. 이 논문은 깊이 영상과 RGB 영상에 각각 알고리즘을 적용하고 이후에 알파 블렌딩을 적용하였다. Hermans et al[3]은 3D 복원을 하기 위해 RGBD 센서를 이용하였으며 속도를 위해 texton[9]과 같은 기본적인 특징만을 사용하였다. 또한 2D 의미론적 분할을 위해 깊이 특징도 사용하였지만 이는, 특징들이 3D 불변성을 가지기 위함이다. 그리고 스무딩을 위해 CRF [10]를 적용하였다. Sharma et al[4]는 다중 스케일 CNN과 RNN(Recurrent Neural Network)을 합하여 RCPN(Recursive Context Propagation Network)을 제안하였다. CNN을 이용하여 픽셀의 종류를 분류하고 RNN을 이용하여 지역적인 특징이 전체 영상에서 영향을 끼칠 수 있도록 하는 구조를 제안하였다. 이 논문 역시 슈퍼 픽셀을 이용하여 스무딩을 수행하였다. 이와는 다르게 silberman et al.[6]는 깊이를 이용하여 표면 노말(Surface normal)을 구하고 물체적 관계를 추론하였지만 표면 노말을 구하는 작업은 매우 복잡하다. 그러므로 실시간을 목표로 하는 본 논문에 적용하기에는 적합하지 않다.

최근까지 많은 RGB-D 영상을 이용한 논문들이 발표되었지만 깊이 영상에 대한 특징을 이해하고 이를 사용한 논문은 많지 않다. Yang et al [11,12]은 깊이 정보를 이용하여 3D 기하학정보를 추출하고 이를 컬러 정보와 함께 그래프 기반의 분할 알고리즘을 제안하였다. 이 논문은 슈퍼 픽셀을 3D 기하학 정보를 이용하여 강화하는 방법을 사용하여 정확도는 향상되었으나 복잡도가 높아졌다. 본 논문에서는 높은 정확도에 초점을 두지 않아도 되기 때문에 복잡도를 낮추고 속도를 향상시키는 방향의 알고리즘을 제안했다.

스무딩을 하는 많은 알고리즘들이 존재하지만, 본 논문에서는 그 중에서 간단하며 빠른 알고리즘인 SLIC(Simple Linear Iterative Clustering )[13,14]에 기반하여 깊이 슈퍼픽셀을 적용한다. SLIC 는 일반적인 K-means의 단점을 극복하기 위해 시드의 근처에서만 K-means를 적용했다. 그 결과로 최신 슈퍼 픽셀 기술들의 속도 중 가장 빠른 속도를 가진다. 그러나 아직까지도 실시간에 적용하기에는 부족한 속도이다. 그러므로 본 논문에서는 이를 보완하여 더 빠른 속도를 가지는 알고리즘을 제안한다. 본 논문은 SLIC에 기반을 두었기 때문에 유사하지만, 깊이 영상에 초점을 두었다는 점에서 매우 다르다.

 

3. 깊이 슈퍼 픽셀

본 논문에서는 기존의 방법보다 빠르고 의미론적 분할에 최적화된 깊이 슈퍼 픽셀 알고리즘을 제안한다. Fig. 1의 흐름도에서 보여주듯이, 픽셀 별 분류를 진행한 이후에 제안하는 깊이 슈퍼 픽셀을 이용하여 스무딩을 한다. 깊이 슈퍼 픽셀 알고리즘은 먼저, 영상 평면에서 거리상의 가까움(Proximity)과 컬러 유사도(Color similarity) 기반으로 픽셀을 클러스터링한다. 클러스터링은 깊이와 픽셀 위치(Dxy)로 이루어진 3차원 공간에서 진행된다. 이는 SLIC와 같이 속도를 증가시키기 위한 목적도 존재하지만, 깊이가 유사하더라도 픽셀 위치의 큰 차이가 존재한다면 다른 물체일 가능성이 높기 때문이다. 3차원 공간에서의 거리 측정은 단순하게 유클리디안 거리로써 측정되지 않고, 슈퍼픽셀 크기를 고려하여 컬러 유사도와 거리상의 가까움을 모두 고려하여 측정한다.

슈퍼 픽셀의 개수 K는 원하는 크기에 따라 다르게 입력된다. 영상이 M×N의 크기를 가질 때, 각 슈퍼 픽셀의 크기는 (M×N)/K로 결정된다. 초기의 슈퍼 픽셀 클러스터 중심 Ck는 각 슈퍼 픽셀의 중심으로써 균일하게 분포한다. 그리고 슈퍼 픽셀 중심 주위의 슈퍼 픽셀 크기 2배 만큼 연관되어 K-means 클러스터링을 각각 K개 모두 수행한다. 각각의 픽셀 거리는 아래 수식 (1)으로 계산한다.

여기서 i와 j는 슈퍼 픽셀의 번호이며, 변수 m은 슈퍼픽셀의 빽빽함을 조절하며 S는 초기 슈퍼 픽셀의 크기이다. m이 클수록 거리상의 가까움과 빽빽함이 강조된다. 이 값은 [1,20]의 범위를 가지며, 본 논문의 실험 결과에서는 10을 사용했다.

SLIC와는 다르게, 잡음 픽셀을 선택하는 기회를 줄이기 위해 엣지 위의 장소를 피하는 단계는 사용하지 않는다. 깊이 영상은 컬러 영상을 흑백 영상화한 것과는 다르게, 텍스쳐가 많이 존재하지 않으며 물체의 형태만을 짐작할 수 있다. 그러므로 일반적인 흑백 영상에 비교하여 잡음 픽셀을 선택할 기회가 적다. 그리고 엣지를 추출하지 않기 때문에 많은 계산량이 감소하여 속도가 증가한다.

각 픽셀이 선택한 지역의 가장 가까운 클러스터 중심에 연관된 이후에는, 새로운 중심을 각 클러스터에 속하는 모든 픽셀의 dxy 평균으로써 계산한다. 단계적으로 수행하여 다시 계산하는 클러스터의 중심이 수렴할 때 까지 반복한다. 이 단계가 끝난 이후에도 드물게도 잡음 레이블들이 남아있다. 그러므로 가장 큰 주변의 클러스터 레이블에 연결되지 않은 레이블들을 선택하여 다시 레이블링하는 작업으로써 연결성을 강화한다. 깊이 슈퍼 픽셀 분할의 알고리즘은 아래 Table 1과 같이 진행한다.

Table 1.Depth superpixel algorithm

3.1 의미론적 분할

본 논문에서는 랜덤 포레스트[1]를 사용하여 의미론적 분할에 적용한다. Hazirbas et al[1]는 랜덤 포레스트를 적용하고 속도와 성능 모두를 겸비하기 위해 영상에 따라 다른 특징 개수를 이용했다. 특징과 특징 간의 상관 관계를 분석하고 특징과 클래스 간의 상관 관계를 분석하여 이를 공식화[15]한 뒤, 효율적으로 특징 개수를 정의하고 랜덤 포레스트를 사용했지만, 이후의 분할 방법에서는 복잡한 알고리즘을 사용하여 효율이 저하되었다. 그러므로 본 논문에서는 [1]의 분류 알고리즘에 깊이 슈퍼 픽셀을 적용한다. 랜덤 포레스트의 자세한 알고리즘은 [1]에서 제공한다. Fig. 3는 랜덤 포레스트를 적용하여 영상을 의미론적 분할시킨 예시이다.

Fig. 3.(a) Original Color Image, (b) Ground Truth (c) Semantic segmentation using Random Forest

 

4. 실험 결과

본 논문의 실험 결과에서는 i5-4570 3.2GHz CPU와 8GB RAM을 이용하였으며 NYU 깊이 데이터셋 1,2[5,6]를 이용하였다. NYUv1은 레이블 된 자료가 2347장이며 1천개가 넘는 클래스가 존재한다. 본 논문에서는 Silberman et al[5]의 방법과 같이 평가를 쉽게 하기 위하여, 클래스 중 빈도수가 높은 14개만을 이용하여 실험 결과에 이용하였다. 그리고 NYU 깊이는 레이블 된 자료가 1449장이며 894개의 클래스가 존재한다. 또한 빈도수가 높은 13개의 클래스를 선택하여 실험 결과에 이용하였다. NYU 깊이 데이터셋은 원본 깊이 영상에 획득하지 못한 값들이 존재하여 이를 채우기 위한 기술[16]을 제공한다. 그리고 본 논문에서는 획득하지 못한 값들이 채워진 깊이 영상을 이용하였다.

각 데이터 집합들 중 트레이닝 데이터의 20%를 유효 집합(Validation set)으로 사용하였다. NYUv1 데이터는 50/50의 비율, NYUv2 데이터는 55/45의 비율로 트레이닝과 테스팅을 수행하였다. 아래의 Table 2는 정확하게 분류된 픽셀의 개수를 테스트 데이터의 픽셀의 총 개수로써 나눈 픽셀 당 정확도와 후처리 속도로 본 논문의 성능을 나타낸 표이다. Table 2는 후처리 방법의 차이가 정확도에는 큰 차이가 존재하지 않았지만 속도에서는 컬러 슈퍼 픽셀에 비해 약 3배의 차이가 존재함으로써 효율의 차이가 분명함을 보여준다.

Table 2.Compared Performance

4.1 후처리 방법 비교

본 논문에서 제안한 깊이 슈퍼 픽셀은 깊이 영상을 이용하여 슈퍼 픽셀을 수행하였기 때문에 컬러 영상을 이용하여 슈퍼 픽셀을 수행한 SLIC보다 속도적인 측면에서 많은 발전을 보였다. 그리고 깊이 영상의 특성상 엣지가 많이 존재하지 않으므로 전처리 방법을 제거하여 더욱 효과적으로 적용하였다. Fig. 4는 깊이 영상이 객체의 형태를 볼 수 있어 슈퍼 픽셀을 적용하기에 효과적임을 보여준다. Fig. 4(c)와 Fig. 4(b)는 깊이 슈퍼 픽셀과 컬러 영상에서 수행한 슈퍼 픽셀을 깊이 영상 위에 적용한 결과를 비교한 예시이다. 또한 Fig. 5는 NYUv1, NYUv2의 다양한 영상에 적용한 결과들을 보여준다. 깊이 슈퍼 픽셀은 깊이 차이로써 객체를 구분하기 때문에, 의자와 책상 등과 같이 깊이 차이가 뚜렷한 객체들은 구분하기 쉽지만 배경에 붙어있는 액자는 구분하기 어렵다. 그러나, 다양한 데이터셋에서 액자의 비중은 높지 않기 때문에 초점을 맞추지 않았다.

Fig. 4.(a) Original Color image, (b) Color Superpixel in Depth image (c) Depth superpixel.

Fig. 5.(a) Original Color Image (b) Ground Truth (c) Semantic Detection Image (d) Semantic Segmentation using Color Superpixel (e) Semantic Segmentation using Depth Superpixel(Ours) (f) Depth image.

Fig. 5의 2번째 행은 컬러 슈퍼 픽셀의 조명으로 인한 문제점을 보여준다. 조명으로 인해 우측 상단 영역이 매우 밝고 나머지 영역은 전체적으로 어두워 보인다. 이 때문에 쇼파와 벽 부분이 컬러 색상으로 구분하기 어려워지고 컬러 슈퍼 픽셀을 이용한 결과는 쇼파 영역을 완벽하게 분리하지 못한다. 그러나 깊이 슈퍼 픽셀은 조명에 영향을 받지 않고 깊이를 이용해 추정하기 때문에 쇼파를 완벽하게 분리하였다. Fig. 5의 3번째 행은 깊이 슈퍼 픽셀의 단점을 보여준다. 후처리를 돕기 위하여 엣지 보존 기술을 적용하는 등의 추가적인 방법[17]도 존재하지만 본 논문의 실험 결과에서는 적용하지 않았다. 깊이 슈퍼 픽셀은 조명으로 인한 문제는 없지만, 등과 같은 가늘거나 깊이가 측정되지 않는 매체들에서는 분류를 할 수 없다. 그러나 이 또한 많은 비중을 차지하지 않기 때문에 무시해도 될 만한 수치이다.

 

5. 결 론

의미론적 분할은 영상 평면의 의미론적 레이블링과 분할을 동시에 목표로 한다. 기존의 방법들은 의미론적 레이블링 방법에 초점을 맞추어 성능 향상을 이루었으나, 분할을 하는 후처리 방법에 초점을 맞춘 논문은 많지 않았다. 본 논문에서는 후처리 방법에 초점을 맞추어 효율적인 깊이 슈퍼 픽셀을 제안하였다. 깊이 슈퍼 픽셀은 깊이 영상에 단순한 슈퍼 픽셀을 적용하여 컬러 영상에 적용한 슈퍼 픽셀보다 매우 빠르다. 또한, 후처리 방법으로써 정확도는 컬러 영상에 적용한 슈퍼 픽셀과 큰 차이가 나지 않으므로 효율적임을 증명하였다. 그러나, 액자와 같은 근처의 객체와 깊이 차이가 나지 않는 객체들은 분할이 잘 되지 않는다는 단점을 보였다. 이후의 연구에서는 이러한 문제를 해결하는 방향으로 연구를 진행할 것이다.