An Effective Moving Cast Shadow Removal in Gray Level Video for Intelligent Visual Surveillance

지능 영상 감시를 위한 흑백 영상 데이터에서의 효과적인 이동 투영 음영 제거

Abstract

In detection of moving objects from video sequences, an essential process for intelligent visual surveillance, the cast shadows accompanying moving objects are different from background so that they may be easily extracted as foreground object blobs, which causes errors in localization, segmentation, tracking and classification of objects. Most of the previous research results about moving cast shadow detection and removal usually utilize color information about objects and scenes. In this paper, we proposes a novel cast shadow removal method of moving objects in gray level video data for visual surveillance application. The proposed method utilizes observations about edge patterns in the shadow region in the current frame and the corresponding region in the background scene, and applies Laplacian edge detector to the blob regions in the current frame and the corresponding regions in the background scene. Then, the product of the outcomes of application determines moving object blob pixels from the blob pixels in the foreground mask. The minimal rectangle regions containing all blob pixles classified as moving object pixels are extracted. The proposed method is simple but turns out practically very effective for Adative Gaussian Mixture Model-based object detection of intelligent visual surveillance applications, which is verified through experiments.

1. 서 론

영상 비디오에서 배경과 다른 전경 이동 객체의 검출 및 추출은 영상 감시, 객체 기반 영상 압축, HCI(Human Computer Interaction) 등에서 매우 필수적인 작업이다. 전경 이동 객체의 검출은 배경차(background subtraction) 기법을 많이 이용하여 수행한다[1,2]. 이는 배경을 모델링 한 후에는 현재 프레임에서 배경 모델과 다른 화소들로부터 전경 블롭을 추출하고 이에 기반하여 전경 이동 객체를 검출하기 쉽기 때문이다. 그런데, 이동 객체에 부수되어 나타나는 투영 음영은 장면의 배경과 다르므로 전경 블롭으로 검출되기 쉽다(Fig. 1 참조).

Fig . 1.Cast shadow.

이 경우, 투영 음영 블롭들은 잘못된 객체 병합(merging), 객체 모양의 왜곡, 객체 손실 등을 발생시켜 이동 객체 검출, 추적 및 분류 등에서 오류를 초래하게 된다.

이동 객체의 투영 음영 검출 및 제거에 대한 대부분의 연구는 투영 음영에 따른 특징값의 변화를 이용하여 전단계에서 추출된 전방 블롭에서 전방 객체화소와 투영 음영 화소를 구분하는 방안을 제시하고 있다[3]. 특징은 주파수 영역, 공간 영역, 시간 영역등에 걸쳐 규정하여 이용하고 있다. 즉, 주파수 영역에서는 화소의 컬러 레벨 또는 그레이 레벨, 공간 영역에서는 지역 화소 레벨 또는 영역 단위 레벨, 시간 영역에서는 단일 프레임 또는 여러 연속 프레임들에 걸쳐 특징을 추출하여 이용한다. [4]에서는 비점광원(non-point light source)의 투영 음영 생성 모델을 기술하고, 4가지 기본 가정으로부터 3가지 기준을 적용하여 투영 음영을 검출하는 이진 마스크를 제안하였다. 그런데, 이 방법의 기본 가정이 일반적으로 적용되지 않으며, 또한 기준 프레임을 이전 프레임을 사용하였는데, 이 경우 객체 이동 속도에 영향을 받으며, 잡음에 민감하여 이동 영역 검출이 강인하지 못하다. [5]에서는 음영이 배경 모델과 색도(chromaticity)는 비슷하고 밝기(brightness)는 낮아지는 사실에 기반하여 밝기 왜곡도(distortion of brightness)와 예측 컬러 값과 현재 컬러 값 차의 색도 왜곡도(distortion of chrominance)를 정의하고 이를 이용하여 음영을 검출하는 판단 규칙을 제안하였다. 판단 규칙을 위한 적절한 임계값(threshold)을 자동적으로 결정하기 위해서 통계적 학습 방법이 제안되었다. [6]에서는 RGB컬러 모델을 이용한 [4]에서와 달리 HSV 컬러 모델에 기반하여 음영을 검출하는 방법을 제안하였다. 이 방법은 HSV 컬러 모델의 V (밝기) 값이 음영이 겹쳐지는 경우의 영역에서는 음영이 겹쳐지기 전의 원래 배경 장면의 V 값보다 작아지며, S (채도) 값은 음영에 의해 낮아지며, H(색상)은 음영에 의해 크게 달라지지 않는다는 사실을 이용하고, HSV의 H와 S 를 YUV 컬러 공간에서 근사화하여 YUV 컬러 모델을 사용하는 비디오 응용에서 HSV 모델 기법 음영 검출 및 제거 방법을 사용하기 위해 HSV 컬러 모델로 전환하는 데 걸리는 시간을 개선하였다. [7]에서는 이동 전경 객체들에 의해 투영되어 생성되는 투영 음영은 유사하다고 가정하고 이동 음영을 YUV 컬러 공간 기반 혼합 가우시안 음영 모델(Gaussian Mixture Shadow Model)로 모델링하고 이에 기반하여 투영 음영을 검출하였다. [8]은 ‘물체의 이미지는 조명과 반사의 곱으로 표현된다’[9]는 사실을 이용하여 투영 음영을 제거하는 방법을 제안하였다. 즉 이미지 I(x,y)는 I(x,y)=R(x,y)L(x,y). 이때, R(x,y) 은 반사 이미지, L(x,y)는 조명 이미지로 반사 이미지 R(x,y)는 조명에 독립적인 물체 고유의 특성을 나타내므로 조명과는 무관하다. 이러한 사실에 기반하여 호모모픽 모델을 통하여 반사 이미지를 구하여 투영 음영을 제거하는 방법을 제안하였다. [10]에서는 화소의 컬러 특징뿐만 아니라 주변 화소 정보를 이용하여 각 화소가 배경, 전경, 음영에 각각 속할 사후 확률(posteriori probability)를 계산하고 이에 기반하여 더 나은 음영 분류 방법을 제안하였다. 이때, 후험적 확률 계산에 파라미터(모수)를 도입했는데, 적절한 파라미터 결정이 쉽지 않다.

[3]에서는 이러한 그동안의 투영 객체 검출 알고리즘들을 결정적 모델(Deterministic Model) 기반, 결정적 비모델(Deterministic Nonmodel) 기반, 통계적 모수(Statistical Parametric) 기반, 비모수 통계(Statistical Nonparametric) 기반 등 4가지 범주로 구분하였다. 이 분류에 따르면 본 논문의 제안 방법은 결정적 비모델 기반 방법으로 분류되며, 상기 소개된 [5]의 제안 방법은 비모수 통계적 방법(SNP), [10]의 제안 방법은 모수 통계적 방법(SP)으로 뷴류된다, 또한 [6] 및 [4]의 제안 방법은 결정적 비모델 기반 방법으로 분류되며, [3]에서는 이를 각각 DNM1, DNM2 로 명명하였다. [3]에서는 또한 새로운 평가 측도인 음영 검출율 및 음영 차별율 등 제안하고 이 측도에 기반하여 이들 상기 4가지 논문의 방법들인 SNP[5], SP[10], DNM1[6], DNM2[4]를 비교 평가하였다. 제안된 음영 검출율(η) 및 음영 차별율(ξ)는 다음과 같이 정의된다.

(여기서, TPS는 음영 화소중 음영으로 식별된 화소수, FNS는 음영 화소중 배경이나, 전경으로 식별된 화소수, TPF는 전경 화소중 전경으로 식별된 화소수, FNF는 전경 화소중 배경이나, 음영으로 식별된 화소수, 는 ‘ = 전경 객체의 실제 화소수 –전경 객체에 속하나 음영으로 검출된 화소수’로 정의된다.)

흑백 영상에서의 이동 음영 검출 방법 연구에는 [11]이 있다. [11]에서는 이동 음영은 배경에 음영이 생기는 것이므로, 이동 음영 화소는 밝기가 배경 모델의 해당 화소와 상관관계는 크나 배경 모델의 해당 화소보다 어둡다는 사실을 이용하여 정규화된 상호 상관(normalized cross correlation) 과 현재 입력 영상 화소의 밝기 에너지와 배경 모델 해당 화소의 밝기 에너지의 비교에 기반하여 이동 음영 화소 후보를 얻은 후 다시 이를 보다 정교하게 판별하는 추가적인 절차를 통해 이동 음영을 판별하였다. 그런데, 이 방법은 판별 문턱값(threshold) 결정에 대한 기준이 없으며, 조명 변화에 따른 현재 입력 화소의 밝기 값 변화의 영향으로 이동 음영 판정에 오류를 초래한다.

앞서 살펴 본바와 같이 이동 투영 음영에 대한 기존의 연구는 그레이 레벨 정보 보다는 컬러 정보를 추가적으로 이용할 수 있는 컬러 이미지들에 대한 이동 객체의 투영 음영의 검출 및 제거에 집중되고 있다 그러나, 그레이 레벨 영상 데이터만 이용 가능하거나(저녁이나 야간의 저저도 동작 환경 또는 흑백 영상 카메라를 이용하는 경우) 또는 그레이 레벨 영상 데이터 사용이 유용한 경우(흑백 영상 정보를 사용하는 경우 컬러 정보사용의 경우보다 계산 량이 적음)에는 이러한 컬러 정보 기반 이동 투영 음영 검출 방법은 적용하기가 곤란하다.

본 논문에서는 지능 영상 감시를 위한 그레이 레벨 영상 비디오 데이터에 적용 가능한 효과적인 이동 객체의 투영 음영 검출 및 제거 방법을 제안한다. 지능 영상 감시에서는 전경 이동 객체에 부수되는 투영 음영이 제거된 전경 이동 객체 화소 블록을 포함하는 최소 사각형으로 추출된 것을 전경 이동 객체로 추출하여 이를 추적하고 이 최소 사각형을 객체 분류에 사용한다. 본 논문의 지능 영상 감시를 위한 투영 음영이 제거 제안 방법은 3단계로 이루어진다; 1) 전경 이동 객체 투영 음영 후보 영역 추출, 2) 전경 이동 객체의 투영 음영 후보 영역에서의 투영 음영 화소 분류. 3) 분류된 투영 음영 화소들을 제거하고 전경 객체화소들로 분류된 화소들을 포함한 최소 사각형 추출.

먼저, 전경 이동 객체 투영 음영 후보 영역은 적응 혼합 가우시안 모델[12,13,14]을 이용하여 추출한 전경 블롭들로 구한다. 이는 전경 이동 객체 화소들과 전경 이동 객체에 부속되어 따라 나타나는 이동 객체 투영 음영 화소들은 적응 혼합 가우시안으로 모델되는 배경과는 다르므로 전경 화소들로 추출되기 때문이다. 다음, 전경 블롭 화소들중 전경 객체 화소인지 투영 음영 화소들인지의 구분은 에지 패턴에 기반하여 분류하는 방법을 제안한다. 에지 패턴은 조명 변화에 대해 강인하다[15]. 음영이 얕은 경우, 음영이 겹쳐진 배경 영역의 에지 패턴과 원래 배경의 에지 패턴은 유사하다. 만일, 음영이 짙은 경우 음영이 겹쳐진 배경 영역의 에지는 발견하기 힘들다.

현재 영상 화면의 음영 후보 영역에서의 에지 패턴과 배경 화면의 해당 영역에서의 에지 패턴에 대한 관찰을 통해, 각 영역에 라플라시안 커널을 적용한다. 2개의 결과의 곱의 값으로 해당 블롭 화소가 이동 음영 영역 화소 인지 객체 블롭 화소인지를 판별하고, 음영 영역 화소로 판정된 화소들을 제거한 이동 객체 화소들만을 포함한 최소 사각형 영역을 추출한다. 이 최소 사각형 영역이 투영 음영이 제거된 전경 객체 블롭만을 포함하는 최소 사각형으로 추출한다.

본 논문에서 제안된 투영 음영 제거 방법은 간단하면서도 적응 혼합 가우시안 모델기반 이동 객체 검출 [12,13,14]의 경우에 매우 효과적임이 실험을 통해 확인되었다. 컬러 영상 데이터의 경우, 흑백 영상 데이터 전환으로 가능하므로 본 논문의 제안 방법은 흑백 카메라나 컬러 카메라 모두의 경우에 적용할 수 있다. 또한, 화소의 컬러 값이 아니라 밝기(휘도)값을 사용하는 경우, 밝기 값이 조명에 덜 민감하기 때문에 조명 변화에 더 강인한 성능을 나타낸다. 또한, 본 논문의 제안 방법의 구현 결과, 컬러 모델과 성능의 차이는 별로 없었다.

본 논문의 구성은 다음과 같다. 2절에서는 본 논문을 이해하는 데 필요한 기술적 배경인 적응 혼합 가우시안 모델과 이에 기반한 전경 블롭 검출 방법에 대해 설명한다. 3절에서는 제안된 이동 객체의 투영 음영 검출 및 제거 방법이 기술되며, 4절에서는 실험 결과가 5절에서는 결론이 주어진다.

 

2. 이동 객체 검출 및 투영 음영

2.1 이동 객체 검출

영상 감시 등에서 움직이는 전경 물체를 검출하기 위해서 여러 가지 방법이 제안되었다[2]. 그중의 가장 효과적인 방법은 배경차 기법[12,13,14]으로 이에 기반한 본 논문의 투영 음영 검출 및 제거된 이동 객체 검출 방법의 동작 구조가 Fig. 2에 나타나 있다.

Fig. 2.The processes of the proposed moving cast shadow removal method.

전경 마스크는 전경으로 판별되는 화소들은 1 로 배경으로 판별되는 화소는 0 의 값을 가지도록 처리된 이진 영상을 의미한다. 전경 마스크 추출에 있어서 가장 중요한 것은 전경/배경 장면 모델링이 잘 되어야 한다. 앞서 기술한 바와 같이 배경 장면의 조명 변화, 장면의 이동 배경 객체 (흔들리는 나뭇가지, 에스컬레이터, 분수 등) 존재 등을 강인하게 처리하는 적응 혼합 가우시안 모델[12,13,14]이 장면을 잘 모델링하는 것으로 잘 알려져 있다. 추출된 전경 마스크에는 원래 전경 화소인데, 배경 화소로 판별되어 추출되지 못했거나, 배경 화소인 데 전경 화소로 잘못 추출될 수 있다. 따라서 전경 마스크에 구멍이나 돌출 부분이 고립된 화소부분들이 생성될 수 있기 때문에 구멍은 메우고 돌출 부분이나 고립된 부분들은 제거하는 전경 마스크 정정 과정이 필요하게 된다. 전경 마스크 정정은 보통 열림, 닫힘 등의 모폴로지 연산이 전처리 단계로 처리되어 수행된다[15]. 블롭은 모든 연결된 전경 화소들의 집합으로 정의된다. 정정된 전경 마스크엔 다수의 블롭들이 존재할 수 있다. 따라서 이들 블롭을 구별하여 검출해내어야 하며, 이 과정이 블롭 분할이며, 대부분 연결 요소 레이블링 알고리즘[15]을 이용한다. 블롭이 분할된 후에, 각 블롭을 포함하는 최소 사각형 영역이 계산된다. 이 사각 영역에 투영 음영이 존재할 수 있으므로 투영 음영을 검출하여 제거하고 난 최소 사각 영역을 구하고 이를 최종적으로 전경 이동 객체 영역으로 검출한다.

기존 적응 혼합 가우시안 모델 기반 이동 객체 검출 방법들 [12,13,14]에서는 적응 혼합 가우시안 장면 모델링과 투영 음영 검출에 각 화소의 컬러 모델을 이용하였다. 컬러 모델 사용 시에 계산 량이 많고, 흑백 감시 카메라를 통한 영상 획득 시에는 컬러 정보를 이용할 수 없다.

다음절에서 본 논문의 방법이 흑백 영상 데이터 적응 혼합 가우시안 모델 기반 이동 객체 검출에서의 투영 음영 검출 및 제거의 경우에 적용되므로, [13]에 기반한 그레이 레벨 영상 데이터 적응 혼합 가우시안 모델에 대해 간단히 소개한다.

2.2 적응 혼합 가우시안 모델

적응 혼합 가우시안 모델(Adaptive Gaussian Mixture Model; 이하 AGMM)은 장면을 여러 개의 가우시안 확률 분포로 모델링하고 입력되는 장면의 변화에 따라 적응적으로 혼합 가우시안 모델을 조정해 나간다. 다음은 적응 혼합 가우시안 모델에 대해 설명한다.

먼저, 장면의 각 화소의 휘도 값은 K 가우시안 분포로 모델링된다. 즉, 각 화소가 시간 N 일 때 (즉, N 번째 영상 프레임에서), 휘도 값 XN 을 가질 확률은 다음과 같다.

여기서, ωNj 는 시간 N 일 때 j 번째 가우시안 분포의 가중치 파라미터 이며, η(XN;μNj ’σNj) 는 시간 N 일 때, 평균이 μNj, 분산이 (σNj)2 인 j 번째 가우시안 분포를 나타낸다. 즉,

K 개의 가우시안 분포들은 적합도(fitness value) ω/σ 가 큰 순서로 정렬된다. 이 가운데 첫 B 개 분포가 장면의 배경 모델로 사용된다. 이 때, B 는 다음과 같이 예측된다.

문턱치 T 는 배경 모델의 최소 비율로, 배경이 장면에 있을 최소 선험적 확률이다.

이때, 배경차 연산은 다음과 같이 이루어진다.

입력 영상의 해당 화소의 휘도 값이 식 (2) 의 K 분포중, 배경 분포로 간주되는 첫 B 개 분포의 각 표준 편차 (σj(j=1,⋯,B) ) 중의 어느 하나의 표준 편차의 2.5 배 범위 안에 들지 않는 경우, 이를 전경 화소 (foreground pixel) 로 간주한다.

만일 K 분포 어느 것에도 범위 안에 들지 않은 경우, 가장 확률이 낮은 분포는 현재 화소 휘도 값을 평균으로 하고, 초기의 큰 분산 값 그리고 낮은 가중치를 갖는 새로운 가우시안 분포로 대체된다.

혼합 가우시안 모델의 갱신은 초기 부분과 처음 L 샘플이 처리된 이후 부분의 2부분으로 수행된다.

2.2.1 Update for the beginning stage

여기서,

2.2.1 After the first L samples are processed

2.3 투영 음영 문제

2.2 절에서 설명한 적응 혼합 가우시안 모델은 음영을 효과적으로 처리하지 못하고 경우에 따라 객체의 투영 음영을 전경 블롭의 일부분으로 검출한다(Fig. 3 참조).

Fig. 3.(a) Original image frame; (b) The foreground blob obtained by applying AGMM; (c) A rectangular region containing the cast shadow in addition to the moving object

잡음이 많은 복잡한 환경의 장면에 AGMM 을 적용할 때 이러한 경우가 자주 발생한다. 이동 객체의 투영 음영 검출을 개선하기 위해 많은 방법이 제안되었다[3-8, 10-11]. 기존 투영 음영 제거 방법은 대부분이 컬러 정보를 이용한다[3-8, 10]. 본 논문에서에서는 그레이 레벨 영상 데이터에 적용이 되는 간단하면서 효과적인 투영 음영 검출 및 제거 방법을 제안한다.

 

3. 제안 이동 객체의 투영 음영 제거

3.1 이동 객체의 투영 음영

음영이 겹쳐진 영역을 음영 영역이라 한다. 음영은 광원 영향으로 생성되며, 음영 그 자체는 에지를 가지지 않으나 음영이 겹쳐진 음영 영역은 에지를 가질 수 있다. 음영은 깊은 음영(deep shadow or dark shadow, umbra) 과 옅은 음영(shallow shadow or soft shadow, penumbra)으로 구분된다. 짙은 음영은 음영 영역 화소들의 휘도 값이 원래 영역 화소들이 갖는 휘도 값보다 훨씬 낮은 경우의 음영을 의미하며, 옅은 음영은 그렇지 않은 경우이다. 따라서 옅은 음영 영역 내에서는 보통 음영 영역에 상당하는 원래의 장면 영역(배경 영역)의 에지 패턴과 유사한 에지 패턴을 가지며, 음영 경계에서는 에지가 분명하게 드러나지 않는다. 짙은 음영 영역은 음영의 휘도가 원래 배경 화소의 휘도보다 상당히 낮기 때문에 음영 영역은 일관적인 회색을 나타나게 되며(그레이 레벨 영상의 경우), 음영 영역 경계에서의 에지는 선명하게 나타나는 반면에 음영 영역 내에 에지는 보통 나타나지 않게 된다.

3.2 제안 투영 음영 제거

Fig. 4는 본 절의 논의에 관계되는 이미지들을 보여준다.

Fig. 4.(a) Current image frame; (b) Background image frame; (c) Foreground mask image; (d) The foreground blob region in the current image frame scene; (e) Blob region in the grey level background image frame

Fig. 4(a) 는 현재 영상 컬러 이미지 이며, Fig. 4(b)는 배경 영상 컬러 이미지이다. 내부적으로 그레이 레벨 영상 데이터를 취급하므로, 컬러 입력 영상 데이터는 모두 그레이 레벨 영상으로 변환되어 처리된다. Fig. 4(c) 는 2.1절의 적응 혼합 가우시안 모델을 적용하여 얻어진 전경 화소들(흰색 부분)을 나타내는 전경 마스크 이미지를 나타낸다. Fig. 4(d) 는 Fig. 4(c)의 전경 마스크의 블롭 영역(흰색 화소 영역)에 해당하는 현재 그레이 레벨 영상 프레임에서의 영역에서의 화소 값들을 취하고 블롭 영역 외의 위치는 0 (검정색)으로 나타낸 이미지이다. Fig. 4(e)는 Fig. 4(b)의 그레이 레벨 배경 장면에서의 해당 블롭 영역의 화소 값을 취하고 나머지 영역을 검정색으로 표시한 이미지이다.

캐니와 소벨 등 많은 에지 검출자들[14] 중에서, 본 논문에서는 계산 량을 줄이기 위해 Fig. 5의 3x3 라플라시안 에지 검출자를 채택하였다. 라플라시안 에지 검출자로도 본 논문의 목적인 이동 객체의 투영 음영 검출에 충분한 성능을 보였다.

Fig. 5.Laplacian edge detector.

Fig. 5의 라플라시안 에지 검출자를 그레이 레벨 화소 영역에 적용하는 경우에, 에지 근방에서 0, 음수, 양수 등이 나타난다. 에지가 없는 일관된 텍스쳐 영역에서는 라플라시안 연산자 적용 결과는 0 이다.

Fig. 5의 라플라시안 에지 검출자를 현재 영상의 블롭 영역(예; Fig. 4(d))과 배경 장면에서의 해당 블롭 영역(Fig. 4(e)])에 적용한 결과를 통하여 다음과 같은 관찰을 얻었다.

경우 1: 투영 음영이 옅은 음영인 경우

앞에서 기술한 바와 같이 옅은 음영의 경우, 음영 영역과 원래 해당 배경 장면 영역은 유사한 에지 패턴을 보유하므로 음영 영역에 라플라시안 에지 검출자를 적용한 결과와 원래 배경 장면 영역에 적용한 결과의 곱은 보통 경우 각 화소에서 0 또는 0 보다 크다.

경우 2: 투영 음영이 깊은 음영인 경우

이 경우, 음영 음역은 일관된 회색을 나타내기 때문에 음영 영역에 라플라시안 에지 검출자를 적용한 경우에 에지 검출이 되기 힘드므로(라플라시안 에지 검출자 적용 결과는 0), 음영 영역과 해당 배경 장면 영역에 라플라시안를 적용한 결과의 곱은 0 이 된다.

이상의 관찰로부터 본 논문에서는 다음의 투영 음영 검출 방법을 제안한다.

(x,y) 위치에 있는 화소를 P(x,y)라 하자.

이때, LCF(x,y)를 현재 그레이 레벨 영상 이미지에서의 블롭 영역(예; Fig. 4(d))의 (x,y)에 위치한 화소에 Fig. 5의 라플라시안 에지 검출자를 컨볼루션한 결과를 나타낸다고 하자. 또한, LBG(x,y)는 그레이 레벨 배경 이미지에서의 블롭 영역(예; Fig. 4(e))의 (x,y)에 위치한 화소에 Fig. 5의 라플라시안 커널을 컨볼루션한 결과를 나타낸다고 하자.

라플라시안 커널과의 컨볼루션 연산 시에 해당 화소의 주변 화소가 전경 마스크의 블롭 영역에 속하지 않으면 무시하였다. 즉, 그 화소의 휘도 값은 0 으로 간주하여 계산하였다.

이제 Diff(x,y) 를 다음과 같이 정의한다.

이제 제안된 투영 음영이 제거된 이동 객체 검출 방법에 대해 기술한다.

지능 영상 감시를 위한 제안된 투영 음영이 제거 된 이동 객체 검출 방법

1) 전경 이동 객체 투영 음영 후보 영역 추출

Fig. 2의 과정 (e)까지의 적용으로 분할된 전경 블롭을 포함한 최소 사각형을 추출하고 이를 전경 이동 객체 투영 음영 후보 영역으로 한다.

2) 전경 이동 객체의 투영 음영 후보 영역에서의 투영 음영 화소 분류

1)에서 추출한 경 이동 객체 투영 음영 후보 영역의 (x,y)에 위치한 화소에 대해

Diff(x,y)<0 이면,

(x,y)에 위치한 화소는 전경 이동 객체 블롭의 화소로 간주한다.

3) 투영 음영이 제거된 전경 객체 화소들로 분류된 화소들을 포함한 최소 사각형 추출

상기 2)에서 구한 전경 이동 객체 블롭 화소들을 포함하는 최소 객체 사각형 영역을 구한다.

이때 구한 최소 사각형 영역이 투영 음영이 제거 된 전경 이동 객체 블롭만을 포함한 사각형이다.

물론, 상기 2) 의 규칙을 만족하지 않더라도, 전경 마스크 블롭의 (x,y)에 위치한 해당 화소가 이동 객체(전경) 블롭 화소일 수 있다. 그러나 영상 감시의 경우 이동 객체 검출은 보통 객체 블롭 모양 보다는 객체 블롭을 포함하는 최소 사각형 영역의 추출을 필요로 한다. 따라서 전경 마스크 블롭의 투영 음영 화소가 이동 객체 블롭 화소로 또는 전경 마스크의 전경 객체 블롭 화소가 음영 화소로 잘못 판정되더라도 통상 이러한 잘못 판정된 화소들은 최소 사각형 영역을 결정하는 데 별로 영향을 미치지 않는다. 만일 상기 제안된 투영 음영 제거 방법에 의해 잘못 판정된 화소들을 더 정정하고 싶으면, 모폴로지 연산 또는 [16]에서 제안된 ‘주변전경화소전파(Neighbor Foreground Pixel Propagation, NFPP) 등을 통하여 정정을 수행하게 되면, 더 정교한 음영 제거가 가능해진다. 그러나 전경 객체 블롭 화소를 포함한 최소 사각형 추출에는 별다른 차이가 없음이 본 논문의 실험을 통해 확인할 수 있었다. 따라서 상기 투영 음영 제거 방법에 의하여 구해진 최소 사각형 영역을 전경 객체만을 포함하는 최소 사각형 영역으로 판명해도, 지능 감시 목적으로는 적절한 것임을 실험을 통해 확인하였다 (4절 실험 결과 참조).

 

4. 실험 결과

본 논문에서 제안된 투영 음영 검출 방법의 효율성을 확인하기 위하여, 자체 수집 이미지들의 경우와 [3]에서 사용된 이미지 DB 중 인텔리전트 룸 DB 를 이용한 경우에 대해 실험을 수행하였다. 자체 수집 이미지들에 대해서는 고속도로, 실내 주차장, 야외 운동장 등의 3가지 경우의 장면에 대해 제안한 방법을 적용하고 적용전과 적용 후를 비교한 이미지를 제시한다. [3]에서 사용된 인텔리전트 룸 DB 에 대해서는 본 논문 제안 알고리즘에 의한 영상 처리 결과 이미지뿐만 아니라, [3]에서 제안한 평가 측도를 이용하여 [3]에서의 평가와 비교한다.

4.1 자체 수집 이미지들에 대한 실험 결과

Fig. 6은 3.2절의 제안된 투영 음영 검출 및 제거 방법을 Fig. 4의 원 영상 이미지에 적용하여 얻어진 이미지들을 보여 준다.

Fig. 6.(a) Original image frame; (b) moving object detection without cast shadow removal; (c) moving object detection after the proposed cast shadow removal method is applied (Indoor parking lot)

Fig. 6(a)는 원 영상 프레임이며, Fig. 6(b)의 상단 이미지는 적응 혼합 가우시안 모델에 기반하여 추출된 정정된 전경 마스크 이미지이고, 하단 이미지는 이에 기반하여 계산된 사각영역이 그려진 이동 객체 검출 이미지이다. 또한 Fig. 6(c)의 상단 이미지는 3.2절에 제안된 투영 음영 검출 및 제거 방법에 의해, Fig. 6(b)의 상단 전경 마스크 이미지의 블롭 화소들 가운데 Diff(x,y)<0 을 만족하는 화소들만을 흰색으로 나머지 화소들과 배경 화소들을 모두 검정색으로 하여 나타낸 이미지이다. Fig. 6(c)의 하단 이미지는 Fig. 6(c)의 상단 이미지의 하얀색 화소들을 포함하는 최소 사각형 영역을 계산하여 이를 원 영상 프레임에 그려 넣은 이미지이다. Fig. 6(c)의 상단 이미지는 전경 마스크 이미지의 블롭의 모든 전경 이동 객체 화소들을 나타내지 못하고 주로 전경 객체의 경계선 에지들을 나타낸다. 하지만 이들 전경 이동 화소로 판별된 화소들을 포함하는 최소 사각형 영역은 전경 이동 객체를 제대로 포함하고 있음을 보여준다. Fig. 6(c)는 제안된 방법이 깊은 투영 음영을 갖는 이동 객체를 갖는 실내 주차장의 경우에 대해서 효과적으로 투영 음영 영역을 잘 검출함을 보여 준다.

또한, 아래 Fig. 7과 Fig. 8의 결과는 여러 환경(야외 운동자, 고속도로 등)의 경우에도 제안된 방법이 효과적임을 확인하여 준다. Fig. 6(c)의 하단 이미지는 제안된 방법이 깊은 투영 음영을 갖는 이동 객체를 갖는 실내 주차장의 경우에 대해서 효과적으로 투영 음영 영역을 잘 검출함을 보여 준다.

Fig. 7.(a) Original image frame; (b) moving object detection without cast shadow removal; (c) moving object detection after the proposed cast shadow removal method is applied (Playground).

Fig. 8.(a) Original image frame; (b) moving object detection without cast shadow removal; (c) moving object detection after the proposed cast shadow removal method is applied (Freeway).

4.2 인텔리전트 룸 이미지 DB에 대한 실험 결과

[3] 에서는 Highway I, II, Campus, Laboratory, Intelligent Room 등 5개 의 이미지 DB를 사용한 것으로 되어있으나, [3] 의 연관 웹사이트[17] 에는 실제 실측 데이터(ground truth) 가 제공되는 이미지 DB 는 인텔리전트 룸(Intelligent Room) 만 있다. 따라서 본 논문에서는 인텔리전트 룸 이미지 DB 에 대해서 실험하고, [3]의 평가 결과와 비교하였다. [3]의 Table2에 따르면 인텔리전트 룸의 이미지 DB는 영상 사이즈는 320x240, 음영은 옅은 편, 음영 크기는 큰 편으로 분류되어 있으며, [3]의 연관 웹사이트[17]에서 제공하는 실제 실측 데이터(ground truth)가 주어진 이미지 프레임은 전부 113장으로 이미지 파일 형식은 BMP이며 전경 객체는 한 사람이다. 인텔리전트 룸의 원영상 이미지 DB 는 동영상(avi file)으로 주어졌으며, 처음 몇 프레임은 전경 객체가 없고 배경만 있으며, 이를 이용하여 AGMM 기반 배경 모델링을 수행한 후에 이 학습된 AGMM 에 의해 전경 마스크 추출 및 전경 블롭 분할 (Fig. 2 참조) 과정을 수행하였다.

Fig. 9는 실제 실측 데이터가 주어진 인텔리전트 룸 이미지 프레임 146 의 원 영상 (a), 실측 데이터(b), 본 논문의 음영 제거 방법 적용전의 AGMM 기반 전경 이동 객체 검출 결과(c), 본 논문 제안 방법에 의한 투영 음영 검출 결과(d), 본 논문의 음영 제거 방법 적용전의 전경 이동 객체 검출 결과(e)를 각각 보여 주고 있다.

Fig. 9.The images related with and resulted ftom application of the proposed cast shadow removal method (case of improvement).

Fig. 10은 본 논문에서 제시한 방법이 컬러 정보를 이용하지 않고 알고리즘이 단순하지만 컬러 정보를 이용하고 알고리즘이 보다 복잡하여 연산이 더 많은 기존 방법들인 SNP[5], SP[10], DNM1[6], DNM2[4]에 비해, 전경 객체만의 최소 사각형을 검출하는 성능이 더 떨어지지는 않는 것을 보여준다.

Fig. 10.The resulted from images with cast shadow removed by each method of SP[9], SNP[4], DNM1[5], and DNM2[3.

Fig. 11 은 본 논문 제안 음영제거 방법 적용전(Fig. 2에서 과정 (e)까지 마친 후)에 이미 전경 객체 최소 사각형을 찾는 경우(Fig. 11(c))에는 본 논문 음영제거 방법을 사용하면 전경 마스크에서의 음영 제거가 효과적으로 동작하지만(Fig. 11(b)와 (d) 비교), 전경 객체 최소 사각형은 변동이 없는 경우를 보여준다.

Fig. 11.The images related with and resulted ftom application of the proposed cast shadow removal method (the case of no improvement since the minimal object rectangular region is already extracted before the proposed method is applied.)

[3]에서 제안한 식(1)의 성능 측도, 음영 검출율(η) 및 음영 차별율(ξ) 가운데, 음영 검출 율은 프레임내 전체 음영 화소들 중 제대로 음영으로 판별된 화소수의 비율을 판별하는 음영 검출율(η) 는 본 논문의 방법에서는 적용하기 힘들다. 본 논문의 음영 제거 방법은 전경 마스크 내에서 음영 화소들을 판별하는 것이어서 프레임 전체에서 음영 화소들을 판별하는 음영 검출율(η) 적용 조건과는 다르기 때문이다. 반면 음영 차별율(ξ) 은 본 논문의 방법에서도 적용이 가능하다. [3]의 Table 3에서는 인텔리전트 룸 이미지 DB에 대해서 SP, SNP, DNM1, DNM2 를 각각 적용하여 얻어진 실험값이 나타나 있다.

Table 1은 본 논문의 제안 방법을 인텔리전트 룸 이미지 DB에 대해 적용하여 얻은 음영 차별율(ξ)의 값을 SNP[5], SP[10], DNM1[6], DNM2[4]의 결과와 비교한 결과를 보여준다. Table 1의 실험 결과는 본 논문 제안 투영 음영 제거 방법이 컬러 정보를 필요로 하지 않고 간단하면서도, 음영 차별율(ξ) 성능 측면에서 컬러 정보를 사용하고 더 복잡한 기존 방법들인 SP[10], SNP[5], DNM1[6], DNM2[4] 과 비교하여 우수함을 보여준다.

Table 1.Experimental results about shadow discrimination rate (ξ) for the intelligent room DB

Table 2는 인텔리전트 룸 이미지 DB에 대해 본 논문의 투영 음영 제거 방법을 적용하여 얻은 전경 이동 객체 최소 사각형 검출에 대한 실험 결과이다.

Table 2.The experimental results about detection of the minimal moving object rectangular region by the proposed shadow removal method

Table 2의 실험 결과에서 실측 데이터(ground truth) 가 주어진 인텔리전트 룸 이미지 DB 113장에 대해, Fig. 2의 이동 전경 객체 최소 사각형 검출 과정(e) 까지 적용한 결과, 100% 전경 객체를 포함한 사각형을 검출했으며, 이 가운데 36장 은 적용 전에 검출한 사각형이 이미 전경객체 최소 사각형으로 검출된 경우(Fig. 11의 경우)였으며, 나머지 77장에서는 본 논문 제안 투영 음영 제거 방법으로 전경 마스크에서 투영 음영의 영향을 제거한 후, 개선된 전경 객체 최소 사각형으로 검출한 경우가 77장이었다(Fig. 10 의 경우). 따라서 본 논문이 제안한 투영 음영 제거 방법이 지능 영상 감시에 사용되는 전경 객체 포함 최소 사각형 검출에 매우 효과적임을 알 수 있다.

 

5. 결 론

영상 비디오에서 이동 객체 분할시 에 이동 객체의 투영 음영을 검출하고 이를 제거한 순수한 이동 객체 영역만을 효과적으로 추출해내는 작업은 영상 감시나 객체 기반 영상 압축 등의 응용에서 매우 필요로 하여 많은 연구가 이루어져 왔다. 이동 전경 객체를 검출하고 추적하며 분류하는 작업을 필요로 하는 지능형 영상 감시의 경우, 전경 객체 검출은 전경 객체를 포함한 최소 사각형으로 추출하게 된다. 이동 전경 객체에 부수되어 나타나는 투영 음영이 제거되지 않고 전경 블롭으로 검출되는 경우에 검출된 최소 사각형은 전경객체뿐만 아니라 음영을 포함하는 사각형이 되어 추후 객체 추적이나 객체 분류에 오류 요인이 된다. 따라서 이동 전경 객체에 부수되는 투영 음영은 제거가 필요하다. 투영 음영 검출에 대해 그동안의 대부분의 연구는 컬러 정보에 기반한 방법들을 제안하였다. 그러나 흑백 영상 감시 카메라나 야간 영상의 경우 컬러 정보가 주어지지 않으며, 컬러 영상 데이터 처리 보다는 그레이 레벨 영상 데이터 처리가 시간이 덜 걸리므로 그레이 레벨 영상 데이터에서의 투영 음영 제거에 대한 연구가 필요하다.

본 논문은 지능형 영상 감시를 위한 그레이 레벨 영상 데이터에 대해서 간단하면서도 효과적인 이동 객체 투영 음영 검출 및 제거 방법을 제안하였다. 제안 방법은 라플라시안 에지 검출자를 배경 장면과 전경 마스크의 해당 블롭 영역의 각 화소에 각각 적용한 결과의 곱의 결과를 통해 전경 이동 객체 화소가 전경 이동 객체 화소인지를 결정하고, 결정된 전경 이동 객체 화소들을 포함하는 최소 사각형 영역을 구함으로써 투영 음영이 제거된 전경 이동 객체만을 포함하는 최소 사각형 영역을 추출해 낼 수 있었다. 제안 방법의 효율성은 다양한 환경의 이미지 DB에 적용하여 확인하였다.