Realtime Object Region Detection Robust to Vehicle Headlight

차량의 헤드라이트에 강인한 실시간 객체 영역 검출

Abstract

Object detection methods based on background learning are widely used in video surveillance. However, when a car runs with headlights on, these methods are likely to detect the car region and the area illuminated by the headlights as one connected change region. This paper describes a method of separating the car region from the area illuminated by the headlights. First, we detect change regions with a background learning method, and extract blobs, connected components in the detected change region. If a blob is larger than the maximum object size, we extract candidate object regions from the blob by clustering the intensity histogram of the frame difference between the mean of background images and an input image. Finally, we compute the similarity between the mean of background images and the input image within each candidate region and select a candidate region with weak similarity as an object region.

1. 서 론

1.1 영상감시에서 객체 검출 방법

영상 감시에서 감시 영역 내에 진입한 객체의 영역을 정확하게 검출하는 것은 객체의 검출, 추적, 인식, 동태 파악 등의 성능을 결정하는 매우 중요한 기술이다. 동영상에서 시간에 따라 변화하는 배경 영상의 각 화소에서 일정 기간 동안의 밝기 분포를 학습하고, 각 화소에서 배경의 밝기 분포와 입력 영상의 화소의 밝기를 비교하여 변화를 검출하는 배경 학습기반 객체 검출은 영상 감시에서 널리 사용되고 있다. 배경 학습 방법으로는 혼합 가우시안 모델, 베이지안 배경학습, 바이브(ViBe) 등이 있다[1-3].

동영상에서 각 화소의 R, G, B 성분의 밝기 값은 시간에 따라 변화하게 되는데, 일정 시간동안 각 화소 밝기의 변화 분포를 통계적으로 모델링 하는 다양한 방법이 발표되었다. 우선 배경 영상에서 각 화소 밝기 값의 동적 분포를 다수의 가우시안 분포의 가중치 합으로 모델링하고, 각 가우시안 분포의 평균, 분산, 가중치 값을 실시간으로 추정하는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)이 있다. 일반적으로 5개의 가우시안 분포의 혼합이 널리 사용되고 있다. 이 방법은 입력 영상의 화소 밝기 값이 배경으로 선정된 가우시안 분포 내에 포함되어 있지 않으면 유입된 객체로 인한 변화로 판단한다. 가우시안 분포의 변수 값을 효과적으로 갱신하는 방법들이 발표 되었다[1].

일반 영상에서는 각 화소의 R, G, B 성분은 서로 상관관계가 크며, 뿐만 아니라 각 화소는 이웃한 화소들과도 큰 상관관계를 가지고 있다. 이러한 상관관계를 고려한 베이지안 배경 학습 방법이 발표되었다. 이 방법은 배경의 분포와 전경(유입 객체)의 분포를 각각 모델링 하고 입력 영상의 각 화소가 배경일 확률과 전경일 확률을 계산하여 동영상에서 움직이는 객체를 검출하는데 적용하였다. 동적 특성을 가지는 복잡한 배경에서는 가우시안 혼합모델에 비하여 좋은 성능을 가진 것으로 알려져 있으나, 과다한 메모리의 사용과 많은 연산량을 필요로 하는 단점이 있다[2].

배경 영상의 각 화소의 일정 기간 동안 밝기 분포를 수학적으로 모델링하는 대신, 각 화소의 동적 밝기 분포를 대표할 수 있는 일정 수의 샘플들을 저장하고, 저장된 샘플과 입력 영상의 화소들을 비교하여 변화를 검출하는 바이브 방법이 발표되었다. 이 방법은 영상의 각 화소에서 입력 영상의 화소 값과 유사한 값을 가지는 저장된 샘플의 수가 임계값 이상이면 배경으로 판단한다[3]. 바람에 펄럭이는 깃발과 같이 소수의 가우시안 혼합 모델로 밝기 분포를 표현하기 어려운 경우에는 바이브가 좀 더 효과적이나, 지하주차장 같은 배경의 변화가 작은 곳에서는 GMM과 성능의 차이가 없다.

1.2 해결하고자 하는 문제점

감시 영역이 지하 주차장인 경우 대다수의 차량들은 헤드라이트를 켜고 진입하게 되는데, 이 경우 학습된 배경과 현 영상과의 차이를 이용한 객체 검출방법은 차량 영역뿐만 아니라 헤드라이트가 비춘 주차장 바닥 영역도 객체로 인한 변화 영역으로 검출된다. 객체와 객체 주변의 그림자를 구별하여 검출하는 방법은 발표되었지만[1,4], 헤드라이트가 비춘 경우 객체 영역을 정확하게 추출하는 방법은 발표되지 않았다. 일반적으로 헤드라이트가 비춘 주차장 바닥의 경우에는 학습된 배경 영상과 현 영상은 유사도가 매우 크지만, 차량 영역에서는 유사도가 작은 특징이 있다. 변화 영역으로 검출된 차량의 영역과 헤드라이트가 비춘 영역이 분리된 경우에는, 각각의 영역에서 유사도를 계산하여 객체(차량) 영역만을 검출할 수 있지만, 많은 경우는 Fig. 1(e)와 같이 두 영역이 하나의 연결 영역으로 검출된다. 이 경우 하나로 연결된 영역을 차량 영역과 헤드라이트가 비춘 영역으로 분리하는 것이 필요하다.

Fig. 1.Background learning-based object region detection method and the proposed object detection method results

그래프 컷(graph-cut) 같은 정교한 영상 분할 방법은 차량 영역과 헤드라이트가 비춘 영역을 분리하여 분할하는 것이 가능하지만 실시간 동영상 처리에 적합하지 않다[5]. 동영상에서 움직이는 객체 추적에 GMM과 평균이동(mean-shift) 방법을 결합하는 방법이 널리 사용되고 있다[6]. 이 방법은 객체의 밝기 분포에 대한 사전 정보가 있고 객체와 객체 주변의 배경이 다른 밝기 값을 가지는 경우 잘 작동한다. 하지만 객체의 밝기 분포가 배경의 밝기 분포와 유사하게 설정된 경우에는 검출된 객체의 영역이 주변 배경 영역으로 확장되는 문제점이 있다. 또한 최초에 객체의 영역을 검출하는 경우에는 객체에 밝기 분포에 대한 사전 정보가 없다. 때문에 객체의 밝기 분포에 대한 사전 정보가 없는 경우 실시간으로 차량 영역과 헤드라이트가 비춘 영역을 안정적으로 분리하는 방법이 필요하다.

1.3 제안하는 방법

일반적으로 차량의 영역에서는 학습된 배경 영상과 현 입력 영상의 화소 밝기 값의 차이가 상대적으로 크지만, 헤드라이트가 비춘 주차장의 바닥 영역에서는 차량에 근접한 전면은 밝기 차이가 작고, 차량 에서 일정 거리 떨어진 조명이 집중적으로 비추는 곳에서는 밝기 차이가 크다. 먼저 학습된 배경을 기반으로 변화 영역을 검출하고, 검출된 변화 영역 내에서 화소 밝기 값이 비교적 큰 화소들만 선택한다면, 차량과 헤드라이트가 집중적으로 비추는 영역을 분리할 수 있다. Fig. 1(i)은 차량의 영역과 헤드라이트가 비춘 영역을 분리하는 예를 보여주고 있다. 이러한 특성을 이용한 제안하는 방법의 전체 흐름도는 Fig. 2과 같다.

Fig. 2.Flowchart.

 

2. 본 문

제안하는 방법의 전체 흐름도에 대한 기술은 다음과 같다. 2.1절에서는 배경학습 기반 영역 검출에 대하여 기존 방법을 간략하게 설명한다. 2.2절에서는 검출된 영역(이진 영상)에서 객체 후보 영역에 추출에 대하여 설명한다. 객체 후보 영역 추출은 일정 크기 이상의 검출된 전경 화소들이 연결된 영역인 블랍(blob)을 추출하는 것이다. 이진 영상에서 블랍을 추출하는 기존 방법에 대하여 간략하게 설명하고, 추출된 블랍 형상을 적은 연산량으로 보정하는 제안하는 방법에 대하여 기술한다. 2.3절에서는 블랍 영역에서 차분 영상의 히스토그램을 생성하고, 히스토그램 클러스터링을 통하여 차량 영역과 헤드라이트가 비춘 영역을 분리하는 제안하는 방법에 대하여 기술한다. 2.4절에서는 분리된 각각의 블랍이 차량에 의하여 검출된 변화 영역인지, 헤드라이트에 의하여 변화된 영역인지를 유사도를 이용하여 판단하는 방법에 대하여 기술한다. 2.5절에서는 학습된 차량 크기를 고려한 블랍 추출에 관하여 기술한다.

2.1 배경학습 기반 변화 영역 검출

영상 감시에서 일반적인 배경 영상은 외부 환경에 의하여 각 화소의 밝기 값이 변화하게 된다. 일정 시간 동안 배경 영상의 각 화소 밝기 값의 분포를 통계적으로 모델링하는 방법으로 GMM과 바이브가 널리 사용되고 있다. 지하주차장의 배경은 GMM으로 화소 값의 분포를 효과적으로 모델링 할 수 있다. 또한 오랜 시간동안 주차한 차량은 배경으로 학습되어 배경의 가우시안 모델로 흡수되는데, GMM의 경우에는 각 모드의 가중치 값의 변화를 추적하여 배경으로 흡수되는 차량의 영역을 효과적으로 알 수 있다[7]. 때문에 본 논문에서는 감시 영역인 지하 주차장의 배경을 GMM으로 모델링한다. GMM 방법은 배경 영상의 좌표(x,y)에 위치한 화소에서 밝기 값의 분포를 다음과 같이 모델링한다.

식 (1)에서 G(i;x,y,μk,σk)는 k번째 모드의 가우시안 분포를 나타내며, i,μk,σk는 각각 화소의 밝기, 모드의 평균, 표준편차를 나타낸다. 입력 영상의 좌표 (x,y)에 위치한 화소의 밝기 값이 i이고 k번째 모드가 배경 화소의 밝기 값의 분포를 나타내는 경우, 좌표 (x,y)를 배경으로 판정하는 기준은 다음 수식과 같다.

식 (2)에서 k 값이 클수록 많은 화소들이 배경으로 판정된다. 좌표 (x,y)가 배경의 분포를 나타내는 어느 모드에도 소속되지 않으면 전경(foreground)로 판정한다. GMM 모델 변수의 실시간 학습은 다음과 같다.

식 (3)에서 는 현 화소의 밝기가 모드 k에 속하면 값이 1 아니면 0 이다. δk는 현 화소의 밝기와 현화소가 속하는 모드의 평균값과의 차이 이다. α는 학습 속도이다. 외부 환경의 변화가 적은 경우에는 작은 값을 사용한다.

검출한 변화 영역에서 전경 화소들이 연결된 영역인 블랍(blob)을 추출하기 위하여 우선 검출된 결과를 이진화 한다. 특정 좌표 (x,y)가 배경으로 판정되면 0, 전경으로 판정되면 255 값을 할당한다. Fig. 1.(e)는 이진화한 영상을 보여주고 있다.

2.2 검출된 이진 영상으로부터 블랍 추출

생성한 이진 영상에서 객체의 후보가 되는 블랍을 추출하는 방법은, 전경으로 검출된 화소들 중에서 하나로 연결된 영역을 연결화소법으로 추출하는 방법이다[8]. 연결화소법은 전경(255) 값을 가지는 화소와 주변의 8개 화소들의 화소 값을 비교하여, 전경(255) 값을 가지는 주변 화소에 중심 화소와 동일한 영역 라벨을 부여하는 방법이다. 적은 연산량으로 효과적으로 구현하기 위하여 1차로 래스터 주사 순서로 스캔하면서 각 화소와 주변 화소가 동일 영역이면 동일한 라벨을 부여한다. 2차로 동일 영역이지만 다른 라벨을 가지는 화소들을 하나의 영역으로 묶는다[9].

추출된 영역들은 Fig. 1.(h)와 같이 영역 내부에 크고 작은 구멍이 생성되는 경우도 있다. 이러한 구멍은 배경과 객체의 색상이 유사한 경우 혹은 노이즈에 의하여 발생하게 된다. 작은 구멍인 경우는 모폴로지 필터[10]를 이용하여 채울 수 있다. Fig. 1.(i)는 모폴로지 필터를 적용하여 구멍을 채운 결과이다. 객체와 배경의 화소값이 유사하면 객체를 검출할 수 없게 되는데, 객체 영역 중에서 큰 부분이 배경과 화소값이 유사하면 Fig. 3(c)와 같이 검출된 객체 영역에 큰 구명이 생기게 된다. 이러한 큰 구멍을 메우기 위하여 모폴로지 필터를 반복적으로 적용하는 것은 과도한 연산량을 필요로 한다. 때문에 추출된 영역을 객체의 형상에 맞게 근사화하고, 근사화한 형상 내부에서 검출되지 않은 부분을 채우는 것이 효과적이다. 본 논문에서 다음 수식과 같이 공분산 행렬을 이용하여 블랍 내부를 채운다.

Fig. 3.Background learning-based detection results and fill in the holes of the blob.

식 (4)에서 (xi,yi)는 추출된 블랍 내의 화소, Σ는 블랍 내 화소의 분포를 나타내는 공분산 행렬이다. 공분산 행렬의 고유 벡터는 형상의 장축과 단축의 방향을 나타내며, 장축과 단축의 크기는 공분산 행렬의 고유값(eigen value)에 비례하며, R값 또한 고유값에 비례한다. 최종적으로 구멍을 메운 블랍은 객체의 후보가 된다. Fig. 3(d)는 식(4)을 이용하여 블랍 내부를 채운 예를 보여주고 있다

2.3 히스토그램 기반 영역 클러스터링

일반적으로 차량의 영역에서는 학습된 배경의 평균 영상과 입력 영상의 화소 밝기 값의 차이가 상대적으로 크지만, 헤드라이트가 비춘 주차장의 바닥 영역 중에서 차량에 근접한 전면은 밝기 차이가 작고, 차량에서 일정 거리 떨어진 헤드라이트가 집중적으로 조명한 곳에는 밝기 차이가 크다. 차량의 영역과 헤드라이트가 비춘 영역이 하나의 블랍으로 형성되면, 형성된 블랍 영역 내에서 차분 영상(|i(x,y)-μm(x,y)|) 화소 밝기의 히스토그램은 Fig. 1(g)와 같은 두 개의 모드가 형성된다. 차분 영상의 밝기 값이 작은 모드는 차량에 근접한 전면에 해당하고, 밝기 값이 큰 모드는 차량의 영역과 헤드라이트가 집중 조명한 영역에 해당한다. 따라서 블랍을 형성할 때 차분 값이 작은 모드를 제거하면 헤드라이트가 비춘 영역과 차량 영역을 분리할 수 있다.

이를 위하여 블랍 영역 내에서 차분 영상의 히스토그램을 생성하고, 히스토그램을 밝기 값이 작은 영역과 밝기 값이 큰 영역으로 클러스트링한다. 두 모드를 분할하는 임계값은 다음과 같이 결정한다.

식 (5)에서 클러스트링하고자 하는 히스토그램의 범위는 [L(j), R(j))이고, 클러스트링을 통하여 구한 임계값은 T(j+1)이다. 식 (5)는 히스토그램을 두 영역으로 나누었을 때 각 영역의 분산에 영역의 화소 수가중치를 곱한 합이 최소가 되도록 두 영역을 클러스터링한다. 히스토그램을 클러스터링하는 임계값이 결정되면, 차분 영상의 화소 밝기 값이 임계값보다큰 화소들만으로 새롭게 블랍을 생성한다. 차분 영상의 화소의 밝기 값이 임계값보다 큰 화소들로 다시 생성한 블랍을 Fig. 1(h)에서 보여주고 있다. 히스토그램을 이용하여 영역을 분할하는 임계값을 정하는 방법은 기존에 사용되고 있느나[11], 식 (5)는 클러스트링하는 히스토그램의 범위를 정하여 분할하는 블랍의 크기를 조절할 수 있다.

2.4 유사도 비교

2.3절에서 기술한 방법으로 차량 영역과 헤드라이트가 비춘 영역을 분리하여 새로운 블랍을 생성하면, 생성된 블랍이 차량 영역인지 아니면 헤드라이트가 비춘 영역인지를 판별하는 것이 필요하다. 헤드라이트가 비춘 영역에서는 입력 영상과 학습된 배경 영상의 밝기 값의 차이는 클 수 있지만 두 영상의 상관계수는 매우 크다. 반면에 차량 영역에서는 입력 영상과 학습된 배경 영상의 상관계수가 작다. 차량의 불변 특징점을 추출하여 유사성을 비교할 수 있지만, 본 논문에서는 적은 연산량으로 간단하게 구현할 수 있는 두 영상의 정규화한 상관계수(normalized correlation coefficient)로 유사도를 비교한다. 상관계수는 다음과 같다.

식 (6)에서 ib,if는 각각 배경의 평균 영상과 입력 영상을 나타내며, 는 블랍 내에서 두 영상의 평균을 나타낸다. <,>는 블랍 내에서 두 영상간의 내적을 나타낸다.

2.5 학습된 차량 크기를 고려한 블랍 추출

일반적인 경우에는 2.2절 2.3절과 2.4절의 방법으로 차량의 영역을 안정적으로 검출할 수 있다. 하지만 주차 노면의 밝기와 차량의 밝기가 유사한 경우, 식 (4)에서 구한 임계값을 적용하면 차량 영역 중에서 많은 부분이 배경으로 분류되고 차량의 일부 영역만이 블랍으로 추출되는 문제점이 있다. 이러한 문제점을 해결하기 위하여 차량의 크기 범위를 사전에 학습하고 Fig. 4의 제안하는 객체 블랍 추출 알고리즘을 이용하여 차량의 크기 범위 안에 들어오는 블랍을 생성한다.

Fig. 4.Proposed algorithm for object blob extraction algorithm.

객체 블랍 추출 알고리즘의 Step 1은 히스토그램 클러스트링을 통하여 새로운 임계값을 설정한다. Step 2에서는 크게 하나로 묶인 블랍 영역 내에서 새로운 임계값을 이용하여 배경으로부터 전경을 분리하는 이진영상을 형성한다. Step 3에서 전경 영역에서 연결된 화소들을 묶어 블랍을 형성한다. Step 4에서는 블랍 내부에 구멍들을 채운다. Step 5에서 새롭게 형성된 블랍의 크기가 학습된 차량 크기 범위에 포함되면 Step 6으로 간다. 그렇지 않으면 블랍이 차량의 후보에 해당하는 경우만 다시 형성한다. 헤드라이트가 비춘 영역은 배경과 비교하였을 때 각 화소들의 밝기가 증가한다. 하지만 차량의 유리창 영역에서는 연회색의 주차 노면보다 화소의 밝기 값이 어둡다. 이러한 점을 이용하여 다음과 같이 블랍이 차량의 후보 영역에 포함되는 지를 판단한다.

식 (7)에서 연산자 Norm{(x,y)}은 i(x,y) < μm(x,y)을 만족하는 화소의 개수를 나타낸다. threshold는 차량의 유리창 영역을 고려하여 정한다.

 

3. 실험 결과

3.1 실험에 사용한 영상 데이터

실내 주차장의 천장에 설치한 어안 렌즈 카메라로 촬영한 동영상을 실험에 사용하였다. 주차장의 조명기구는 천장에 설치된 밝기의 조절이 가능한 형광등 이며, 주차장 바닥은 연회색의 광택 페인트로 표면 처리되어 있다. 어안 렌즈로 인하여 왜곡이 심한 외곽부분을 제외한 영상의 중심 부근에서 차량 검출 성능을 측정하였다. 실험에 사용한 동영상은 조명이 밝은 경우와 어두운 경우, 차량의 색이 밝은 경우와 어두운 경우로 총 4개의 동영상에서 실험을 진행하였다.

3.2 실험 방법

실내 주차장은 조명의 변화가 작기 때문에 일정기간 동안 배경의 각 화소 밝기의 분포를 소수의 가우시안 모델로 정확하게 모델링 할 수 있다. 배경학습 기반 변화 검출 방법은 OpenCV에서 제공하는 GMM 방법[1]을 사용하였다. 실험에서 사용한 모드의 변수 값은 다음과 같다. 식(2)의 k 값은 4이고, 모드 개수 m은 5 이다. 식(3)의 학습율 α 값은 0.001이다

배경을 나타내는 모드를 결정하는 방법은 다음과 같다. 우선 모든 모드를 가중치(식(2)에서 ωk가 큰 순으로 정렬한다. 정렬 후 상위 K개의 모드의 가중치의 합이 임계값보다 크면 상위 K개의 모드가 배경을 나타내는 모드로 결정된다. 본 실험에서는 임계값을 0.9로 설정하였다. 이는 실험 영상에서 차량의 운행빈도가 높지 않기 때문에 특정 화소의 위치에서 차량이 머문 시간들의 합이 전체 시간의 10% 이내로 가정한 것이다. 실험 영상에서는 조명이 매우 작게 변하거나 서서히 변화하기 때문에 대부분의 영상 화소에서 K=1 이다.

본 실험 영상에서 헤드라이트가 비춘 영역을 가능한 배경으로 분리하는 것이 좋은 성능 수치를 제공한다. 학습된 배경 영상과 입력된 영상에서 밝기 차가 작은 화소들을 가능한 배경으로 판정하기 위해서는식 (2)에서 k 값이 클수록 좋다. 본 논문의 실험에서는 k 값을 4.0으로 정하였는데, 이는 가우시안 분포의 99.9%를 포함하는 값이다.

제안한 방법은 어안 렌즈를 통하여 획득한 영상에서 차량의 크기가 위치마다 다르기 때문에 영상을 48개의 격자로 나누고, 각 격자에서 차량의 최대 크기와 최소 크기를 사전에 학습하였다. 그리고 검출된 블랍 중에서 그 크기가 학습된 최소 차량 크기보다 큰 경우에만 차량 후보 영역으로 정하였다. 블랍의 크기가 최대 차량 크기보다 크면, 제안한 방법으로 블랍을 분할하여 블랍의 크기가 학습한 크기 범위 이내가 되도록 재분할하였다..

최종적으로 생성된 블랍이 차량에 의하여 생성된 것인지 아니면 차량의 헤드라이트에 의하여 생성된 것인지를 판단하기 위하여 입력 영상과 배경의 평균 영상의 유사도를 비교한다. 본 논문에서는 두 영상의 상관관계를 유사도 판별 기준으로 사용하였으며 유사도가 0.25보다 작으면 차량 영역으로 판단하였다.

3.3 실험 결과

배경 학습 기반의 차량 검출 실험에서 헤드라이트에 의해 비춰진 부분도 차량의 영역과 동일 영역으로 검출하는 경우를 다수 확인할 수 있었다. 차량과 헤드라이트에 의해 검출된 영역이 서로 분리가 되어있는 경우에는 영역별로 유사도를 비교하여 차량 영역인지를 판단하였다.

3.3.1 조명 밝기를 최대로 한 환경에서 검정색 승용차 영역의 검출

조명의 밝기를 최대로 한 경우에는 주차장 노면과 검정색 차량은 화소 밝기 값의 차이가 매우 크기 때문에 GMM 기반 블랍 검출 방법으로 차량의 영역을 효과적으로 검출하는 것이 가능하다. 하지만 Fig. 5에서와 같이 차량의 헤드라이트가 전면의 주차장 노면, 건물 기둥 등을 비추는 경우 이들 영역도 차량과 하나의 블랍으로 검출되었다. 제안한 방법은 차량 영역만을 효과적으로 검출함을 보여주고 있다.

Fig. 5.Black car detection in bright lighting conditions.

3.3.2 조명 밝기를 최대로 한 환경에서 흰색 승용차 영역의 검출

조명등의 밝기를 최대로 하면 조명등 아래 주차장 노면에는 영상의 포화 현상이 발생한다. 조명으로 인하여 포화된 주차장 노면과 흰색의 차량은 유사한 화소 밝기 값을 가지기 때문에, 포화 영역에서는 GMM 기반 변화 검출은 차량을 검출하지 못하였다. 제안한 방법 또한 이러한 영역에서는 객체의 영역을 검출하지 못하였다. 본 논문에서는 식(3)을 이용한 구멍을 채우는 방법을 적용하여 객체 영역 검출 성능을 향상 시켰다. Fig. 6(e)와 6(f)는 구멍을 채우는 방법의 효과를 보여주고 있다.

Fig. 6.White car detection in bright lighting conditions.

3.3.3 조명 밝기를 어둡게 한 환경에서 흰색 승용차 영역의 검출

주차장 조명을 어둡게 하면 조명 바로 아래의 포화 영역이 작아지며, 주차장 노면과 흰색 차량은 화소 밝기 값의 차이가 매우 크기 때문에 차량의 영역은 GMM 기반 블랍 검출 방법으로 효과적으로 검출이 가능하다. Fig. 7에서는 주차를 시도하는 차량의 전조등과 브레이크등이 차량 앞과 뒤의 노면을 비추는데, GMM 기반 검출 방법은 넓은 영역이 하나의 블랍으로 검출하였다. 제안한 방법은 이 경우에도 효과적으로 차량의 영역을 검출하였다.

Fig. 7.White car detection in darklighting conditions.

3.3.4 조명 밝기를 어둡게 한 환경에서 검정 승용차 영역의 검출

주차장이 어두운 경우에는 차량의 헤드라이트와 브레이크등에 의한 조명과 이들의 반사광으로 인하여 차량 주변에서 밝기의 변화가 생긴다. 이런 밝기 변화 때문에 GMM 기반 변화 검출은 Fig. 8(e)에서와 같이 차량보다 넓은 영역을 검출하게 된다. 또한 반사광에 의하여 차량으로부터 떨어진 곳에 추가로 변화 영역이 검출된다. Fig. 8(f)에서와 같이 제안된 방법은 넓게 검출된 블랍 영역을 차량의 실측 크기와 비슷하게 줄일 수 있으며, 반사광에 의하여 검출된 블랍을 유사도를 이용하여 제거할 수 있다.

Fig. 8.Black car detection in dark lighting conditions.

아래 Table은 4가지 동영상에서 계산한 거짓 양성 오차(false accept rate, FAR)와 거짓 음성 오차(false reject rate, FRR)의 평균값을 보여주고 있다.

Table 1, 2, 3, 4를 보면 FAR의 값이 상대적으로 크게 나오는데, 이는 헤드라이트에 의하여 생성된 블랍이 차량 영역으로 잘못 판정된 것이 주요 원인이다. 이들 블랍은 주로 건물 벽이나 주차 기둥을 헤드라이트가 비추는 경우인데, 이 영역은 차량이 존재할 수 없는 부분이다. 블랍 기반 주차 확인, 차량 추적 등의 응용 분야에는 제안한 방법은 영역을 제한함으로 유용하게 적용할 수 있다.

Table 1.Black car detection in bright lighting conditions

Table 2.White car detection in bright lighting conditions

Table 3.White car detection in dark lighting conditions

Table 4.Black car detection in dark lighting conditions

실험을 위하여 카메라를 설치한 지하 주차장에서는 차량의 운행 빈도가 낮아, 단수의 차량이 헤드라이트를 켜고 운행하는 경우만 실험을 수행하였다. 영상 내에서 복수의 차량이 운행하는 경우에도 차량이 일정 거리 이상 떨어져서 운행하기 때문에 배경 학습 검출 방법으로 블랍을 1차로 추출하고, 추출한 블랍 영역의 히스토그램을 클러스터링하여 블랍을 재추 출하는 제안한 방법은 기존의 배경학습 기반 객체 검출의 문제점을 개선할 것이라고 생각한다. 제안한 방법은 각 블랍에서 현 영상과 학습된 배경 영상과의 유사도를 이용하여 차량의 영역에 해당하는 블랍을 분류하였는데, 다양한 상황에서도 안정적으로 차량을 분류할 수 있는 유사도 비교 방법이 필요할 것이라고 생각한다.

3.4 연산량

객체 검출의 대상이 되는 차량은 크기가 크기 때문에 저해상도에서도 안정적인 검출이 가능하다. 카메라 영상의 해상도는 1280 × 960이지만 객체 검출은 320 × 240 해상도로 줄여서 실험을 하였다. 2.80 GHz core i7 CPU 노트북에서 3468 프레임을 처리하여 연산량을 측정하였다. 한 영상 프레임을 처리하는 시간은 다음과 같다. GMM 방법으로 변화를 검출하는데 평균 3.4 msec, 변화 검출 결과로부터 블랍을 추출하는데 평균 1.8 msec, 블랍 내부에서 차분 영상의 히스토그램 생성, 히스토그램 클러스터링을 통한 객체 후보 영역에 해당하는 블랍 생성, 생성된 블랍에서 유사도 계산 등의 일련의 연산량은 평균 1.1 msec 소요되었다. 이는 블랍이 전체 영상의 일부분만을 차지하기 때문이다. 제안한 방법은 기존의 GMM 기반 객체 검출과 비교하여 연산량이 약 21% 증가하였다.

 

4. 결 론

객체 검출의 대상이 되는 차량은 크기가 크기 때문에 저해상도에서도 안정적인 검출이 가능하다. 카메라 영상의 해상도는 1280 × 960이지만 객체 검출은 320 × 240 해상도로 줄여서 실험을 하였다. 2.80 GHz core i7 CPU 노트북에서 3468 프레임을 처리하여 연산량을 측정하였다. 한 영상 프레임을 처리하는 시간은 다음과 같다. GMM 방법으로 변화를 검출하는데 평균 3.4 msec, 변화 검출 결과로부터 블랍을 추출하 는데 평균 1.8 msec, 블랍 내부에서 차분 영상의 히스토그램 생성, 히스토그램 클러스터링을 통한 객체 후보 영역에 해당하는 블랍 생성, 생성된 블랍에서 유사도 계산 등의 일련의 연산량은 평균 1.1 msec 소요되었다. 이는 블랍이 전체 영상의 일부분만을 차지하기 때문이다. 제안한 방법은 기존의 GMM 기반 객체 검출과 비교하여 연산량이 약 21% 증가하였다