Lower Tail Light Learning-based Forward Vehicle Detection System Irrelevant to the Vehicle Types

후미등 하단 학습기반의 차종에 무관한 전방 차량 검출 시스템

Abstract

Recently, there are active studies on a forward collision warning system to prevent the accidents and improve convenience of drivers. For collision evasion, the vehicle detection system is required. In general, existing learning-based vehicle detection methods use the entire appearance of the vehicles from rear-view images, so that each vehicle types should be learned separately since they have distinct rear-view appearance regarding the types. To overcome such shortcoming, we learn Haar-like features from the lower part of the vehicles which contain tail lights to detect vehicles leveraging the fact that the lower part is consistent regardless of vehicle types. As a verification procedure, we detect tail lights to distinguish actual vehicles and non-vehicles. If candidates are too small to detect the tail lights, we use HOG(Histogram Of Gradient) feature and SVM(Support Vector Machine) classifier to reduce false alarms. The proposed forward vehicle detection method shows accuracy of 95% even in the complicated images with many buildings by the road, regardless of vehicle types.

최근 발생빈도가 높은 차량 간 충돌사고를 미연에 방지하고 운전자의 편의를 증진하기 위한 전방 충돌 경고 시스템에 관한 연구가 활발히 진행되고 있다. 충돌 회피를 위한 차량 시스템에 자동으로 차량을 검출하는 기술은 필수적 요소이다. 기존의 학습 기반 차량 검출 방법들은 일반적으로 차량의 후면 전체를 학습하며, 외형이 다른 승용차와 트럭, SUV의 경우 클래스를 분류하여 학습해야 한다는 단점이 있다. 본 논문에서는 이러한 단점을 해결하기 위해 차종에 관계없이 후미등 하단 부의 외형은 유사하다는 점에 착안하여 하단부에 한해 Haar-like feature를 학습함으로써 전방 차량을 검출하는 방법을 제안하였다. 또한 검증단계로서 후미등 검출을 통해 실제 차량과 차량이 아닌 것들을 분류하고 후미등 검출이 어려운 작은 크기의 후보 영역은 HOG(Histogram Of Gradient) 특징과 SVM(Support Vector Machine) 분류기를 통해 검증하여 오검출률을 낮추었다. 도로 주변에 건물이 많은 복잡한 영상에서도 차종에 관계없이 95%에 해당하는 정확도를 보여 전방 차량 검출 성능이 개선된 것을 확인하였다.

Ⅰ. 서 론

최근 발생빈도가 높은 차량 간의 충돌사고를 미연에 방지하고 운전자 편의를 위한 전방 충돌 경고 시스템(FCWS: Forward Collision Warning System) 및 지능형 운전자 보조시스템(ADAS: Advanced Driver Assistance System)에 관한 연구가 활발히 진행되고 있다[1,2,3]. 초창기에는 자동차의 경적을 통한 위험 경고 및 안전벨트 또는 충돌 사고 이후 작동하는 차량 에어백의 수동형 안전 시스템을 통한 피해 경감 수준이었다. 하지만 최근에는 단순한 위험상황 통보를 넘어서서 적극적으로 사고를 회피할 수 있는 능동적인 안전 시스템을 개발하기 까지 이르렀다. 능동적인 충돌사고 회피를 위한 차량 기술에 자동으로 차량을 검출하는 시스템은 필수적 요소이다. 일반적으로 도로를 주행하는 운전자는 안전을 위해 안전거리를 유지하며 전방 및 측방 차량을 주시해야 한다. 따라서 본 논문에서는 운전자의 전방 및 측방 차량 검출 시스템을 제안한다.

일반적으로 차량을 검출하는 과정은 2단계로 이루어진다. 먼저 차량이 존재할 수 있는 후보영역(HG: Hypothesis Generation)을 찾은 후에 해당 후보 영역에 대해 차량과 비차량을 검증(HV: Hypothesis Verification)한다[1,5,6,7]. HG 단계에서는 차량이 가지고 있는 다양한 특성을 활용한다. 차량의 대칭 특성, 그림자 영역, 색 공간, 수평 및 수직 경계 정보 등을 이용하는 지식 기반[4,8,9], 스테레오 이미지 쌍을 이용한 스테레오 기반[10], 자동차와 배경 사이를 구분하는 공간적 특성을 활용한 모션 기반이 있다[11]. 검증단계에서는 미리 정의된 패턴을 이용하는 템플릿 기반과 자동차 외형을 학습하는 형상 기반이 있다[1]. 1차적으로 차량 후보 영역 검출을 위한 특징 추출로 차량 후면 전체 영역을 학습한다[1,8,9,10,11]. 따라서 차량을 세단, SUV, 트럭 등 각 클래스로 분류하여 학습 및 검출을 해야 한다. 클래스를 분류하여 학습하지 않으면 차량 상단 외형이 상이하여 그림1-(a)과 같이 미검출 되는 차량이 발생 한다.

그림 1.(a) 기존의 차량 검출 시스템 (b) 제안하는 차량 검출 시스템 Fig. 1. (a) Example of traditional system (b) A result of the proposed system

따라서 기존 알고리즘의 문제점을 해결하기 위해 본 논문에서는 차량 후미등 하단 부 외형이 차종에 관계없이 유사하다는 점에 착안하여 운전자 전방 및 측방 차량 검출 시스템을 제안한다. 따라서 제안하는 시스템은 그림 1-(b)처럼 차종의 클래스 구분 없이 차량 검출이 가능함을 보였다. 본 논문에서는 전처리 후에 자동차 후보 영역을 추출하고 추출된 후보 영역에 한하여 후미등 검출을 통해 차량과 비차량을 분류 하는 과정으로 구성된다.

본 논문의 2장에서는 제안하는 시스템 개요를 소개하고, 3장에서는 성능 향상을 위한 저조도 환경의 전처리를 설명한다. 4장에서 제안하는 방법을 설명하고, 5장에서는 다양한 도로 영상에 대한 실험으로 제안하는 방법의 우수성을 입증한다. 마지막으로 6장에서 결론 및 향후 연구 방향을 기술한다.

 

Ⅱ. 시스템 개요

제안하는 시스템의 목적은 운전자 전방과 측방 차량들을 검출하는 것으로 흐름도는 그림 2와 같다. 저조도의 영상의 경우 간단한 색상 균형 전처리[12]를 통해 색을 보정하고 후미등 하단 부를 이용하여 학습한 Haar-like 특징[13]을 사용하여 1차적으로 차량을 검출한다. 또한 차량과 비차량 간의 분류 시간을 줄이기 위해 차량이 존재할 수 있는 영역에 한해 검증을 실시한다. 일정 크기 이상의 후보 영역에 대해 HSV 색 좌표를 활용한 후미등을 검출하고 유클리디언 척도를 통해 검증한다[14]. 후미등 검출이 어려운 작은 크기의 후보 영역에 대해서는 HOG(Histogram of Oriented Gradient)를 이용하여 특징을 추출하고 SVM(Support Vector Machine)을 통해 차량과 비차량을 분류한다[15,16].

그림 2.제안하는 시스템 흐름도 Fig. 2. The flow chart of the proposed system

 

Ⅲ. 자동차 영역 검출을 위한 전처리

1. 색상 균형 알고리즘(Simplest Color Balance)

건물이 밀집한 도심에서는 주간 영상일지라도 차량과 도로면이 건물에 가려져 그림자가 생기므로 상대적으로 어둡다. 따라서 차량 및 차량 하단부의 고유한 그림자 특성을 선명하게 유지하기 위해 본 논문에서는 Nicolas Limare가 제안한 간단한 색상 균형 알고리즘을 이용하여 색을 보정한다[12]. 먼저 각 R, G, B 채널의 히스토그램을 0부터 255 사이의 범위로 스케일링한 후 입력 영상 픽셀 값들의 최소, 최대값을 구하기 위해 픽셀 값들을 정렬한다. 일반적으로 이미지 픽셀 값 정렬에는 O(Nlog(N))의 시간 복잡도를 갖는다. 그러나 히스토그램 기반을 사용하면 시간 복잡도를 O(N)으로 감소시킬 수 있으며 메모리 공간 또한 적게 든다[12].

누적 히스토그램을 생성하여 이를 통해 픽셀 값들을 정렬 한 후 변위치를 선택하여 조건 범위에 맞는 최소값과 최대값을 구한다. 이 때 변위치는 결과 영상의 질에 영향을 주는 파라미터로서 조절 가능하며 일반적으로 1~3% 사이의 값을 사용한다. 본 논문에서는 3% 값을 사용하였다. 예를 들어 2%의 포화도를 갖는 다고 하면 픽셀의 첫 번째와 99번째 백분위가 최소와 최대값으로 선택된다. 따라서 정해진 범위에 맞게 픽셀 값들이 다시 스케일링 되면서 색의 균형을 맞춘다. 아래 그림 3은 입력영상에서 색 균형 알고리즘을 통해 전처리 과정을 거친 결과 영상이다.

그림 3.(a) 입력 영상 (b) 색상 균형 알고리즘 적용 영상 Fig. 3. (a) Input image (b) After preprocessing(Color balance) image

 

Ⅳ. 자동차영역 검출 방법

1. Haar-like 특징 추출

앞서 기술한 자동차 후보 영역을 찾는 과정(HG: Hypothesis Generation)에서 1차적으로 전방 및 측방 차량을 검출하기 위해서는 차량 후면부의 의미 있는 특징을 잘 추출해야 한다. 본 논문에서는 차량 검출을 위한 특징으로 Viola와 Jones가 제안한 Haar-like 특징의 영역 간 밝기차를 이용한다[13]. 자동차는 특징적인 밝기 차를 가지기 때문에 Haar-like 특징을 적용하기에 적합한 대상이다. Haar-like 특징은 그림 4-(a)와 같이 다양한 크기와 모양의 사각형 마스크 내에서 적분 영상을 이용하여 특징을 선택한다. 찾고자 하는 대상 물체의 특성에 따라 적절히 마스크를 선택해야 하는데 본 논문에서는 그림 4-(b)와 같이 차량과 차량 하단부로 인해 생기는 도로면의 그림자, 차량과 배경의 밝기 차이가 두드러지는 특성에 적절한 3가지 Haar-like 특징 마스크를 이용하여 특징을 추출한다. 그리고 아다부스트 분류기를 통해 Haar-like 특징 자체를 약한 분류기로 선택하고 오분류된 샘플들에 대하여 가중치를 높여 다시 학습시키는 과정을 반복하여 강한 분류기로 만든다. 이러한 분류기들을 단계별로 결합하여 최종적으로 자동차를 검출한다. 본 논문에서는 학습할 cascade 단계의 수를 12단계로 설정하였고, 학습할 샘플 이미지 패치들의 폭과 높이의 비율을 2:1로 학습하였다.

그림 4.(a) Haar-like 특징 마스크 예시 (b) Haar-like 특징 마스크 선택 Fig. 4. (a) A Example of Haar-like feature mask (b) Haar-like feature mask selection

2. 자동차 후보 영역 위치 및 크기 검증

1차적으로 추출한 모든 자동차 후보 영역에 대해 후미등 검증을 실시하면 계산양의 증가 뿐 만아니라 속도 또한 저하되는 문제가 발생한다. 따라서 자동차 후보 영역에 대해 영역 위치 검증을 통하여 불필요한 후보 영역을 제거한다. 일반적으로 자동차 크기는 위치에 영향을 받는다. 원거리의 경우 자동차 크기가 운전자 입장에서 상대적으로 작으며, 근거리는 어느 정도 큰 크기를 갖는다. 따라서 아래 그림 5에서 하얀색 영역과 같이 영상 이미지의 상단 30%는 무시영역으로 설정하고 해당 영역에서 검출된 후보영역은 무시한다. 빨간색 영역은 주로 자동차가 존재하는 입력 영상 높이의 30%~60%까지로 상대적으로 너무 크거나 작은 자동차는 존재 할 수 없으므로 후보 영역 크기를 이용하여 걸러낸다. 영상 이미지 하단 부인 초록색 영역은 운전자와 근거리에 존재하는 차량들이므로 일정 크기 이하는 차량으로 볼 수 없기에 제거한다.

그림 5.자동차 후보 영역의 위치 검증 Fig. 5. Position verification of the vehicle candidate region

3. 후미등 검출

본 절은 자동차 후보 영역들에 대하여 실제 차량과 비차량을 분류하기 위한 검증 과정(HV: Hypothesis Verification)에 대해 설명한다. 후미등은 적색을 띄며 좌우 대칭으로 규제되어 있으므로 적색 정보는 후미등 분류기의 중요한 요소가 될 수 있다. 4.1절과 4.2절에서 최종적으로 걸러진 자동차 후보 영역들에 한하여 후미등을 검출하기 위해 색조 값을 이용하기에 적절한 HSV 색 좌표계로 변환한다. 색조(Hue), 채도(Saturation), 명도(Value)값을 이용하여 배경과 구분되는 후미등 영역을 분리한다. 일반적으로 Hue값은 0°(혹은 360°)일 때 적색을 나타내며 색의 정보를 직접적으로 표현할 수 있다. 후미등의 거리나 종류에 따라 밝기 차이와 변화가 심하므로 명도 혹은 채도 성분을 이용하는 것은 적절하지 않다. 따라서 자동차 후보 영역 패치들에 한하여 표1에서 나타내는 값들의 범위를 통해 적색 후미등 영역을 검출하였다. 표1의 HSV 색 공간의 적색 범위에 해당하는 임계값은 Ronan O’Malley가 제안한 자동차 검출 시스템을 참고하였다[17]. 그러나 그림 6-(b)과 같이 적색 영역 사이에 분절이 생길 수 있으므로 이를 해결하기 위해 모폴로지 연산을 수행하여 그림 6-(c)와 같이 병합한다. 그림 6-(d)는 최종적으로 후미등을 검출하여 초록색 박스로 표기한 결과를 나타낸다.

그림 6.(a) 자동차 후보 영역 (b) HSV 변환 영상 (c) 후미등 검출 이진화 영상 (d) 후미등 검출 최종 결과 Fig. 6. (a) Vehicle candidate region (b) Convert to HSV color image (c) A result of tail-light detection for binary image (d) A final result of tail-light detection

표 1.HSV 색 공간에서의 적색 임계값 Table 1. HSV Color threshold in red region

4. 후미등 검증

후미등을 검출하고 나면 후미등 검증 단계를 수행한다. 본 논문에서 제안한 후미등 하단 부 데이터 셋으로 학습하면 검출 시 후미등 하단부만 검출 하므로 대부분 2개의 블럽이 후보 영역으로 검출된다. 따라서 비교적 간단한 방법으로 검증이 가능함을 보였다.

일반적으로 후미등은 대칭인 특성을 가지므로 검출된 자동차 영역 양쪽 끝부분의 동일한 곳에 위치한다. 따라서 검출된 각 후미등 ROI(Region Of Interest) 박스의 중점을 연결하여 식 1과 같이 유클리디언 척도를 이용해 거리를 구한다. 유클리디언 거리가 자동차 후보 이미지 패치 너비의 절반 이상인 것과 그림 7-(b)의 노란 선처럼 두 중점의 높이차가 일정 픽셀 이내이면 후미등으로 판단한다.

그림 7.(a) 검출된 후미등 블럽 (b) 유클리디언 척도를 이용한 후미등 검증 Fig. 7. (a) A result of candidate blob detection (b) Tail-light verification with Euclidean distance

5. HOG 특징과 SVM을 이용한 차량과 비차량 분류

일정 크기 이하인 자동차 후보 영역은 후미등 검출에 한계가 있다. 본 논문에서는 후보 영역 패치의 면적을 픽셀 수로 측정하여 1200픽셀 이하인 경우 아래와 같은 별도의 검증을 수행한다. 이 경우 HOG(Histogram Of Gradient)를 이용하여 특징을 추출하고 SVM(Support Vector Machine)을 통해 차량과 비차량을 분류한다[15,16]. HOG는 에지의 방향 정보를 이용하므로 기본적으로 영상의 밝기나 조명 변화에 덜 민감하다. 또한 자동차와 같이 내부 패턴이 복잡하지 않으면서도 자체의 에지 정보를 갖는 물체를 검출하는데 적합하다. 본 논문에서는 자동차 후보 영역을 64x32 크기로 변환하여 2048차원의 HOG 특징을 추출하였고 분류기로는 선형 SVM을 사용하였다. 실제 긍정 패치와 부정 패치로 분류된 결과는 그림 8과 같다. 그림 8-(a)의 긍정 패치는 차량으로 분류된다.

그림 8.(a) 분류된 긍정 패치 결과 (b) 분류된 부정 패치 결과 Fig. 8. (a) A result of positive patches of vehicle (b) A result of negative patches of vehicle

 

Ⅴ. 실험 결과 및 분석

본 절에서는 제안하는 차량 검출 방법이 검출 성능에 미치는 영향을 비교하고 결과를 분석한다. 실험 환경은 Microsoft Visual studio 2012에서 OpenCV 라이브러리를 사용하여 C++로 구현하였고, Intel i7-3.40GHz CPU의 PC에서 실험 하였다. 실험에 사용한 데이터 셋은 720x480의 해상도를 가진 차량 내부에서 촬영한 주간 환경의 스틸 이미지이다. 본 논문에서는 기존 차량 검출 방법에서 후면 전체 또는 바퀴 하단 부만을 학습 했던 것과 달리 후미등 하단 부만을 학습하여 성능 향상을 도출하였다.

5.2절에서 제안하는 시스템에 대하여 후면 전체와 후미등 하단 부의 학습에 따른 성능을 비교하여 정량적 평가와 정성적 평가를 분석하며, 5.3절에서는 여러 가지 특징을 사용하여 제안하는 시스템에서의 차량 검출 성능에 대해 기술하였다.

1. 학습 및 테스트 영상 데이터 셋

학습 데이터 셋 예시는 표 2에 나타내었고, 긍정 패치와 부정 패치의 수는 각각 5410, 9137개 이다. 학습 시 긍정 패치는 후미등 하단 부만을 획득하고, 부정 패치는 고정된 크기로 분할하여 사용한다. 실험에 사용한 테스트 셋은 총 200장의 영상이며 차량 내부에서 촬영한 주간 환경의 블랙박스 영상 이미지이다. 표 3에서는 테스트 셋을 구성하는 차종의 수를 명시하였고, 그림 9는 테스트 셋 예를 보여주며 도로 주변에 건물이 많고 승용차, 트럭 등이 포함된 비교적 복잡한 환경의 영상임을 확인 할 수 있다. 정량적 평가를 위해 식 2와 같은 F-measure를 이용하여 정확도를 측정하였다.

표 2.학습 데이터 셋 Table 2. Training data set

표 3.테스트 셋 구성 Table 3. Test dataset composition

그림 9.테스트 셋의 예시 Fig. 9. Examples of test set

2. 제안하는 자동차 검출 시스템의 실험 결과

자동차 외형은 승용차, 승합차, 트럭, 버스 등과 같이 각기 다르지만 후미등 하단 부의 모양은 거의 유사하다. 따라서 본 논문에서는 후미등 하단 부만 학습하여 차량을 검출하였다. 표 4에서는 후면 전체와 후미등 하단 부의 학습 셋에 따른 차량 검출 성능 차이를 나타낸다. 이에 따른 분석을 위해 앞서 기술한 테스트 셋과 별도로 승용차와 SUV, 트럭이 포함된 200장의 주행 영상을 통해 실험 하였다. 후미등 하단 부만 학습한 결과가 후면 전체를 학습한 결과에 비해 14% 높은 검출률을 보였다. 그림 10은 학습 데이터 셋에 따른 차량 검출 결과 예시를 보여준다. 검출에 실패한 경우 FN(False Negative)으로 표기하였다. 후면 전체를 학습하여 차량을 검출한 경우 트럭, SUV 차량과 같이 승용차와 상단 외형이 다른 차종을 검출하지 못했다. 따라서 일반적인 후면 전체 학습은 트럭, SUV 등의 검출이 낮아 F-measure가저하된다. 그러나 후미등 하단부 만을 학습 한 경우 트럭, SUV 같은 차종도 검출이 가능하였다. 자동차 검출 시 동영상 환경에서의 검출률 또한 중요한 성능 척도이므로 표 5에서 차량 내부 블랙박스 영상을 이용하여 실험한 결과를 나타내었다. 2가지 동영상 데이터 셋은 720 x 480의 크기를 가지며 각 1800프레임으로 구성되어 있다. 첫 번째 동영상은 승용차 및 SUV 차량, 두 번째 동영상은 승용차 및 트럭이 포함되어 있는 영상이다. 정량적 평가를 위해 전체 차량 중 검출한 차량의 비율 TPR(True Positive Rate), 검출된 차량에서 오 검출 비율 FDR(False Detection Rate)을 사용하였다.

표 4.후면 전체와 제안하는 후미등 하단 부 학습 셋에 따른 성능 비교 Table 4. Performance comparison between whole back side and the proposed scheme

그림 10.후면 전체 학습과 후미등 하단 부 학습 기반의 자동차 검출 결과 Fig. 10. A result of training whole vehicle back side and tail-light lower section

표 5.블랙박스 동영상 실험 결과 Table 5. Performance evaluation of black box video

그림 11의 (a-d)는 차량 검출이 잘된 경우로 여러 대의차량 혹은 트럭을 포함하여도 검출 하였다. 그림 11-(e)는 차량이 비스듬하게 보이는 경우 후미등 쌍이 보이지 않으므로 검출에 실패했고, 차량의 크기가 현저하게 작을 시 검출하지 못했다. (g),(h)는 그림자가 포함된 차량 하단 부와 유사한 건물 간판의 중간 부분이 오검출 되었다.

그림 11.다양한 주행 환경에서의 차량 검출 결과: (a-d) 검출이 잘된 경우 (e-h) 검출이 잘 되지 않은 경우 Fig. 11. A result of the proposed system on test image data sets: (a-d) good case (e-h) bad case

3. 제안한 차량 검출 시스템에서의 특징 별 성능 평가

본 절에서는 제안한 차량 검출 방법에 Haar-like, LBP(Local Binary Patterns), HOG(Histogram Of Gradient) 3가지 특징을 적용하여 후보 영역을 검출하고 검증단계로서 4.3절과 4.4절에서 언급했던 후미등 검출을 통해 표 6에서 특징 별 차량 검출 성능을 비교하였다[13,15,18]. 검출하지 못한 차량은 FN(False Negative)으로 표기하였다. 차량은 밝기변화가 존재하고 회전 혹은 형태의 변화가 없으므로 Haar-like 특징이 적합하다. 그림 12를 보면 Haar 특징의 경우 터널 안, 흐릿한 영상에서도 LBP, HOG 특징보다 차량을 잘 검출한 것을 확인할 수 있다. 따라서 Haar-like 특징을 사용하여 학습 및 검출한 경우 평균 F-measure가 6% 향상된 결과를 보였다. 후미등은 밝은 부분이 강조 될 시 밝기 변화가 더욱 뚜렷해지므로 제안한 차량 검출 시스템에서 Haar-like 특징을 통해 학습 및 검출하여 성능 향상을 도출하였다.

표 6.3가지 특징 별 성능 평가 Table 6. Performance evaluation of three features

그림 12.3가지 특징 별 자동차 검출 결과 Fig. 12. A result of vehicle detection with three different features.

 

Ⅵ. 결론 및 향후 연구

본 논문에서는 차량 간 추돌 사고 방지를 위하여 전방 및 측방 차량을 검출하기 위한 시스템을 제안하였다. 제안하는 시스템은 차량의 후미등 하단 부만을 학습하고 Haar-like 특징을 사용하여 1차적으로 차량을 검출한다. 검출된 후보 영역에 대하여 후미등 존재 여부를 판단하여 유클리디언 척도를 통해 검증하고 최종적으로 차량을 검출한다. 또한 후미등 검출이 어려운 일정 크기 이하의 후보 영역에 대해선 HOG 특징과 SVM 분류기를 통해 분류하였다. 제안한 시스템은 승합차, 트럭의 검출에도 비교적 강인함을 보였고 기존의 차량 검출에 사용된 학습 데이터 셋과 달리 차량의 후미등 하단 부만을 학습하여 성능이 향상됨을 확인하였다.

본 논문의 향후 연구에서는 검출된 차량을 추적하여 Haar-like 특징으로 최초에 검출이 되지 않은 자동차 영역 혹은 작은 크기의 후보 영역도 지속적으로 검출 가능하게 하여 검출률 및 속도 향상을 통해 실시간으로도 적용할 수 있을 것으로 기대한다. 또한 주간 영상뿐만 아니라 상대적으로 차량 검출이 어려운 터널 및 야간 영상에 대하여 차량 검출 및 추적에 관한 연구를 수행하고자 한다.