Two-wheelers Detection using Uniform Local Binary Pattern for Projection Vectors

투영 벡터의 단일 이진패턴 가중치을 이용한 이륜차 검출

Abstract

In this paper we suggest a new two-wheelers detection algorithm using uniform local binary pattern weighting value for projection vectors. The first, we calculate feature vectors using projection method which has robustness for rotation invariant and reducing dimensionality for each cell from origin image. The second, we applied new weighting values which are calculated by the modified local binary pattern showing the fast compute and simple to implement. This paper applied the Adaboost algorithm to make a strong classification from weak classification. In this experiment, we can get the result that the detection rate of the proposed method is higher than that of the traditional method.

1. 서 론

자동차의 전자 장치가 IT기술의 발달로 인하여 점점 지능화 되어가고 있다. 과거의 자동차는 주로 탈것이나 물건을 운반하기 위한 것이었지만, 지금의 자동차는 안락함과 많은 정보를 제공해주는 지능형 전자 시스템이다. 그러나 사고로 인한 차량 내부의 사람들을 위한 안전장치가 개선되어 설치되고 있으나, 차량 외부의 물체나 사람을 보호하기위한 장치는 미비하다. 지금까지는 보행자를 보호하고 사고를 미리 방지하는 지능형 자동차 연구가 중점적으로 진행되어왔다[1]. 그리고 현재의 지능형 자동차 연구는 보행자와 자동차를 제외한 보행자, 이륜차, 그리고 작은 자동차와 같은 연약한 도로 이용자(vulnerable road users)를 보호하기 위한 연구를 확대하고 있다 [2,3]. 이륜차는 움직임 조금 빠른 것부터 자동차와 비슷한 속도를 내는 아주 다양한 종류가 있다. 이들의 공통점은 자동차와는 다르게 특별한 보호 장치가 이륜차에 부착되어있지 않다는 것이다. 그러므로 도로위의 연약한 도로이용자를 자동차가 보호하기 위해 이륜차에 대한 지능형 자동차 연구도 같이 이루어져야한다.

이륜차는 사람과 기구물의 조합(사람+자전거, 사람+모터사이클, 사람+휠체어 등)으로 이루어져있다. 그러므로 보행자 연구에서 사용되고 있는 특징 추출 방법을 이용할 수 있다. 물체의 특징 추출 방법 중 가장 많이 이용하고 있는 HOG(Histogram of Oriented Gradient)[4]는 중심좌표 I(x,y)에 대한 x방향과 y방향에 대한 미분 크기와 방향성을 이용한 것이다. 그러나 HOG는 미분에 사용한 좌표 이외의 대각 방향의 4점 정보는 잃어버리고 노이즈에 약한 단점을 가지고 있다. 이를 응용한 많은 연구가 진행되어 왔다 [1]. Ojala등[5]에 의해 처음 소개된 LBP방법은 빠르고 간단한 계산 때문에 텍스쳐 분류에서 뛰어난 성능을 나타내었다. 초기에는 얼굴인식 분야에서 많이 사용되어져 왔으며, 최근에 보행자 검출에서도 이용이 확대되고 있다[6]. 이 외에도 Haar-like[7]와 웨이블릿[8] 방법은 단일 특징 벡터를 이용하였다.

보행자 검출을 위한 분류 방법으로는 Random Forests, 선형 SVM분류 그리고 Adaboost 방법 등이 사용되고 있으며 다양한 응용 방법들이 있다[6].

일반적으로 투영은 높은 차원의 영상 시스템을 낮은 차원으로 변환하는 역할을 한다. 이는 영상의 개략적인 형상 정보를 얻을 수 있는 장점이 있으며, 수평과 수직 방향으로의 투영을 통하여 특징 벡터를 간단하게 얻을 수 있다.

이륜차에 대한 연구 진행은 아직 많지 않다. 그리고 영상에서 이륜차는 사람과 함께 형상으로 나타내므로 보행자 인식 알고리즘과 유사하게 사용 할 수 있다. 그러나 이륜차는 보는 각도에 따라 다양한 형상을 나타내므로 연구에 어려움이 많다. 이에 본 연구에서 회전에 강인하고 계산량이 적은 통계적 성질의 국부적 이진패턴 가중치 투영 벡터 방법을 이용하여 특징 벡터를 구하는 알고리즘을 개발하였으며, 제안된 방법은 기존의 제안된 일반적인 방법의 투영 벡터 보다 높은 이륜차 및 비이륜차의 검출 능력을 향상시켰다. 그리고 빠르고 정확한 분류를 실현하기 위하여 전통적인 방법의 Adaboost 알고리즘을 적용하였다.

논문의 2장에서는 특징 추출을 위한 투영벡터 방법과 LBP 알고리즘을 기술하며, 3장에서는 LPB 무게 값이 고려된 제안된 특징벡터 추출방법을 설명하고, 4장에는 분류에 사용된 Adaboost 알고리즘을 서술하며, 실험 및 결과를 5장에 그리고 6장에 결론을 나타내었다.

 

2. 특징 추출

2.1 투영 벡터[9]

투영 벡터는 높은 차원을 낮은 차원으로 감소시키는 동시에 형상정보를 획득할 수 있다. 행 방향으로의 투영을 통하여 수평 방향의 투영 벡터를 얻을 수 있고, 열 방향의 투영을 통하여 수직 방향의 투영 벡터를 얻을 수 있다. 이진 영상에 대한 투영 예를 Fig. 1에 나타내었다.

Fig. 1.Example of projection for binary image.

크기가 M×N 영상을 I(i, j)라 할 때 수평 및 수직 방향의 투영은 식 (1)과 같이 나타낼 수 있다. 여기서 i는 행 방향을 나타내며, j는 열 방향을 나타낸다.

투영 기법을 적용할 경우, 영상의 크기에 따라 생성되는 투영의 크기가 달라지므로 동등한 길이의 벡터를 이용한 비교가 불가능하다는 문제가 있다. 그리고 행과 열의 개 수 만큼 벡터 요소가 비교되어야하므로 색인 데이터가 많아져 대용량의 데이터베이스에서는 많은 시간이 소요되는 단점이 있다. 이러한 단점을 해소하기위해 HOG[4] 특징 벡터를 구할 때처럼 셀 단위 투영을 적용한다. 이를 다시 블록 단위의 정규화 과정을 거쳐 특징 벡터를 얻을 수 있다. 이는 색인 데이터양을 줄일 수 있으며, 영상의 크기에도 덜 민감하게 사용 할 수 있는 장점이 있다. 128x64 입력영상에 대해, 하나의 셀이 8x8 화소면 128개의 셀이 생성된다. 그리고 블록의 크기가 3x3 셀 이고 블록의 이동이 한 개의 셀 일 경우, 투영 벡터의 개수는 12096개 이다.

2.2 국부적 이진패턴(LBP)

Ojala 등[5]에 의해 처음으로 제안된 LBP는 조명 변화에 강건한 특징을 가지고 있으며, 중심 화소와 주변 화소와 관계를 식 (2)와 (3)에 의해 계산된다.

여기서 gc는 중심 화소의 밝기이며, gp는 반지름이 R인 원주 상에 나타나는 P 개의 주변 화소의 밝기 값이다. 주변화소 8개를 고려할 경우 LBP는 256차원의 코드를 생성한다. 일반적인 방법의 LBP8,1 예를 Fig. 2에 나타내었다.

Fig. 2.Example of LBP.

Fig. 2에서 gc는 6이며, 식 (2)와 (3)를 이용하여 이진코드를 구하면 “01110100”이다. 이진코드는 무게 값이 곱해지며, 그 결과 116의 값을 얻을 수 있고, 256개의 패턴 코드 가운데서 하나를 나타낸다. 이러한 이진코드는 “0”과 “1”의 변화 정도에 따라 단일형태(uniform pattern)와 비단일 형태(non-uniform pattern)로 나누어진다[10]. 이진코드의 비트 형태가 순환이라고 가정할 경우, 현재 비트 값과 다음 비트 값이 “0”에서 “1” 혹은 그 반대로 변하는 개수가 2개 이하 이면 단일 형태이며 그 이상일 경우는 비단일 형태로 한다. “00000000”부터 “11111111”까지 256개의 코들 열에 대해 단일형태는 58가지의 경우를 가진다. 예를 들면, “00011000”의 경우는 2번의 변화를 가지고 있으므로 단일 형태이고, “11010011“의 경우는 4번의 변화를 가지고 있으므로 비단일 형태이다. 이처럼 단일형태를 사용하는 이유는 첫째, 일반적인 영상 내에 있는 점, 선, 에지 그리고 코너들의 이진코드는 단일 형태를 가지고 있다. 둘째, 단일형태는 지금까지의 대부분의 연구에서 보다 좋은 연구 결과를 나타내었다.

 

3. 특징 벡터 추출

입력 영상으로부터 하나의 셀(8×8 화소)에 대해 투영 벡터를 식 (1)을 이용하여 계산한다. LBP 코드 열을 구하기 위하여 투영 벡터의 각 요소의 평균값 H(k)p,avg 을 LBP의 문턱치 값으로 사용하여 식 (4)와 (6)에 의해 k번째 셀, i번째 행의 LBPH,i (H(k)) 값을 계산한다. 그리고 k번째 셀 j번째 열의 LBPV,j (V(k))도 식 (5)와 (6)에 의해 같은 방법으로 구하며, 행에 대한 예를 Fig. 3에 나타내었다.

Fig. 3.Calculation of LBP code from local cell projection vectors.

여기서 H(k)p는 행 투영벡터 값이며, H(k)p,avg는 행 투영벡터의 평균값이다.

위에서 구한 행의 LBP 코드열을 이용하여 식 (7)에 의해 단일형태/비단일형태에 따라 각각 다른 무게값을 가지는 열방향 투영벡터 특징값을 계산한다.

여기서 UP는 단일형태를 가질 경우이며, e아주 작은 값으로서 논문에서는 0.00001을 사용하였다. k번째 셀의 열 방향에 대해서도 식 (8)을 이용하여 열방향 투영벡터 특징 값을 계산한다.

계산된 특징 값은 3×3 셀을 하나의 블록으로 하여 정규화를 실시한다. 블록은 왼쪽에서 오른쪽 그리고 위에서 아래 방향으로 하나의 셀을 이동시켜가면서 진행하며 Fig. 4에 나타내었다. q번째 블록의 행 방향에 대한 정규화를 식 (9)을 이용하여 계산 할 수 있으며, 열 방향에 대해서도 동일한 방법을 수행 한 후두 종류의 특징벡터들을 나열하면 최종적인 특징 벡터가 Π H,V가 구해진다.

Fig. 4.Normalization processing of blocks with 3×3 cells.

128×64화소 영상에 대해 횡 방향으로 6블록, 종방향으로 14블록이 생성되며, 전체 84개의 블록에 대한 정규화가 이루어지므로 “84블록×144차원”의 12096차원 투영 특징 벡터가 얻어진다.

 

4. 분류화[11,12]

본 논문은 앞서 실시한 입력 영상에 대한 이륜차의 특징 벡터를 이용하여 입력 영상으로부터 이륜차를 검출 하기위해 Adaboost 알고리즘을 사용하였다. Adaboost의 기본 알고리즘은 약한 분류기(Weak Classifier)를 선형적 결합에 의해 강분류기(Strong Classifier)를 생성하는 것이다. Adaboost는 통계적 학습 방법으로써 Freund 등[13]에 의해 처음 제안한 Boosting방법의 하나이다. Positive 영상(이륜차)과 Negative 영상(비이륜차)을 학습 데이터 집합으로 만들어 분류하는 작업은 Gauss혼합분포[14], SVM [15] 그리고 Adaboost 방법[12]등이 있다. Boosting 가운데서 가장 일반적인 Adaboost 알고리즘은 다루기 힘든 분류 작업을 지수함수를 이용하여 갱신되는 가중치를 부과하여 학습하고, 이를 순차적으로 능력을 높여가는 알고리즘으로써, 복잡하고 다양한 배경에서 강인한 판별 능력을 나타내기 때문에 현재 폭넓게 이용되고 있다. Adaboost 알고리즘 과정을 요약하면 다음과 같다.

A. N개의 학습 영상 (x1, y1), ..., (xN, yN)

B. 학습 영상의 가중치 초기화

C. T 회 학습 반복

1) M개의 약 분류기

2) 에러 계산

3) 에러 값 ϵt 가 가장 작게 되는 분류기 ht 을 선택한다.

4) 분류기의 가중치 결정

5) 가중치 갱신과 정규화

6) 최종적으로 강분류기 생성

단계 B에서 훈련영상에 대해 모두 동일 가중치를 부과한다. 단계 C에서는 약분류기를 생성한다. 에러가 가장 작은 분류기를 선택하고 이 분류기에 대한 새로운 가중치를 부과한다. 잘못 분류된 훈련 영상은 높은 가중치를 부과하고 올바르게 분류된 훈련 영상은 낮은 가중치를 부과하여 약한 분류기의 선형적 결합에 의해 최종적인 강분류기를 생성한다.

 

5. 실험 결과 및 고찰

본 논문은 지능형 자동차를 위한 도로 위의 연약한 이용자인 이륜차 검출을 위해 국부적 특성과 텍스쳐 성분을 잘 반영할 수 있는 단일 형태 LBP와 수정된 투영벡터 알고리즘을 구현하였다. 실험 시스템 및 소프트웨어는 펜티엄 3.1GHz의 일반 사용자 컴퓨터 환경과 Visual C++ 6.0환경이다. 실험에 사용된 이륜차 데이터는 도로 위에서 직접 촬영해서 획득된 것과 인터넷으로부터 얻어진 데이터이며, 보는 각도에 따라 여러 가지 모습으로 나타난다. 본 논문에서는 자동차 안에서 보았을 때, 이륜차의 앞모습과 뒷모습에 대해 정면(약 90도, 이하 90˚로 표기) 그리고 약간 기울어진 각도(약 60도 이상, 이하 60˚로 표기)을 사용 하였다. 획득된 사진 640×480(가로×세로)으로부터 128×64(가로×세로)크기로 정규화 된 이륜차 2353장을 추출하였으며, 훈련영상과 실험영상으로 나누어 사용하였다. 실험에 사용된 이륜차의 종류 및 개수를 Table 1에 나타내었다. 여기서 B는 자전거, M은 모터사이클 그리고 MB는 자전거와 모터사이클의 혼합을 의미한다. 비이륜차 영상은 일반 도시 거리의 사진(640×480)에서 랜덤하게 추출된 영상 128×64크기를 사용하였다. 훈련과정에 사용된 비이륜차 영상은 이륜차 영상과 같은 개수(1:1)를 사용하였으며, 큰 영상 내에는 이륜차보다 배경이 훨씬 많이 차지하므로 테스트과정의 비이륜차 영상은 3000장을 사용하였다. 그리고 정면 영상의 개수와 후면 영상의 개수는 훈령영상과 테스트 영상에 대해 거의 1대1로 맞추어서 실험하였다. Fig. 5은 실험에 사용된 이륜차와 비이륜차의 영상 예를 나타내었다. Fig. 5의 첫 번째 행은 자전거 영상 예이며, 두 번째 행은 모터사이클 영상 예이다.

Table 1.The number of training and test images

Fig. 5.The example of positive and negative images.

실험은 보행자 검출에서 많이 사용하고 있는 연속 데이터 저장 방법 HOG[11], 일반적인 투영벡터 방법 그리고 논문에서 제안된 수정된 투영벡터 알고리즘을 실시하였다. 실험 결과의 분석을 위해 각각의 방법 및 각도에 대해 혼돈행렬(confusion matrix)의 참긍정률(true positive rate)과 거짓 긍정률(false positive rate)을 이용한 ROC 곡선을 적용하였다. 각각의 방법에 대한 각도별 실험 결과 분석을 위해 식(10)을 이용하여 정밀도[16]를 Table 2에 나타내었으며, 판별을 위해 적용된 문턱치 값의 범위는 -20~20이다.

Table 2.Accuracy Rate for each method (%)

여기서 TP는 참 긍정(True Positive), FP는 거짓 긍정(False Positive), TN는 참 부정(True Negative) 그리고 FN는 “거짓 부정(False Negative)”이다.

Table 2에서 PRJ는 일반적인 투영벡터를 나타내며, W_PRJ는 제안한 방법을 의미한다. 그리고 Bike는 자전거, Moto는 모터사이클 그리고 MB는 자전거와 모터사이클의 혼합을 의미한다. 자전거는 모터사이클보다 높은 정밀도를 나타낸다. 그 이유는 훈련 영상의 개수를 많이 사용한 이유도 있지만, 더 큰 원인은 Fig. 5처럼 모터사이클이 자전거보다 등 뒤로 많은 짐이 적재되거나, 앞부분의 복잡한 형상으로 인해 복잡성이 증가되었기 때문이라고 생각된다. HOG 방법은 중심좌표에 대해 미분값을 이용하기 때문에 국소적인 특징을 나타낸다. 하지만 PRJ의 경우는 국부적인 셀이 전체를 대표하는 값을 가지기 때문에 좀 더 정확한 구분이 되는 것이다. 그리고 본 논문에서 제안한 방법이 일반적인 PRJ보다 높은 정밀도를 나타내는 것은 LBP에 의한 텍스쳐 성분이 무게 값으로 잘 반영되었기 때문이다.

그리고 문턱치 값 -20~+20사이에 대한 각각의 각도별 실험 결과를 식 (11)를 이용하여 일반적인 방법 (HOG와 투영방법)과 제안된 방법의 ROC 곡선으로 Fig. 5, Fig. 6 그리고 Fig. 7에 나타내었다. 제안된 방법은 면적이 1에 가까운 그래프를 나타며, 일반적인 방법은 훨씬 낮은 면적의 그래프를 나타낸다. 1에 가까울수록 높은 성능을 나타낸다. 각도의 방향은 90도의 경우가 높게 나타났다. 이는 회전이 생김으로 인하여 형상의 변화가 다양하게 나타는 원인으로 생각된다.

Fig. 6.The result of experiment for HOG method.

Fig. 7.The result of experiment for projection method.

Fig. 8.The result of experiment for proposed method.

인식 수행 시간은 특징이 추출된 영상 1장에 대해 제안된 방법은 약 20ms로 나타났으며, 다른 방법들도 비슷하게 나타났다.

보행자 검출에 사용된 일반적인 HOG 방법[10]은 화소의 주변에 대한 미분 값을 사용하므로 노이즈에 민감한 반응을 나타낸다. 그러나 본 논문은 국부적 형상 정보를 잘 나타내는 수정된 투영 벡터 방법과 회전과 노이즈에 강인한 단일 이진형태를 이용한 무게값을 적용한 특징 벡터 추출 방법을 사용하였기 때문에 보다 향상된 검출 결과를 얻을 수 있었다.

도로 영상(640×480)에서 식 (12)을 적용한 이륜차 검출 결과를 Fig. 9에 나타내었다. 사용한 문턱치 값(TH)은 15.0이다.

Fig. 9.The example result for 640×480 image (by threshold value 15.0) (a) HOG method, (b) General Projection Method, and (c) proposed method.

여기서 ht(x)는 전체 화면에서 t 번째 추출된 영상을 의미하며, H(x)는 강분류기 그리고 x는 특징벡터이다. 그리고 ‘1’은 이륜차를 검출한 경우이며, ‘0’는 비이륜차를 검출한 경우이다. Fig. 9는 자전거와 모터사이클, 이륜차의 전면과 후면 그리고 각도60과 각도 90를 혼합한 전체의 경우이다. Fig. 9(a)는 일반적인 연속저장방법 HOG 특징을 사용한 경우이며, (b) 는 일반적인 투영 벡터 방법을 사용한 것이고 ©는 제안된 방법의 사용 결과를 나타내었다. 그림에서 나타낸 것처럼 제안된 알고리즘이 일반적인 HOG 방법보다는 월등히 앞서며, 일반적인 투영벡터 방법을 사용한 것보다도 에러 검출(비이륜차)이 적게 나타났다. 실험에서 오인식은 전봇대와 나무와 같이 기둥이 형성되는 물체가 있는 부분과 벽면이나 도로와 같이 평탄한 면이 있는 부분에서 다수 나타났다. 사람이 이륜차를 타고 있지만 이는 기둥을 가진 물체와 비슷하므로 발생되는 것이라 생각된다. 동영상에서 프레임간의 움직임을 이용하여 후보 영역을 좁히거나 후보 영역에 대한 영역 분할 방법 등을 전처리에서 수행한다면 평탄한 부분과 기둥부분 등이 없어져서 좀더 좋은 결과를 얻을 수 있을 것이다. 그리고 나무와 같이 복잡한 형태인 경우도 오인식으로 나타난다. 문턱치 값이 작을수록 비이륜차 검출이 많이 나타났으며 값이 클수록 비이륜차 검출이 적게 나타났다.

자전거와 모터사이클을 검출하거나 인식하는 연구는 아직 미비하다. 유사한 연구로는 자전거를 타고있는 사람을 검출하는 방법들을 제안하였다. 자전거를 타고 있는 사람을 감지하기 위해 HOG 방법의 변형시켜 여러 개의 셀 사이즈를 이용한 MSC-HOG 방법[17]은 동영상 실험에서 정밀도 96%를 나타내었다. 히스토그램 빈의 누적합을 이용한 방법[18]은 동영상에서 빠른 검출을 나타내었으나 검출율(Hit rate)은 65.12%을 나타내었다. 그리고 HOG의 문제점인 중복성을 피하는 전역특징 추출과 피라미드를 이용한 방법[19]은 셀을 사용하지 않기 때문에 속도의 향상과 93.9%의 검출율을 나타내었다. 아직은 이륜차를 검출하거나 인식하는 연구가 활발하지 않고, 보행자 인식처럼 정례화 된 데이터베이스도 없으며, 자전거를 타고 있는 사람을 검출하는 연구만이 다소 이루어져왔다. 그러므로 이를 검출하기 위한 다양한 알고리즘 개발의 연구를 고려해야 할 것이다.

 

5. 결 론

사람이 타는 이륜차와 소형 기구들은 도로위에서 가장 연약한 도구이다. 본 논문에서는 연약한 도구 가운데서 가장 많이 사용하고 있는 이륜차를 지능형 자동차가 높은 수준의 인지도를 가질 수 있는 알고리즘을 제공한다. 지능형 자동차를 위해 지금까지의 연구에서는 여러 개의 haar-like 특징 혹은 HOG 특징을 추출하여 인식하는 방법을 많이 사용하여 왔다. haar-like 특징은 특징 개수도 많이 늘어나며 이로 인한 비교 시간이 길어지므로 특징 개수가 적은 것에 비해 많은 인식 시간이 소요된다. 그리고 기존의 HOG의 경우는 계산량은 줄어들지만 화소 중심의 미분량을 사용하므로 노이즈에 민감하며, 4개의 화소를 사용하므로 강력한 특징값을 가질 수 없는 등의 원인으로 낮은 인식률을 나타내었다. 본 논문에서는 인식율 향상을 위해 셀 내부의 형상 패턴이 잘 반영되고, 노이즈에 강건하며 그리고 회전에 둔감한 특징을 가지는 단일 LBP 방법을 응용한 수정된 투영벡터 알고리즘에 의한 이륜차 검출 시스템을 제안하였다. 세 가지 경우의 자세에 대해 실험하였으며, 제안된 방법을 이용한 실험이 기존의 방법과 비교해서 보다 향상된 인식 정확도를 나타내었다. 이륜차의 분류를 위해 Adaboost를 사용하였으며, 다른 분류 시스템과의 성능 비교가 추후 필요할 것이다. 추가적으로 다양한 자세와 많은 개수의 데이터를 확보하는 것이 보다 정확한 연구를 위해 필요하며, 전동 휠체어와 같은 다른 도로위의 연약자에 대한 연구도 요구되어진다.