A Study on the Detection Method of Lane Based on Deep Learning for Autonomous Driving

자율주행을 위한 딥러닝 기반의 차선 검출 방법에 관한 연구

Abstract

This study used the Deep Learning models used in previous studies, we selected the basic model. The selected model was selected as ZFNet among ZFNet, Googlenet and ResNet, and the object was detected using a ZFNet based FRCNN. In order to reduce the detection error rate of FRCNN, location of four types of objects detected inside the image was designed by SVM classifier and location-based filtering was applied. As simulation results, it showed similar performance to the lane marking classification method with conventional 경계 detection, with an average accuracy of about 88.8%. In addition, studies using the Linear-parabolic Model showed a processing speed of 165.65ms with a minimum resolution of 600 × 800, but in this study, the resolution was treated at about 33ms with an input resolution image of 1280 × 960, so it was possible to classify lane marking at a faster rate than the previous study by CNN-based End to End method.

1. 서론

차량의 주행 중 수행되어야 하는 이미지 기반의 객체 검출 및 분류에 대한 연구가 활발히 진행되고 있다. 그 중 최근 가장 좋은 성과를 보이는 분야는 CNN기반의 딥러닝이며, 분류와 위치 추정을 동시에 수행하는 네트워크의 개발로 인하여 객체 검출의 성능이 높아지고 있다. 초기 R-CNN에서 RPN(region proposal network) 레이어를 추가한 Faster-RCNN, 실시간성을 고려하여 높은 검출 속도를 보여주는 YOLO, 정확성과 실시간성을 동시에 향상시킨 SSD 등의 여러 네트워크 개발로 인해 객체 탐색 기법을 개발하였다. 하지만 각자의 장점 및 단점 또한 존재한다. 우선 실시간성측면에서, 딥러닝 기반 모델에 구성되는 레이어가 많아 그에 따른 연산량이 증가하기 때문에 높은 하드웨어 스펙을 요구한다. (Faster –RCNN의 경우), 또한 정확성 측면에서는 실시간성을 향상시킨모델의 경우 앞서 제시한 Faster-RCNN보다 객체를 분류하는데 있어 정확도가 낮기 때문에 객체를 오 분류할 가능성도 상당히 존재한다. 차량에 적용할 객체 검출은 높은 정확성이 수반되야 하기 때문에 고도화 측면에서는 적용이 어려울 수도 있는 것이다. 도심지 차선 검출은 라인의 위치와 종류로 분류될 수 있다. 따라서 본 연구에서는 차선의 라인을 검출하기 위하여 기존에 연구되고 있는 곡선 차선 검출 알고리즘을 사용하였다. 그리고 성능을 개선하기 위하여 Hybrid Faster RCNN-SVM 결과를 입력 파라미터로 사용하였다. 그 결과 도심지 차선 검출에서 흰색과 주황색 등의 차량으로 인한 차선 검출 에러를 개선할 수 있었다. 또한 중앙 처리 장치(CPU)과 그래픽 처리 장치 (GPU)의 자원을 최대한 사용하기 위하여 곡선 차선 검출 알고리즘은 CPU에서 연산하고 Hybrid Faster RCNN-SVM 알고리즘은 GPU와 CPU에서 연산 처리될 수 있도록 시스템을 설계하여 실시간성을 보장할 수 있도록 하였다.

차선의 마킹 분류는 4가지 종류로 나누어 학습하였다. 기존의 연구들은 차선의 경계를 검출하고허프 변환 방법을 사용하여 차선의 종류를 판단했다면 본 연구에서는 카메라에 입력된 차량 앞의 이미지를 학습하여 End to End (E2E) Learning 방식으로 차량 주변 차선의 Marking 종류를 구분하였다. 그리고 후처리 프로세싱으로 Kalman Filter를 적용하여 차선의 연속성과 빈번한 차선변경이 없음에도 발생하는 오탐률을 줄 일수 있게 하였다. 기존 대비 End to End (E2E) Learning 방식의 장점은 GPU를 사용하기 때문에 CPU에서 처리되는 연산량을 줄일 수 있으며 처리 속도를 향상시킬 수 있다. 또한, 다양한 학습 데이터가 많을수록 환경 적응력에 강한 결과를 얻을 수 있다. 그 결과 기존 경계 검출을 통한 차선 Marking 분류 방식과 비슷한 성능을 보였으며 정확도는 평균 약 88.8%의 결과를 보였다. 또한, Linear-parabolic Model을 사용한 연구에서는 해상도을 최소 600 x 800을 사용하였을 때 165.65ms의 처리 속도를 보였지만 본 연구에서는해상도을 1280 x 960으로 입력 해상도 이미지를 사용하였을 때 약 33ms로 처리되기 때문에 기존연구보다 본 연구에서 진행한 CNN 기반의 End to End 방식으로 분류하면 더 빠른 속도로 차선 Marking을 분류할 수 있었으며 유의미한 결과를 확인할 수 있었다.

2. 종래의 기술

모든 운전 시나리오에서 차선은 교통 흐름과 차량의 주행 위치를 나타내는 필수 구성 요소이다. 차선 검출은 고속도로 환경에서 검출하는 것보다 도심지 환경에서 검출하는 것이 더 어렵다. 그 이유는 도심지 환경에서는 차선을 변경하는 차량으로 인해 차선이 가려지거나, 차량의 색깔로 인해 차선에 영향을 주는 경우 등이 고속도로 환경 보다 빈번하게 발생하기 때문에 외부 환경에 대한 노이즈가 더 많이 발생한다. 그리고 기존에 연구된 차선 검출 알고리즘을 살펴보면, 허프 변환을 이용한 방법으로 연구된 내용들이 있다[1]. 하지만 허프 변환을 이용한 차선 검출은 직선을 기반으로 검출되기 때문에 곡선 도로 환경에서는 적합하지 않을 수 있다. 따라서 본 연구에서는 곡선 차선 환경에서 적합하고 도심지 환경에서 발생하는 여러 상황들에 강인한 알고리즘을 개발하는데 목적을 두고 있다. 그래서 본 연구에서는 기존에 연구되었던 Hough Transformation 기반의 알고리즘이 아닌 곡률 함수 기반의 곡선 차선 검출 알고리즘을 이용하여 도심지 환경에서 차선을 변경하는 차량으로 인해 차선이 가려지거나, 차량의 색깔로 인해 차선에 영향을 주는 경우에 대한 보정을 Hybrid Faster RCNN-SVM Detector 및 Tracker의 경계 박스 결과를 이용하여 보정하였다 [2]-[3].

기존 곡선 차선 검출 알고리즘은 Fig. 1에서 보는 것과 같이, 외부 요인으로 인해 차선이 가려져서 차선에 대한 Binary Image 정보를 추출할 수 없거나 앞차의 색깔이 흰색 또는 특정 색깔들로 인해 차선과 객체를 구별할 수 없는 경우가 발생하여 차선 검출에 오류를 발생하게 된다.

Fig. 1 Lane detection error caused by external factors

3. 딥러닝기반의 차선 검출

3.1 곡선 차선 검출

본 연구의 곡선 차선 검출 알고리즘의 이미지처리 파이프 라인은 Fig. 2 서 보는 것이, 10단계의 과정을 수행하게 된다. 본 과정에서 입력 영상으로 사용되는 이미지는 카메라의 CCD에 매칭되는 Raw 이미지가 아닌 Hybrid Faster RCNN-SVM Detector 및 Tracker에서 가공된 이미지를 입력 이미지로 사용하게 된다.

Fig. 2 Output image for each step of the image processing pipeline

가공된 이미지란 Fig.3의 Bird View 이미지에서도 확인할 수 있듯이, 검출된 Object의 경계 박스에 해당하는 픽셀을 검정색으로 보정된 이미지를 말한다. Perspective Warp 과정은 주행 중인 차량 앞의 차선이 포함된 이미지의 일부분을 입력 이미지로 사용하여 원근 변환 (Perspective Transform)을 시키는 과정이다. 원근변환은 핀홀카메라(pin-hole camera) 모형을 사용하여 2차원 이미지를 변환하는 방법이다. 원근법 변환은 직선의 성질만 유지가 되고, 선의 평행성은 유지가 되지 않는 변환이다. Perspective Transform 과정을 진행하기 위해서는 Warp 이미지의 내부 4개의 좌표가 필요하다. 본 연구에서는 (x, y)=(202, 345), (300, 345), (49, 461), (460, 461) 같이 4 Point의 좌표를 지정하여 입력 변수로 사용하였다. 4 Point를 기반으로 Perspective Transform 과정을 수행하면 Projection 행렬를 구할 수 있다. [4]. 이 행렬를 기반으로 Fig.3의 조감도 이미지를 만들 수 있게 된다. 그 다음 과정으로는 조감도 이미지를 입력 이미지로 사용하여 도로상에서 보이는 흰색 차선을 검출하는 과정을 거치게 된다. 본 과정에서는 채도 및 밝기의 변화를 감지하기 위해 HLS 색상 공간을 사용하며 필터링을 진행한다. 필터링에 사용된 색상의 범위는 lower_white = [0, 130, 10], upper_white = [255, 255, 255]이다. 필터링 된 이미지는 다시 Gray 이미지로 변환한 후, 가우시안 필터를 사용하여 이미지의 노이즈들을 제거한다. 가우시안 필터는 현재 픽셀 값과 주변 이웃 픽셀 값들의 가중 평균 (Weighted Average)을 이용해서 현재 픽셀의 값을 대체한다. 현재 픽셀에서 가까울수록 더 큰 가중치를 갖고 멀수록 더 작은 가중치를 갖는다. 가우시안 필터는 이미지는 공간적으로 천천히 변하기 때문에 가까이 있는 픽셀들은 비슷한 값들을 갖는다는 사실에 기반하여 만들어졌다. 그래서 노이즈 값은 상대적으로 이웃 픽셀들 값과 상관성이 작기 때문에 이웃 픽셀 값들의 가중 평균의 방식으로 완화시킬 수 있다. 그리고 가우시안 필터를 적용하여 노이지를 줄인 후, THRESH_OTSU를 적용하여 노이즈 없이 차선만 검출할 수 있는 Threshold 이미지를 생성한다. Sliding Window Algorithm을 이용하여 차선 라인을 감지하기에 앞서 시작점을 결정해야 한다. 시작점의 결정은 Threshold 이미지를 사용하여 X 축에 대한 이미지의 히스토그램을 얻는다. Fig.3의 히스토그램 결과를 보면 아래 막대 그래프의 각 부분은 이미지의 각 열에 몇 개의 흰색 픽셀이 있는지 표시한다. 그런 다음 이미지의 각 측면에서 가장 높은 피크를 각 레인 라인마다 하나씩 취한다. 그 피크 점을 기반으로 차선 라인 감지의 시작을 결정한다. 슬라이딩 윈도 서치 알고리즘은 차선 경계를 나타내는 두 개의 다른 곡선을 맞출 수 있도록 왼쪽 차선 경계와 오른쪽 차선 경계를 구별하는데 사용된다. 초기 위치에서 시작하여 첫 번째 창은 창 안에 있는 픽셀 수를 측정한다. 픽셀의 양이 특정 임계 값에 도달하면 다음 창을 감지된 픽셀의 평균 측면 위치로 이동한다. 픽셀이 충분하지 않으면 다음 창이 같은 측면 위치에서 시작된다. 창이 이미지의 다른 가장자리에 도달할 때까지 계속 진행하게 된다. 창에 들어가는 픽셀에는 마커가 제공된다. Fig.3의 Sliding Window Search 이미지를 보면 파란색으로 표시된 픽셀은 왼쪽 차선을 나타내고 빨간색으로 표시된 픽셀은 왼쪽 차선을 나타낸다. 왼쪽과 오른쪽 차선에 대한 픽셀 데이터를 생성하면 Curve Fitting 방법을 사용하여 곡선 차선을 추정하게 된다. Curve Fitting이란 2 차원 평면 상에서 두 변수의 관계를 나타내는 각종 흩어진 데이터를 수학적인 함수 형태로 변환시키는 방법을 말한다. 이 데이터는 연속적인 형태일 수도 있고 그렇지 않을 수도 있다. Curve Fitting의 기본원리는 이러한 데이터와 최소의 오차(error)를 갖는 함수형태를 찾는 작업으로, 최소자승법(least square method)과 유사한다. Curve Fitting에는 데이터가 존재하는 영역 내에서 최소의 오차를 갖는 함수를 찾는 보간(Interpolation) 과 데이터 영역 바깥까지 확장하여 최소의 오차를 갖는 함수를 찾는 외삽(extrapolation)이 있다.

Fig. 3 Output image for each step of the image processing pipeline

본 연구에서는 Fig. 3에서 보는 것과 같이, Curve Fitting 이미지에서 확인할 수 있듯이, 2차 다항식의 Extrapolation 함수를 사용하고 있으며 Margine 50 픽셀로 설정하였다. Fig.3의 Overlay Detected Lane 이미지는 Curve Fitting 후 도출된 결과를 Raw 이미지에 투영한 최종 결과이다.

3.2 차선 마킹 검출

본 연구에서는 운전자 앞의 차선이 어떤 Type 으로 마킹 되어 있는지 검출하는 알고리즘이 Hybrid Faster RCNN-SVM Detector와 Tracker 외에 추가로 구성되어 있다.

Fig.4을 보면 녹색으로 표시된 부분이 본 연구에서 사용하는 ROI 영역이다. 이 영역의 입력 이미지를 Crop 하여 CaffeNet의 입력 이미지로 사용하게 된다. CaffeNete End to End 방식으로 학습되며 Layer 구성은 Fig.5와 같이 구성되어 있다. CaffetNet에서는 4가지 Class로 학습된다. Fig.5에서 보는 것과 같이, 본 연구에서는 Based Model 로 ZFNet과 CaffeNet을 비교 평가 하였다. 그 결과 ZFNete 평균 약 83%의 정확도를 보였으며 CaffeNete 평균 약 91%의 정확도를 보였다. 그래서 본 연구에서는 CaffeNet을 Based Model로 선정하여 학습 모델을 생성하였다. 두 모델에 대해 성능을 비교 평가한 이유는 본 연구에서 경량화된 모델을 이용하여 임베디드 환경에서 시스템을 운영하고 성능을 개선하는데 목적을 두고 있기 때문이다. 따라서 많은 Layer를 가진 모델은 성능은 높일 수 있지만 임베디드 환경에서 사용하기는 어렵기 때문에 본 연구에서는 배제하였다.

Fig. 4 Lane making detection within defined ROI

Fig. 5 CaffeNet Architecture

Fig.6에서 보는 것과 같이, CaffeNete Alex Net의 단일 GPU 버전이며, 단일 GPU 네트워크이다. AlexNet에서 2개의 GPU를 사용한 이유는 훈련 속도를 높이기 위한 것이 아닌 메모리 문제 때문이다. CaffeNet의 구조는 5개의 컨볼루션 층 (convolution layer), 3개의 fully connected layer로 이루어져 있고, 마지막 레이어의 소프트맥스 함수를 사용하여 예측을 하게 된다. CaffeNet 과 AlexNet에서는 기존에 사용하던 시그모이드 함수나 하이퍼탄젠트 함수 대신에 ReLU 함수를 사용한다. 시그모이드, 하이퍼탄젠트 함수를 사용했을 때 보다, 학습속도가 6배 정도 빠르고, 지수연산처럼 연산량이 많은 작업이 없어서 컴퓨터 자원을 많이 절약했으며, 그레디언트가 더 잘 보존된다. 그리고 마지막 층을 제외하고는 모두 ReLU 함수를 사용했다 [4]-[5]. 활성화 함수로 ReLU 함수를 사용했을 때, 장점은 시그모이드나 하이퍼 탄젠트 함수에서와 달리 결과값이 양수에 한해서는 막히지 않았기 때문에 입력하는 데이터에 대한 정규화 과정이 꼭 필요하지 않다. 그럼에도 양수 방향으로 무한히 커질 가능성이 있어서 너무 큰 값이 주변 값들을 무시하게 할 수도 있기 때문에 정규화과정을 수행하는 것이 일반적인 관점(Generalization)에서 좋다.

Fig. 6 Accuracy comparison between CaffeNet and ZFNet

4. 실험 및 결과

4.1 정확도 측정

본 연구에서는 정확도를 판단하기 위하여 녹화된 총5152 프레임으로 구성된 영상에서 총4693 개의Object를 모두 라벨링 하였다. 그리고 영상 내에서 라벨링된 객체 중심 좌표와 라벨링 명을 사전에 명시하여 다 객체 인식 알고리즘에서 검출된 경계 박스의 중심 위치와 객체 명을 비교하여 정확도를 산출하였다. 그리고 사전에 라벨링한 정보들을 _로 명시하고 다 객체 인식 알고리즘에서 검출된 객체은 _{}로 명시하였다 [6].

즉, Fig.7에서 보는 것과 같이, 사전에 정답 (Ground Truth)Class의 이름(_)과 위치 ( _ __ _)를 정의하고 검출된 경계 박스의 Class 명(_{})을 1차적으로 비교하고, Class 명이 정답(_)과 같으면 정답의 경계 박스 내부 위치__ _ __ _에 _{}  위치를 포함하고 있는지 판단하여 포함하고 있으면 True Positive로 분류하게 된다. 분류클래스는 Traffic Sign(TS), Traffic Light(TL), Vehicle, Pedestrian으로 분류되며 Traffic Signe 51종, Traffic Lighte 3종, Vehicle과 Pedestrian 은 각각 1종으로 분류된다.

Fig. 7 Comparison of recognized class versus ground truth

본 연구에서는 _에 대한 _{}의 정밀도 (Precision), 재현율(Recall), 정확도(Accuracy), F1 Score를 평가하였다. 그리고 정밀도, 재현율, 정확도를 산출하기 위해서는 아래와 같이 4가지의 파라미터를 사용하게 된다.

True Positive (TP) : 실제 True인 정답을 True 이라고 예측 (정답)

False Positive (FP) : 실제 False인 정답을 True 라고 예측 (오답)

False Negative (FN) : 실제 True인 정답을 False 라고 예측 (오답)

True Negative (TN) : 실제 False인 정답을 False 라고 예측 (정답)

정밀도란 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율이며 재현율은 실제 True 인 것 중에서 모델이 True라고 예측한 것의 비율을 의미한다. 정확도는 True를 True라고 옳게 예측한 경우와 False를 False라고 예측한 경우를 모두 고려한 수치이다.

#

F1 Score는 Precision과 Recall의 조화평균이다. F1 Score는 데이터 label이 불균형 구조일 때, 모델의 성능을 정확하게 평가할 수 있으며, 성능을 하나의 숫자로 표현할 수 있다.

모니터링 툴은 Fig.8에서 보는 것과 같이, 본연구에서 인식하는 각 객체을 확인할 수 있는 Graphical User Interface (GUI)이다. 본 Toole Python과 Tkinter Library, OpenCV를 이용하여 제작되었으며 빨간색 점선으로 표시된 부분에서는 Hybrid Faster RCNN-SVM Detector에서 검출된객체과 검출된 객체의 정확도와 처리속도를 확인할 수 있다. 그리고 파란색 점선으로 표시된 부분에서는 곡선 차선 검출 결과와 처리 속도를 확인할 수가 있다.

Fig. 8 Graphical user interface monitoring tool used in multi-object recognition algorithm. Red dotted line shows the hybrid faster RCNN-SVM detector and tracker results and blue dotted line shows the curved lane detection results

4.2 Hybrid Faster RCNN-SVM을 이용한 곡선 차선 검출 성능 분석

본 연구에서는 Hybrid Faster RCNN-SVM Detector와 Tracker에서 검출한 경계 박스의 정보를 차선 검출 알고리즘의 입력 Parameter로 사용하여 입력 이미지와 경계 박스 위치에 도로의 색깔과 비슷한 이미지를 보정하여 객체의 색깔 때문에 차선을 검출하는 연산에 오류를 줄일 수 있도록 하였다. Fig.9과 Fig.10의 결과를 비교해 보면, 경계 박스 위치에 검정색으로 보정된 Bird View 부분의 결과를 확인할 수가 있다. 그리고 Binary Image 부분에서 차선의 형태가 Object 정보와 합쳐져서 도출되지 않는 것을 확인할 수가 있다.

Fig. 9 Lane detection result using bounding box information of hybrid faster RECNN-SVM detector and tracker

Fig. 10 Object detection, tracking and lane detection using multithreading technique

그 결과 슬라이딩 윈도와 Curved Lane Visualization 검출 창을 통해 검출 결과가 개선된 것을 확인할 수가 있다.

다 객체 인식 플랫폼은 다중작업 방식으로 동작하며 2개의 작업으로 동작하게 된다. 첫번째 Thread는 Hybrid Faster RCNN-SVM Detector와 Tracker가 동작하는데 사용되며 두번째 Thread는 곡선 차선 검출에 사용된다. Multithreading 방식을 사용하면 프로세스를 이용하여 동시에 처리하던 일을 Thread로 구현할 경우 메모리 공간과 시스템 자원 소모가 줄어들게 된다. 따라서 시스템의 처리량이 향상되고 자원 소모가 줄어 들어 자연스럽게 프로그램 응답 시간이 단축되게 된다. Fig. 10는 Multithread로 동작하는 모습이며 Detector와 Tracker의 총 연산 시간이 차선 검출에 영향을 주시 않음을 확인할 수가 있으며 차선검출 연산이 Detector와 Tracker의 연산 시간에 영향을 주지 않음을 확인할 수가 있다.

4.3 차선 마킹 검출 성능 분석

본 연구에서는 주행 차선의 차선 마킹을 분류하기 위하여 CaffeNet Network를 도입하여 이미지 분류를 수행하였다.

Fig. 11에서 보는 바와 같이, Traffic Lane 은총 4종류로 분류하였다. 각 Class의 명칭은 차선마킹을 형태에 따라 ‘SS’, ‘SD’, ‘DS’, ‘M’으로 Class를 만들고 각 Class에 대해 분류 및 학습을 진행하였다.

Fig. 11 List of lanes to recognize in driving situation

‘SD’과 ‘M’에 대한 차선 마킹 이미지가 적은 이유는 도심지 상황에서 외부 조건이 추가되지 않는 Test 이미지를 찾기가 어렵기 때문이다. Table I에서 분류 결과를 종합해 보면 약 88% 정확도를 보였으며 동일한 조건은 아니지만 Linear-parabolic Model을 사용한 기존의 연구와 비슷한 결과를 도출하였다. 하지만 Linear-parabolic Model을 사용한 연구에서는 해상도을 최소 600 x 800을 사용하였을 때 165.65ms의 처리 속도를 보이지만 본연구에서는 해상도을 1280 x 960으로 입력 이미지를 사용하였을 때 약 33ms로 처리되기 때문에 기존 연구보다 본 연구에서 진행한 CNN 기반의 End to End 방식으로 분류하면 더 빠른 속도로 분류를 진행할 수 있었다.

Table 1. Classifier performance measurement result for lane marking detection

5. 결론

본 연구에서는 자율주행차량과 지능형 자동차에서 필수적인 카메라 센서를 이용하여 차선 인식알고리즘을 개발하였다. Hybrid Faster RCNN-SVM Detector에서 검출된 경계 박스를 이용하여 기존에 연구되고 있는 곡선 차선 검출알고리즘에서 발생하는 차선 검출오류를 보정할 수 있도록 하여 성능을 개선하였다 [2]-[3]. 그리고 곡선 차선 검출알고리즘은 Hybrid Faster RCNN-SVM 검출기 및 트레커와 동작하도록 설계하여 알고리즘 전체의 프레임 속도를 약30frame/sec 안에 처리될 수 있도록 하였다.

향후 다 객체로 분류되는 객체는 보행자. 신호등, 차량, 표지판으로 분류되는 내용에 대해서 GPU의 병렬 처리와 차선 마킹 검출기의 Network 의 경량화를 통하여 Hybrid Faster RCNN-SVM 검출기및 트레커, 곡선 차선 검출 알고리즘과 한시스템에서 동작할 수 있도록 개선할 계획이다.