An Enhanced Two-Stage Vehicle License Plate Detection Scheme Using Object Segmentation for Declined License Plate Detections

Abstract

In this paper, an enhanced 2-stage vehicle license plate detection scheme using object segmentation is proposed to detect accurately the rotated license plates due to the inclined photographing angles in real-road situations. With the previous 3-stage vehicle license plate detection pipeline model, the detection accuracy is likely decreased as the license plates are declined. To resolve this problem, we propose an enhanced 2-stage model by replacing the frontal two processing stages which are for detecting vehicle area and vehicle license plate respectively in only rectangular shapes in the previous 3-stage model with one step to detect vehicle license plate in arbitrarily shapes using object segmentation. According to the comparison results in terms of the detection accuracy of the proposed 2-stage scheme and the previous 3-stage pipeline model against the rotated license plates, the accuracy of the proposed 2-stage scheme is improved by up to about 20% even though the detection process is simplified.

본 논문에서는 실제 도로에서 기울어진 촬영 각도로 인하여 회전된 차량 번호판을 정확하게 탐지하기 위하여 객체 세그먼테이션(object segmentation)을 이용하는 개선된 2-단계 차량 번호판 탐지 모델을 제안한다. 기존 연구에서 제안한 3-단계 차량 번호판 탐지 파이프라인 모델은 차량 번호판이 많이 기울어져 있을수록 탐지 정확도가 낮아지는 문제가 있다. 이를 해결하기 위해서 기존의 3-단계 모델에서 사각형 형태만으로 차량 후보 영역과 차량 번호판 후보 영역을 인식하는 전위 2개의 처리 단계 대신에 임의의 형태로 객체 탐지가 가능한 객체 세그먼테이션을 이용하는 하나의 단계로 대체함으로써 탐지 과정을 단순화하였으며 궁극적으로는 임의의 형태로 기울어진 차량 이미지에 대해서도 탐지 성능을 개선하였다. 기울어진 차량 번호판 이미지를 대상으로 실시한 차량 번호판 탐지 모델의 정확도 분석 실험 결과에 의하면 기존의 3-단계 차량 번호판 탐지 모델보다 제안된 2-단계 기법이 탐지 과정을 단순화하였음에도 최대 약 20%의 탐지 정확도를 개선할 수 있는 것으로 분석되었다.

I. Introduction

최근 지능화된 CCTV의 여러 응용에서 차량을 식별하기 위한 목적으로 차량 번호판 인식(vehicle license plate recognition) 기술이 중요하게 사용되고 있으며, 정확한 차량 번호판 인식을 위해서는 우선 차량 번호판을 정확하게 탐지(detection)하는 것이 중요하다[1-3]. 최근 컴퓨터 비전 분야에서 딥러닝이 많이 이용됨에 따라 차량 번호판탐지를 위한 연구에서도 딥러닝을 활용한 연구가 많이 시도되고 있다[4-9]. 특히, 최근에 발표된 YOLO[10] 등과 같은 실시간 객체 탐지 모델이 높은 인식 속도와 정확도를 갖는 것으로 알려져서 많은 차량 번호판 탐지 모델에서 사용되고 있다. 하지만, YOLO는 직사각형 형태의 경계박스(bounding box)로만 객체 탐지 결과를 제시하기 때문에 다양한 촬영 각도로 인해 기울어진 임의의 사각형 형태를 갖는 차량 번호판을 정확하게 탐지하는데 부족할 수 있다.

최근에 실제 도로의 상황에서 촬영된 차량 번호판을 정확하게 탐지하기 위한 목적으로 WPOD-NET(Warped Planar Object Detection Network)이 제안되었다[9]. 그러나 외국에서 연구된 [9]의 WOD-NET이 국내의 실제 도로상에서 어느 정도 정확하게 차량 번호판을 탐지할 수 있는지 확인되지 않았다. 따라서 [11]에서는 국내의 실제 도로 상황에서 직접 취득한 실제 원본 이미지와 OpenCV[12]를 이용하여 차량 번호판 인식을 어렵게 할 수 있는 도로 상황을 묘사하기 위해 다양하게 변형시킨 이미지들까지 추가하여 국내의 다양한 도로 상황을 표현하는 이미지 세트로 구성하고, 이 이미지 세트를 이용하여 국내의 다양한 도로 상황에 대한 WPOD-NET의 차량 번호판 탐지 정확도를 평가하였다. 실험 결과에 의하면 국내의 실제 도로 상황에 대해 WPOD-NET은 기울어진 촬영 각도로 인해 회전된 형태로 촬영된 차량 번호판을 높은 정확도로 인식 가능함을 보였지만 전체적으로 제안 연구에서 제시된 목표 성능보다 상대적으로 낮은 정확도를 갖는 것을 확인하였다.

이전 연구[13]에서는 WPOD-NET의 탐지 과정을 점검하여 차량 번호판 탐지를 위한 전처리과정에서 YOLO_v2[14]를 이용하여 검출된 사각형 형태의 차량 이미지를 입력받아 사용하여 넓은 탐지 후보 영역으로 인해 탐지 정확도가 낮아지는 것을 확인하고, 이를 개선하고자 차량 번호판 탐지 과정에서 불필요한 노이즈 영역을 배제하는 방법을 제안하였다. 이를 위해서 기존의 WPOD-NET 의 차량 후보 영역을 검출하기 위한 전처리과정의 결과에서 차량 번호판이 존재할 가능성이 높은 영역에만 집중할 수 있도록 발전된 실시간 객체 인식 모델인 YOLO_v3[15]을 이용하여 차량 번호판 후보 영역을 인식하고 이 후보 영역을 WPOD-NET에 입력하여 차량 번호판을 정확하게 탐지하기 위한 3-단계 파이프라인 모델을 제안하였다. 그 결과, 기존 WPOD-NET에 비해 최대 약 20% 더 높은 성능개선을 이루었지만, 차량 번호판의 회전 정도가 심해질수록 탐지 정확도가 많이 저하되는 문제가 있었다. 이는 YOLO가 객체를 직사각형 형태로만 인식할 수 있기에 차량 번호판을 탐지하는 과정에서 많이 기울어진 차량 번호판 객체를 정확하게 검출하지 못하기 때문임을 확인하였다.

YOLO는 객체 인식의 결과를 직사각형 형태의 경계 박스(bounding box)로만 제시하는 반면에 객체 세그먼테이션(object segmentation)은 검출된 객체의 형상을 따라서 임의의 형태로 검출 객체를 구분하여 제시한다[16-18]. 따라서 본 연구에서는 차량 번호판의 회전 정도가 심해질수록 탐지 정확도가 떨어지는 문제점을 개선하고자, 기존 3-단계 차량 번호판 인식 파이프라인 모델에서 직사각형 형태로만 차량과 차량 번호판 후보 영역을 인식하는 YOLO 기반의 앞 2단계 대신에 임의의 형태로 객체 탐지가 가능한 객체 세그먼테이션을 이용하여 차량 번호판 후보 영역을 정확하게 탐지하도록 처리 단계를 단순화하고 성능을 개선한 2-단계의 차량 번호판 탐지 모델을 제안한다.

본 논문의 이후 구성은 다음과 같다. 2절에서는 실제 도로 환경에서 기울어진 차량 번호판의 탐지 및 인식에 관한 이전 연구를 소개하고 객체 세그먼테이션을 간략하게 소개한다. 3절에서는 객체 세그먼테이션을 이용하여 기울어진 차량 번호판의 탐지 정확성을 증진하고 동시에 탐지 과정을 단순화시킨 개선된 2-단계 차량 번호판 탐지 모델을 설명한다. 4절에서는 제안된 2-단계 차량 번호판 탐지 모델의 성능 분석 내용을 소개한다, 마지막으로 5절에서는 결론 및 향후 연구에 관해서 기술한다.

II. Related Work

최근 실제도로 환경에서 정확한 번호판 탐지를 위하여 [9]에서 제안된 WPOD-NET는 국내의 실제 도로에서 약간 회전된 형태로 촬영된 차량 번호판을 높은 정확도로 인식할 수 있지만 국내의 실제도로에서 직접 취득한 원본 이미지에 대해서는 원래의 논문에서 제시된 정확도보다 낮은 탐지 정확도가 나왔기 때문에 국내의 도로에서 직접 적용하여 사용하기에 부족할 수 있었다.

본 연구팀의 이전 연구 [13]에서는 WPOD-NET에서 사용하는 출력 특징 맵의 한 셀이 커버하는 입력 이미지의 영역은 전체 입력 이미지의 크기에 비례하고, 한 셀로 표현되는 이미지의 영역이 넓어지면 차량 번호판 이외의 정보가 잡음으로 포함될 수 있어서 정확한 차량 번호판 탐지를 방해할 수 있음을 분석하였다. 즉, 전처리 단계에서 차량 영역을 정확하게 검출하지 못하기 때문에 WPOD-NET 에 불필요한 노이즈가 많이 포함된 탐지 후보 영역이 입력되기 때문에 결과적으로 차량 번호판 탐지의 정확도가 낮아지는 것을 분석하였다.

따라서 [13]에서는 이러한 문제를 해결하고자 YOLO_v3 으로 차량 번호판 후보 지역을 검출하고 이를 공간 집중 영역으로 이용하는 과정을 추가하여 전체적으로 3개의 처리 과정으로 차량 번호판을 탐지하는 3-단계 파이프라인 모델을 제안하였다. 또한, 제안된 3-단계 파이프라인 모델의 탐지 정확도 분석을 통해 제안된 3-단계 파이프라인 모델이 차량 번호판 GT 데이터를 기준으로 생성된 최적의 공간 집중 영역을 설정하여 사용하는 방법보다는 낮은 탐지 정확도를 갖지만 기존의 WPOD-NET보다는 전체적으로 탐지정확도를 개선할 수 있음을 확인하였다. 그러나 그러한 성능 개선의 정도가 촬영 각도가 심하게 기울어져서 취득 이미지가 많이 회전되었을 때에는 성능의 개선 정도가 크지 않았다. 그 이유는 YOLO_v3이 많이 회전된 이미지로부터 차량 번호판을 정확하게 탐지하지 못하는 경우가 증가하고, 이런 경우에는 기존 WPOD-NET의 차량 번호판 탐지와 같은 과정으로 차량 번호판을 탐지하기 때문이다.

본 연구에서는 기존 [13]에서 사용했던 직사각형 형태의 경계 박스로 객체 인식의 결과를 표시했던 YOLO 대신에 기울어진 임의의 형태의 차량 번호판까지도 잘 탐지하여 후보 지역으로 사용할 수 있도록 객체 세스먼테이션(object segmentation) 방법을 이용하고자 한다. 객체 세그먼테이션을 위해서 [16]에서는 U-NET이라 불리는 이미지의 전반적인 컨택스트(context) 정보를 얻기 위한 네트워크와 정확한 위치 정보를 얻기 위한 과정(localization)을 담은 네트워크를 대칭 형태로 구성한 모델을 제안하였다. 이를 이용하면 입력된 이미지로부터 차량 번호판 후보 영역을 직사각형 형태의 경계박스가 아닌 객체의 외곽선으로 객체를 검출함으로써 좀 더 세밀하게 객체를 탐지하고 제시할 수 있으며 이는 이후 단계에서 정확한 차량 번호판 탐지를 가능하도록 지원할 수 있다. 따라서 기존 [13]의 3-단계 차량 번호판 탐지 모델의 정확도 개선을 위해서 YOLO를 이용하여 차량 탐지와 번호판 후보 영역 탐지를 위한 2개의 단계를 임의의 형태로 객체 탐지가 가능한 객체 세그먼테이션을 이용하여 하나의 단계로 대체하여 전체적으로 2-단계로 구성된 차량 번호판 탐지 모델을 제안한다.

III. An Enhanced Two-Stage Vehicle License Plate Detection Scheme Using Object Segmentation

본 절에서는 기존 3-단계 파이프라인 모델[13]의 차량 번호판 탐지 과정을 상세 분석하고, 직사각형 형태의 경계 박스보다 더 세밀하게 차량 번호판 후보 영역 탐지가 가능한 객체 세그먼테이션을 이용하여 차량 번호판 후보 영역을 찾도록 함으로써 탐지 정확도를 개선하고 탐지 과정을 단순화한 차량 번호판 탐지 모델을 제안한다.

3.1 Detailed analysis of the previous 3-stage vehicle license plate detection pipeline model

먼저, 기존의 3-단계 차량 번호판 탐지 파이프라인 모델의 각 처리 과정에 대해 상세 분석을 진행하였다. 이전연구 [11]에서 사용한 원본 이미지 세트(19, 240장)와 기울어진 촬영각도에 의해 회전된 차량 번호판을 묘사한 회전 이미지 세트 4개(반시계방향 10도와 20도, 시계방향 10도와 20도)에 대해 각 과정별로 탐지 정확도를 분석하였다. 또한, [11]에서와 같은 방법으로 IoU(Intersection over Union)에 따라 분류를 진행하여 IoU가 0.5 이상일 경우를 정답(‘Correct’)으로 분류하였고 IoU가 0.5 미만이면 틀린 것(‘Wrong’)으로 분류하였으며, 0일 경우 못 찾은 것(‘No’)으로 분류하였다.

[표 1]의 상세 분석 결과를 보면, 회전의 정도가 심해질수록 단계 1(‘Step 1’)에서 YOLO_v2를 이용하여 차량의 후보 영역을 찾는 과정에서 탐지되는 차량의 수가 적어지는 것을 확인할 수 있다. 원본(original) 이미지 세트로부터 차량의 후보 영역이 탐지되는 경우는 전체 입력의 94.88%(89.60%부터 아래 방향으로 1.61%까지의 합) 이고시계방향(clockwise) 20도 회전한 이미지 세트에 대해서는 52.50%로 약 42% 정도 탐지 정확도가 떨어진 것을 확인할 수 있었다. 또한, 단계 2(‘Step 2’)에서 YOLO_v3를이용하여 차량 번호판 후보 영역을 탐지하는 과정에서의 정확도 또한 기존 원본 이미지 세트에 비해 많이 떨어지는 것을 확인할 수 있다. [표 1]에서 단계 2에서 정확(correct)하게 차량 번호판 후보 영역이 탐지된 경우의 합은 93.77%(= 89.60% + 0.43% + 0.39% + 3.02% + 0.31% + 0.02%)이고, 반시계 방향 20도 회전한 이미지 세트에 대해서는 0.75%로 약 93% 정도까지 떨어진 것을 확인할 수 있다. 따라서 번호판 탐지 과정에 앞서 전처리 과정인 두 단계에 대해 기울어진 촬영 각도로 인해 발생할 수 있는 회전된 번호판 이미지가 번호판 탐지 단계뿐만 아니라 차량 탐지 단계에도 많은 영향을 미치므로 차량 번호판 탐지 전처리 과정에 대해 회전 정도에 구애받지 않는 모델로의 개선이 필요함을 확인하였다. 이에 본 연구에서는 직사각형 형태가 아닌 임의의 형태의 객체 탐지가 가능한 객체 세그먼테이션을 이용하여 기존 3-단계 파이프라인 모델의 차량 탐지와 번호판 후보 영역 선정하는 과정을 대체하기 위해 추가적인 비교를 진행하였다.

Table 1. Accuracy of each stage of the previous 3-stage pipeline detection model

3.2 Model comparison for detecting license plate candidate areas

차량 번호판의 후보 영역에 대한 검출 성능을 비교하기 위해서 기존 연구 [13]에서 사용한 실시간 객체 탐지 모델인 YOLO_v3와 U-NET 기반으로 임의의 형태의 객체 탐지가 가능한 객체 세그먼테이션을 적용한 모델에 대해서 차량 번호판 탐지의 정확도를 비교하였다. 동등하게 실제 국내 도로 CCTV에서 취득한 19, 240장의 차량 이미지 세트와 해당 이미지를 OpenCV를 이용하여 시계방향, 반시계방향으로 회전시킨 이미지 세트를 토대로 비교를 진행하였으며, 기존 연구 [11]에서 사용한 방법과 같은 방법으로 원본과 회전 테스트 이미지 세트에 대해 IoU를 비교하여 0.5 이상인 것을 정확하게 탐지한 것으로 분류하였다.

[표 2]의 결과를 보면, 객체 세그먼테이션을 적용한 모델이 YOLO_v2로 차량을 찾고 YOLO_v3으로 번호판 후보 영역을 찾았을 때보다 최대 약 79%의 더 높은 탐지 정확도를 보여줌으로써 더 정확한 번호판 탐지 후보 영역을 선정할 수 있음을 보여주었다.

Table 2. Model comparison for selection of license plate detection candidate areas

3.3 An enhanced 2-stage vehicle license plate detection model

3.2절에서 설명한 차량 번호판 후보 영역을 탐지하기 위한 객체 탐지 모델의 정확도 비교 결과에 따라 U-NET 기반의 객체 세그먼테이션을 사용하여 차량 번호판이 존재할만한 영역에만 집중하여 탐지 후보 영역으로 사용하도록 하여 전체적으로 [그림 1]과 같은 2-단계의 차량 번호판 탐지 모델을 구성하였다.

Fig. 1. Internal process of vehicle license plate detection model using object segmentation

각 과정을 살펴보면, 먼저 입력 이미지에 대해 번호판탐지와 관련이 없는 영역을 배제하고 공간적 집중 영역으로 삼기 위하여 첫 번째 단계로써 U-NET 기반의 객체 세그먼테이션을 이용하여 차량 번호판 후보 영역을 탐지한다. 첫 번째 단계에서 차량 번호판 후보 영역을 탐지한 경우, [9]에서 사용한 데이터 추가(data augmentation)를위한 이미지 크기인 208x208로 발견한 차량 번호판 영역을 잘라내어 공간적 집중 영역으로 사용하고, 만일 차량 번호판을 찾지 못한 경우에는 전체 입력 이미지를 사용한다. 다음 단계에서는 입력받은 공간적 집중 영역 이미지 또는 전체 입력 이미지에 대해 WPOD-NET을 이용하여 차량 번호판 탐지를 진행한다.

IV. Experiments

본 절에서는 U-NET 기반의 객체 세그먼테이션을 이용하여 차량 번호판 후보 영역을 탐지하고 공간 집중 영역으로 삼은 2-단계의 모델이 기존의 YOLO_v3를 이용하여 차량 번호판 후보 영역을 탐지한 3-단계의 파이프라인 모델보다 탐지 정확도를 어느 정도 개선하였는지 확인하기 위한 실험을 진행한다. 실험은 Intel i9-9980XE CPU와 NVIDIA Titan RTX * 2 GPU를 갖은 컴퓨터를 이용하여 진행하였으며 [13]에서 사용한 동일한 이미지 세트를 이용하였으며 기존 연구에서와 같은 기준으로 IoU가 0.5를 넘는 것을 정확하게 탐지한 것으로 분류하였다.

[그림 2]의 그래프는 차량 번호판 탐지 방법별 탐지 정확도를 비교한 결과를 보여준다. 결과 그래프와 같이, 제안한 U-NET 기반의 객체 세그먼테이션을 이용한 2-단계의 차량 번호판 탐지 모델이 차량 번호판 GT 데이터를 이용하는 경우만큼 완벽하게 번호판 후보 영역을 선정할 수없으므로 그보다는 정확도가 낮지만, 기존의 3-단계 파이프라인 모델과 비교하여 보였을 때 평균적으로 약 7%의 성능이 개선됨을 확인하였다. 특히, 기울어진 촬영 각도로 인해 회전된 차량 번호판을 묘사한 이미지 세트에 대해서 최대 약 20%까지의 많은 성능 개선을 이룬 것을 확인할 수 있다. 하지만, 회전된 차량의 번호판을 묘사한 이미지 세트에 대해 이러한 성능 개선에도 불구하고 실제 도로에서 취득한 원본 이미지 세트에 대해서는 탐지 정확도가 약 2% 더 낮아지는 것도 확인할 수 있다. 따라서, 원본 이미지 세트가 훼손되지 않으면서 회전 이미지 세트에 대한 성능을 개선할 수 있도록 번호판 후보 영역을 선정하는 연구가 더 이루어져야 함을 확인하였다.

Fig. 2. Accuracy comparison graph of vehicle license plate detection schemes

V. Conclusions

본 연구에서는 기존의 3-단계 차량 번호판 탐지 파이프라인 모델에 대해 각 과정별 탐지 정확도 분석을 통해 기울어진 촬영 각도에 의해 이미지가 회전될수록 차량 탐지와 차량 번호판의 탐지 정확도가 저하되는 문제를 확인하고 이를 개선하고자, 입력된 이미지로부터 직사각형 형태가 아닌 임의 형태로 탐지가 가능한 객체 세그먼테이션(object segmentation)을 적용하여 차량 번호판 후보 영역을 찾고 공간 집중 영역으로 이용하여 차량 번호판 탐지를 진행하는 2-단계의 차량 번호판 탐지 모델을 제안하였다. 그 과정에서 U-NET 기반의 객체 세그먼테이션이 기존 YOLO_v2로 차량을 찾고 YOLO_v3를 이용하여 차량 번호판 탐지 후보 영역을 선정하는 방법을 대체할 수 있는지 판별하기 위하여 탐지 정확도를 비교하였고, 최대 약 79%의 성능 개선을 보임으로써, U-NET 기반의 객체 세그먼테이션을 차량 번호판 탐지 후보 영역을 찾는데 적용하여 차량 번호판 탐지를 위한 모델을 구성하였다. 이를 통해, 기존의 복잡하던 3-단계의 탐지 과정을 2-단계로 줄임으로써 탐지 과정을 단순화하였을 뿐만 아니라 이렇게 구성한 2-단계의 제안 모델이 기존의 3-단계의 파이프라인 모델보다 최대 성능이 약 20%까지 개선할 수 있음을 분석하였다.

그러나, 제안된 기법이 기존의 3-단계의 파이프라인 모델보다 실제 도로에서 취득한 원본 이미지 세트에 대한 탐지 정확도가 약 2% 정도 낮아지는 문제가 있어 이에 대한 개선연구가 필요하다. 또한, 이와 더불어 구성된 2-단계의 모델에 대해서 차량 번호판 탐지를 위한 전체 과정을 하나로 구성하는 연구를 진행할 예정이다.