A Study on the License Plate Recognition Based on Direction Normalization and CNN Deep Learning

방향 정규화 및 CNN 딥러닝 기반 차량 번호판 인식에 관한 연구

Abstract

In this paper, direction normalization and CNN deep learning are used to develop a more reliable license plate recognition system. The existing license plate recognition system consists of three main modules: license plate detection module, character segmentation module, and character recognition module. The proposed system minimizes recognition error by adding a direction normalization module when a detected license plate is inclined. Experimental results show the superiority of the proposed method in comparison to the previous system.

1. 서론

지능형 교통 시스템(ITSs)은 자동차와 교통 인프라에 정보, 통신 및 센서 기술을 적용하여 운전자와 운영자에게 실시간 정보를 제공하고 교통의 효율성과 안전을 향상시키는 첨단 교통 시스템이다. 이러한시스템은 지능형 인프라 시스템과 지능형 차량 시스템의 두 그룹으로 나뉜다.

차량 번호판 번호판 인식(LPR:LicensePlateRe- cognition)은 지능형 인프라 시스템의 핵심 모듈로 사용되며 교통법 집행, 주차장 출입통제, 자동 통행료 징수, 제한된 영역의 보안 제어와 같은 많은 실제 응용 분야에서 핵심적인 역할을 한다[1]. LPR시스템에 대해 제안된 수많은 기술이 있었지만 대부분은 제한된 조건에서 작동한다. 예를 들어, 고정된 조명환경, 차량 속도, 카메라와 차량 사이의 거리, 정지된 배경 또는 LPR시스템에 가장 일반적인 제한 조건인 번호판의 모양, 크기 및 유형으로 인해 제한된다.

본 논문에서 제안된 LPR시스템은 이러한 제한을 최소화하려고 시도한다. 이 시스템은 다양한 환경 및 조명 조건에서 임의의 방향과 위치로 다양한 색상과 크기의 한국 번호판을 식별할 수 있다. 시스템의 입력은 웹캠 카메라에서 제공하는 정지 이미지 또는 이미지 시퀀스일 수 있으며 출력은 그 유형 및 영숫자 데이터를 포함하는 번호판 정보이다.

2. 기존 차량 번호판 인식 방법

차량 번호판 인식(LPR)시스템은 일반적으로 번호판 영역 검출, 문자 분할, 문자 인식 세 가지 주요모듈로 구성된다. Fig.1은 일반적인 차량 번호판 시스템의 구성도를 나타낸다.

Fig. 1. Structure of general license plate recognition system.

2.1 번호판 검출

이 단계의 목적은 입력 이미지에서 번호판을 추출하는 것이다. 기존에는 번호판 형식의 특징을 사용하는 가장자리 감지, 색상 감지, 질감 감지, 형상 또는 대칭 기반 기술(GeneralizedGymmetryTransform), 퍼지 논리 등의 방법을 사용하였다[2-5]. 가장자리감지 방법의 한계는 원치 않는 가장자리 부분에 너무 민감하기 때문에 복잡한 이미지에 거의 적용할 수 없다.색상 감지 방법은 색이 다른 다양한 번호판을 감지하는데 실패하는 동시에 조면 조건이 바뀌면 색이 변하기 때문에 자연 환경에서 높은 정확도를 제공하지 못한다. 퍼지 논리를 기반으로 하는 방법은 번호판의 색상에 민감하기 때문에 동일한 문제로 어려움을 겪으며 이 방법은 색상 감지 방법에 비해 더 긴 처리 시간이 소요된다. 형상 또는 대칭 기반 기술의 주요 단점은 시간이 많이 걸리는 것이다.이 기술의 시간 복잡성을 개선하는 방안이 제안 되었지만 이 방법도 왜곡되거나 회전된 번호판을 감지하지 못하는 단접이 있다.

또한, 이미지에서 문자들을 찾아 번호판을 검출하기도 하였다 [6].이 방법은 시간이 많이 걸리는 과정이고 이미지에 다른 글자가 존재하는 경우 오류가 발생 할 수 있다. 결론적으로, 이러한 방법들은 환경이나 자동차 번호판의 유형에 따라 변화하는 조건에 제한이 걸린다.

2.2 문자 분할

문자 분할은 검출된 번호판에서 각 문자와 숫자를 감지하고 찾아서 분할하는 것으로, 각 문자를 분할하는 가장 일반적인 방법은 번호판과 문자의 색상이 다르기 때문에 이진 이미지에서 이진값이 반대라는 사실을 활용한다[4], [7-8].이 방법은 이미지 품질에 대한 의존도가 심해 노이즈가 결과에 영향을 미칠 수 있다.

또 다른 일반적인 방법은 번호판의 이진 이미지에 연결된 픽셀에 레이블을 지정하여 문자를 분할한다 [9-10].레이블이 지정된 픽셀을 분석하고 문자와 크기 및 가로 세로 비율이 동일한 픽셀을 결정한 후 번호판 문자로 간주된다. 이 방법의 문제는 끊어지거나 결합된 문자를 추출할 수 없다는 것이다.

문자 분할하기 위해서 사전지식을 사용하는 몇 가지 방법도 있다. 이러한 방법들은 사전 지식으로 제한되기 때문에 모든 변화에 오류가 발생할 수 있다.

2.3 문자 인식

분할된 문자를 인식하기 위해 templatematching, 신경망, 서포트 벡터 머신(SVM), 유전자 알고리즘 및 마르코프 공정(HMMs)을 활용하는 알고리즘들이 개발되었다[11-16].이러한 방법은 문자의 추출된 특징을 기반으로 구현되며 다양한 유형의 분류자를 사용하여 문자를 인식한다.

그러나 원시 데이터를 사용하여 문자를 인식하는 템플릿 매칭이라는 또 다른 방법이 있다[17-18]. 이방법은 Hausdorff 거리[19], Mahalanobis 거리 및 Bayes결정기술[20]과 같은 여러 기술로 문자와 템플릿 사이의 유사성을 측정한다. 템플릿 매칭 방법은 간단하지만 중요하지 않은 픽셀도 처리하기 때문에 처리하는 데 시간이 오래 걸린다. 또한 글꼴, 두께, 회전 및 노이즈의 변화에 취약하다.

추출된 특징을 사용하는 첫 번째 방법 그룹은 눈에 띄는 특징을 추출할 수 있기 때문에 성능이 향상되며 그 결과 왜곡된 부분에 강점을 보인다. 또한 특징 수가 픽셀 수보다 적기 때문에 템플릿 매칭 방법보다 빠르다.

3. 제안하는 차량 번호판 인식 방법

본 논문에서 제안하는 차량 번호판 인식(LPR)시스템은 한국 번호판을 인식하도록 설계되었다. 본 논문에서는 딥러닝을 기반으로 하는 몇 가지 방법의 조합인 자체 알고리즘을 개발했다. 본 논문의 목적은 LPR시스템의 한계를 최소화하는 동시에 결과 정확도를 높이는 것이다. 이 시스템의 입력은 CCTV 카메라에서 제공하는 스틸 이미지 또는 이미지 시퀀스가 될 수 있으며 출력은 번호판 유형과 숫자 및 문자이다. Fig.2과 같이, 제안된 시스템의 구조는 번호판검출, 방향 정규화, 문자 분할, 문자 인식의 네 가지 모듈로 구성된다.

Fig. 2. Structure of the proposed license plate recognition system.

3.1 번호판 검출

이 모듈은 지정된 이미지의 번호판을 감지한 다음 유형을 분류한다. 입력은 컬러 또는 그레이 스케일 이미지 또는 CCTV카메라로 획득한 이미지 시퀀스로, 다양한 조명 조건과 다양한 배경을 가질 수 있다. 또한, 이 모듈은 위치가 다른 번호판도 감지할 수 있다. 이 모듈을 구현하기 위해 환경 종속성을 줄이고 정확도를 높이고자 CNN(Convolutional Neural Network)계열의 딥러닝(DeepLearning) 알고리즘인 Mask R-CNN을 사용하였다[21].

MaskR-CNN알고리즘은 R-CNN계열 R-CNN (2013), Fast R-CNN (2015) 및 Faster R-CNN (2015)의 후속으로, 가장 최근에 개발된 객체 감지 및 인스턴스 분할 프레임워크이며 이전 알고리즘들에 비해 학습 정확도가 가장 높다.MaskR-CNN은 FasterR-CNN에서 얻은 각 RoI(Regionof Interest) 에 segmentationmask를 예측하는 작은 FCN(Fully ConnectedNetwork) maskbranch가 추가된 구조이다(Fig. 3참고).

Fig. 3. Mask R-CNN architecture.

번호판 검출 모듈에 사용된 MaskR-CNN 모델의 백본(Backbone) 구조는 잔여 신경망(ResNet50)이다[22]. 그리고 이 모델은 다양한 환경과 조명조건에서의 자동차와 번호판의 1, 000개의 이미지로 훈련하여 제한조건을 최소화하여 정확도를 높이고자 했다. 훈련에 사용된 이미지들의 예시는 Fig.4와 같다. 훈련에 사용된 번호판의 유형은 19년 새로 추가된 8자리 번호판을 포함한 8가지 유형으로 구성되었다 (Table 1참고).

Fig. 4. Training datasets for license plates.

Table 1. Type of license plates.

3.2 방향 정규화

제안하는 시스템에서는 이미지에서 자동차 번호판을 검출한 후 검출된 영역의 번호판 방향을 정규화하는 과정이 추가된다. 기울어진 번호판의 경우 문자를 분류할 때 오류가 날 가능성이 있으므로 방향 정규화된 번호판 영역에서 문자 분할 모듈과 이어 문자인식 모듈을 진행한다.

방향 정규화를 적용하기 위해서 perspectivetrans- formation영상처리 기법을 사용하였다.perspective transformation은 시각에 따라 같은 물체이지만 먼 것은 작게, 가까운 것은 크게 보이는 현상이 원근감을 주는 변환이다. 번호판 검출 모듈을 통해 번호판검출 후 번호판의 각 꼭짓점의 좌표를 알면 변환행렬을 통해 좌표를 변환하여 방향을 정규화할 수 있다. Fig.5과 같이 좌표가 변환되며 이때의 변환행렬은 식 1과 같다.

Fig. 5. Changing coordinates using perspective transformation.

변환 후의 좌표 값을 임의로 설정해주면 8*8 행렬의 역행렬을 구할 수 있고 a, b, c, d, e, f, g, h8개의 변수값을 알 수 있다. Fig.6는 perspective transform을 적용한 자동차 번호판 예시이다.

Fig. 6. Images before/after applying perspective transformation.

3.3 문자 분할

본 논문에서 문자 분할 모듈을 위해 Mask R- CNN모델이 사용되었다. 이 모듈에서 MaskR-CNN 모델은 먼저 각 문자와 숫자를 감지한 다음 위치 좌표를 계산해낸다. 다음으로, 간단한 정렬 알고리즘을 사용하고 번호판 유형을 고려하여 문자와 숫자를 번호판에 있는 순서대로 정렬한다. 일부 한국어 번호판에는 개인용 형태와 같은 한 줄의 문자와 숫자를 가지고 있고, 일부는 미국 크기의 사업용과 같은 두 줄의 문자와 숫자를 가지고 있다.

이 모델의 백본 구조 또한 ResNet50이며 다양한 유형의 번호판 이미지 300개를 포함한 데이터 집합으로 훈련되었다. 아래 Fig.7은 다양한 번호판 유형에서의 문자 문할 결과들의 예시이다.

Fig. 7. Examples of character segmentation module.

3.4 문자 인식

이 모듈에서는 이전 단계에 있던 문자와 숫자를 식별한다.이 모듈에서도 역시 MaskR-CNN과 백본 구조로 ResNet50을 사용하였다.사용된 CNN 모델은 10개의 숫자(0-9)와 46개의 한국 문자 21, 000개의 이미지로 학습되어 99.7%의 정확도를 가진다. 다음 Fig.8은 제안된 CNN알고리즘을 이용한 문자 인식정확도를 도시한 그림이다.

Fig. 8.Character recognition accuracy using the proposed CNN algorithm.

4. 실험 결과

본 논문에서 제안한 차량 번호판 시스템의 성능은 테스트 및 미사용 데이터 6, 226개의 이미지 데이터 집합에 의해 평가 되었다. 딥러닝 모델의 훈련과 시스템의 테스트는 Table2에 나타난 PC환경에서 진행되었다. 실험은 입력 이미지를 순서대로 각 모듈을 통과시키고 결과를 확인하며 진행하였다. 방향 정규화 모듈의 유무에 따른 각 모듈별 정확도와 실행 시간을 측정했고 시스템의 진행 과정에서 오류가 나타난 이미지는 다음 모듈에서 제외한 후 정확도를 측정하였다(Table3참조). 방향정규화 모듈의 실행시간은 0.1초 미만으로 전체 시스템의 실행시간은 대략 0.8 초 정도로 1초 미만이다.

Table 2. Develop environment

Table 3. Comparing the accuracy of the system (whether the direction is normalized or not)

5. 결론

본 논문에서는 CNN방식의 딥러닝을 이용한 차량 번호판 인식 시스템을 제안하였다. 제안된 시스템은 4개의 모듈로 구성되었고, 방향 정규화 모듈을 제외한 3개의 모듈은 ResNet50의 백본 구조를 가진 MaskR-CNN모델에 의해 구현되었다. 방향 정규화 모듈은 영상처리 기법 중 하나인 PerspectiveTrans-formation 기법을 사용하였다.

방향 정규화를 적용한 시스템은 문자 분할 모듈 및 문자 인식 모듈 각각의 정확도가 향상되었고, 이에 따라 전체 차량 번호판 인식 시스템 정확도 역시 상승하였다.

다양한 환경에서의 이미지로 훈련된 딥러닝 모델을 활용한 시스템은 기존 방식에서의 제한조건들을 최소화 하여 높은 정확도를 보여주었다. 또한 추가적인 딥러닝 모델의 훈련을 통해 외국 번호판 등 새로운 번호판이나 새로운 환경에도 적용할 수 있다. 제안된시스템은 6,226개의 차량 번호판 이미지의 데이터 집합을 사용하여 테스트되었고, 실험 결과는 제안된 시스템이 실용화 가능한 수준의 정확도를 가지고 작동함을 보여주었다.