I. Introduction
차량수요가 증가하고 통신 인프라가 확장됨에 따라, 첨단기술을 주차장 관리체계에 적용하여 주차장 관리자 및 사용자에게 주차장 안내 정보를 제공하기 위한 주차장 정보 제공 서비스에 대한 다양한 연구가 진행되었고, 이미 현장에 널리 보급되어 활용되고 있다.
이러한 주차장 정보 제공 서비스는 진입/진출하는 차량을 감지/인식한 후, 검출된 인식데이터를 기반으로 이를 가공 및 분석하여 잔여주차면, 주차 가능한 차량 수, 입차 대수, 출차 대수, 주차요금 정산, 장애인 주차면 주차여부 등의 다양한 부가정보(주차장 안내 정보)를 생성하고, 생성된 주차장 안내 정보를 외부 어플리케이션 및 웹서비스 등으로 제공하여 주차장 이용 서비스의 품질 및 편의성을 높일 수 있는 장점으로 인해 그 보급률이 기하급수적으로 증가하고 있는 추세이다.
즉, 주차장 정보 제공 서비스에 있어서 입차 및 출차 차량에 대한 검지 정보는 다양한 부가데이터를 가공 및 생성하기 위한 기본/필수적인 데이터로 활용되기 때문에 입차및 출차 차량을 얼마나 정확하게 감지하는지가 해당 서비스의 품질을 좌우하는 중요한 역할을 갖게 된다.
그러나 주차장 현장에서는 출차 차량에 대한 입차 정보(번호)가 검색되지 않거나 입차 시 인식된 차량의 출차가 인식되지 않거나 또는 차량이 아닌 객체(보행자 등)를 차량으로 오인식하거나 진입하려다가 후진, 재진입 재후진 하는 등의 각종 돌발상황 등의 오류가 비일비재하게 발생하고 있다[1].
이에 따라 종래의 입출차 카운팅 서비스는 전술하였던 오류들로 인해 실제 잔여주차면 대수와 검출된 잔여주차면 대수의 오차율을 높을 뿐만 아니라 발생된 오류를 별도로 보정하지 않은 상태로 카운팅에 누적하여 활용함에 따라 실제 현장에서는 잔여 주차면 정보를 제공할 수 없는 수준의 검지율로 서비스가 운영되고 있는 실정이다.
예를 들어, A 지자체가 발주한 스마트 주차장의 실제 현장의 주차장 입출차 차량 카운터의 정확도[2]는 95%를 목표로 사업이 수행되었으나 실제로는 95%의 정확성을 확보하지 못하였으며 만약 95%가 확보되었다고 하더라도 100대 진입 시 5대 정도의 오류인 경우, 이러한 오류를 보정하지 않고 누적된 상태로 기일이 경과하게 되면 그 오차율은 더욱 증가하게 된다.
한편, 최근 들어 대부분의 주차장에는 장애인 주차면수를 구비함에 따라 주차장 정보 안내 시스템에서는 장애인 잔여주차면 정보를 포함하는 주차장 안내 정보를 제공하고 있다. 이러한 장애인 잔여주차면의 차량 주차여부를 감지하기 위한 수단으로는 카메라가 널리 사용되고 있고, 이러한 종래의 영상분석방식은 장애물, 빛 반사 및 굴절, 낮은 조도, 우천, 강설(눈으로 인해 마크 인식 불능) 등의 다양한 이유로 인해 인식률이 떨어지는 문제점을 갖는다.
본 논문에서 제안하는 시스템은 이러한 문제를 해결하기 위한 것으로 주차장의 진입/진출로에 32CH의 LIDAR(Light Detection And Ranging) 스캐너를 설치하여 차량 감지 및 입출차 대수 카운팅이 이루어지도록 구성함으로써 차량 감지의 정확성 및 정밀도를 높일 수 있고 이에 따라 외부로 제공되는 잔여 주차면 정보와 실제 현장의 잔여 주차면 상태의 오차율을 획기적으로 절감시켜 서비스 편의성 및 신뢰도를 높일 수 있으며, 부정확한 정보 제공으로 인해 민원이 빈번하며 운전자의 불필요한 시간 낭비를 유발하는 종래의 문제점[3]을 획기적으로 해결할 수 있다. 또한 LIDAR 스캐너가 기 설정된 주기(T) 마다 감도 최적값에 따라 운영되도록 구성됨으로써 차량객체가 아닌 노이즈로 인한 오류 및 에러를 사전에 효과적으로 방지하여 차량 감지율을 더욱 높일 수 있게 되었다.
LIDAR에서 차량을 일차적으로 검지한 다음 trigger를 발생시켜 차량번호 검지 시스템을 구동시켜서 정확하게 차량번호를 추출한다. 이 추출을 위해 딥러닝 알고리즘을 이용하고 또한 장애인 주차면의 주차여부를 판별함에 따라 분석 정확성 및 신뢰도를 높여 외부로 제공되는 장애인 잔여주차면 정보의 정확성 및 신뢰도를 높일 수 있다.
이 모든 기능을 종합해 볼 때 LIDAR 스캐너에 의하여 32CH의 데이터 수집이 가능함에 따라 프로파일 분석에 활용될 백-데이터가 충분히 확보되어 차량 감지의 정확성을 더욱 개선시킬 수 있는 스마트 주차 관리 및 안내 시스템을 개발한다.
자동차 번호 인식 시스템을 구현한 주요 기술로는 딥러닝 알고리즘으로 합성곱 신경망(CNN, Convolution Neural Network) 기반의 YOLO 모델[4][5]을 적용시킴으로써 객체 인식률을 더욱 높일 수 있는 스마트 주차장 안내 시스템을 제공한다. 딥러닝 알고리즘의 학습 시, 인식대상을 종래에 80종류에서 주차장에서 자주 볼 수 있는 4 종류로 제한하여 학습이 이루어지도록 구성됨으로써 객체 인식률을 더욱 개선하였다.
본 논문의 구성은 다음과 같다. 1장의 서론에 이어 2장에서는 본 논문에서 제안하는 관련 연구로써 자동차 검지를 위한 LIDAR 센싱 기술, 자동차 번호 인식을 위한 딥러닝 알고리즘 기술에 대한 소개 등 관련 연구를 살펴본다. 3장에서는 LIDAR 센서를 통한 차량 검지 체계, 검지된 후 실시간으로 차량번호를 인식하는 딥러닝 체계와 이 두 가지 기능의 연동에 대한 연구를 진행한다. 4장에서는 소개한 모든 기술을 통합하여 스마트 주차관제 시스템을 구현하고 이 스마트 주차관제 시스템이 가지는 여러 가지 기능에 대해 소개한다. 5장에서는 임의 차량 3,000대를 이용하여 차량 검지 및 인식 기능을 테스트하여 성능을 평가하고 6장에서 결론을 도출하고 글을 맺는다.
II. Related Works
1. LIDAR Sensing Technology for Vehicle Detection
주차장 관리의 핵심은 주차장을 입출차 하는 차량의 입출차 카운트가 결국은 0이 되어야 한다. 기계적인 특성상 약간의 오차가 있다고 하더라도 대국민에게 정확한 주차 가능 대수 안내, 주차장 수입 등을 고려해 볼 때 3% ∼ 5%만 오차가 발생하더라도 주차상황 안내 정보 자체의 신뢰성에 문제가 생기게 된다.
또한, 어떤 차량 들은 주차를 하려다가 후진하여 다시 빠져나간다든지 출차를 하려다가 후진하여 다시 원위치 한다든지 하는 경우가 비일비재하다. 이러한 경우 현재의 기존 주차장 시스템에서는 입차로 카운트 된다든지 출차로 카운트 된다든지 하여 입출차 차량의 카운트가 틀어지기 시작한다. 즉, 주차장 운영자 입장에서는 전부 예외상황으로써 입차와 출차를 정확하게 맞추는 것이 불가능하게 된다.
후진, 입출구 사고 등의 예외 상황을 포함하여 주차장의 입차와 출차를 정확하게 검지하기 위해서는 기존의 카메라 인식 시스템의 한계를 극복할 수 있는 새로운 장비가 필요하다. 본 논문에서는 LIDAR 센서를 이용하여 이를 해결하고자 한다.
LIDAR 스캐너를 살펴보면 LIDAR 스캐너는 해당 주차장의 진입로 및 진출로에 설치되며, 진입로 및 진출로를 향하여 LIDAR 신호를 송출한 후, 반사되는 신호를 수신 받는다. 이때 LIDAR 스캐너는 각면을 형성하는 폴리건 미러와 폴리건 미러를 회전시키는 구동부, 회전하는 폴리건 미러를 향하여 LIDAR 신호를 출사한 후 반사되는 신호를 수신받는 LIDAR 센서로 구성됨으로써 32CH에 대한 LIDAR 신호에 대한 분석이 가능하여 다양한 수집데이터를 기반으로 차량 객체 감지 및 보행자 제거를 효과적으로 수행할 수 있게 하는 장치이다.
Fig. 1. LIDAR system basic configuration and operation principle
한편, LIDAR 신호는 외부 대상체로 광신호를 조사한 후, 수신되는 광신호의 시간차 또는 위상차를 검출하여 거리를 측정하며, 레이더와 비교하여 공간 분해능 및 해상도가 우수한 장점으로 인해 종래에 항공 및 위성 분야 등 특수 분야에 한정 사용되었으나, 최근에는 감시정찰 등의 민수 및 국반 분야 로봇, 무인 수상함, 드론 등의 항공기, 산업용 보안 및 안전 분야 등 다양한 분야로 확대 적용되고 있다[6][7].
이러한 LIDAR 신호는 x, y, z의 3차원 점군(Point Cloud)을 활용하여 실시간으로 입체 영상을 모델링 할 수있기 때문에 감지된 객체의 궤적을 추적 및 검출하기 위한용도로 널리 사용되고 있다[8].
이와 같이 구성되는 LIDAR 스캐너는 송수신된 LIDAR 신호 정보를 스캐너 제어기로 출력한다. 스캐너 제어기는 LIDAR 스캐너에 의해 송수신된 32CH들 각각의 LIDAR 신호를 분석하여 차량을 감지함과 동시에 감지차량의 입출차를 기반으로 입출차를 카운팅 하여 잔여차량 대수를 산출한다. 즉, 본 시스템의 스캐너 제어기는 32개 CH의 LIDAR 신호를 통해 객체 감지가 이루어지기 때문에 프로파일 수집양이 증가하여 차량 객체 감지 및 기타 객체(보행자 등) 필터링의 정확성을 높일 수 있게 된다.
Fig. 2. Signals detected by the LIDAR sensor
LIDAR를 이용한 연구는 주로 자율주행자동차, 자율주행로봇, 부유체측정, 항공기, 위성, 지구환경측정 등 분야에서 많이 활용되고 있다. 이 기술들은 전부 상당히 고정밀의 정확도를 요하는 분야들로써 특수목적용으로 활용되고 있다. 본 논문에서는 이 정밀 기술을 이용하여 주차장의 입출차 카운트에 활용함으로써 보다 정확하고 정밀하게 운영하여 보편적 기술로 활용하고자 한다[9].
2. Comparison of Performance of Conventional Detectors and LIDAR Detectors
기존의 주차장 차량 입·출차 검지기로는 지자기 검지 방식을 사용하여 구축한 사례가 대부분이며, 대체로 국내 공공 주자창에서는 영상방식을 기본으로 한 딥러닝 검지기를 사용하였으나 지자기 검지 방식 및 딥러닝 검지 방식의 낮은 검지율로 인해 실시간의 정확한 주차면 제공 서비스의 신뢰성을 확보하지 못하고 있다.
본 논문에서는 대부분의 자율주행차량의 주요 검지기로 활용 중인 LIDAR 검지 기술을 주차장에 도입ㆍ응용하고 검지율 100%의 주차정보 입출차 카운터를 고도화(진입후후진 처리, 진출 후 후진 처리와 같은 돌발상황, 기상악화 등 악천후 조건 처리 등)하여 개발하는 것을 목표로 한다.
본 논문을 통해서 구축하게 되는 LIDAR 센서 기반 검지기와 기존 검지기와의 성능을 비교하면 Table 1과 같다 [10].
Table 1. Comparison of major detection technologies for system development
3. Deep Learning Algorithm for Car Number Recognition
최근의 영상식 카메라의 대부분은 딥러닝을 이용한 차량번호 인식 알고리즘을 이용하여 개발되어 있다. LIDAR 에서 검지된 차량은 trigger를 발생시켜 영상식 카메라가 차량번호를 찍게 하고 이와 동시에 딥러닝 알고리즘이 작동하여 보다 정확하게 차량번호를 추출한다.
딥러닝은 인간의 정보전달 방식과 유사한 방식으로 노드 상호관계를 정의하고 수많은 필터를 통해 특징들을 추출해서 분류한 다음 추론한 오차를 근거로 가중치를 변경하며 최적의 가중치를 가지는 모델을 생성하는 학습 방법 중 하나이다. 기존 영상에서 특징적인 물체의 노드 간 상호관계와 가중치를 딥러닝 모델로 저장하여 새로운 영상 분석에 활용한다.
CNN (Convolutional Neural Network)은 영상 인식에서 사용되는 대표적인 방법으로 촬영된 이미지를 매트릭스로 수치화 하여 데이터를 분석한다. Fig. 3에서 C1 ∼ C5까지는 데이터 처리를 위해 분할된 이미지 영역의 3차원 매트릭스를 분석하고, FC6, FC7에서는 이를 2차원으로 요약/정리하여 활용하며 이렇게 정리된 매트릭스는 딥러닝이나 영상분석에 사용된다[11].
Fig. 3. The structure of CNN
인공지능 모델에서 차량번호 추출의 오류를 줄이기 위해서 특수 목적을 가진 데이터셋이 필요하며 이를 이용한 인공지능 모델 개선을 추가학습하게 되는데 이를 미세조정 (Fine Tuning)이라 한다. 특수목적성 데이터셋을 사용한 예로 미국 알바니 대학교(University of Albany)에서 차량의 촬영 환경 (날씨, 시간 등)에 따라 미세 학습 시 다양한 환경에서의 차량인식 정확도를 높인 사례를 찾아볼 수 있으며 이를 응용하여 본 논문에서는 YOLO(You Only Look Once) v4를 도입하여 구현하였다. YOLO는 각 이미지를 S × S개의 그리드로 분할하고 그리드의 신뢰도를 계산하여 경계상자의 위치를 조정함으로써 객체 인식율이 뛰어날 뿐만 아니라 실시간 처리가 가능한 장점을 갖는다[12][13].
Fig. 4. Introduction of YOLO v4 for fine learning
4. Smart Parking Lot Development Technology
국내에서 개발 운영되고 있는 스마트 주차장은 대부분 영상식 카메라의 인식율에 따라 성능이 결정된다. 대체로 차량 진입 시의 다양한 자세에서 약 95% 이상의 인식율을 보이고 있는 실정이다. 또한 여유 주차상황을 안내하기 위해 지리정보 시스템을 연동하거나 교통정보 연동을 하기도 한다.
A 시스템의 경우 운전자의 요청에 따라 현재 위치, 현재 위치에 인접한 인접 주차장들 및 각 인접 주차장의 가용 주차공간 수량(N) 정보를 신속하고 정확하게 운전자에게 제공하며, 운전자로부터 최적 주차장 요청 시 운전자가 중요시하는 카테고리 목록에 따라 인접 주차장들 중 최적주차장을 검출하여 최적 주차장 정보를 운전자에게 제공하고 있다. 그러나 이들 주차 관제 시스템은 입출차 차량의 감지율과 장애인 주차면의 주차 여부 감지율을 높이기 위한 별도의 기술 및 방법이 전혀 고려되지 않았기 때문에 생성된 주차장 안내 정보와 실제 주차장의 정보의 오차율이 증가하는 문제점을 가지고 있다.
이상의 관련 연구에서 살펴본 바와 같이 개발하고자 하는 주차관리 시스템은 LIDAR 검지를 기반으로 하여 차량을 검지하고, 검지한 후 즉시 딥러닝 기술을 이용하여 차량번호를 추출함으로써 검지율 100%를 구현한다. 입차와 출차에 대해 정확한 검지를 기반으로 정보에 대한 신뢰성을 향상 시키고 주차 시스템 운영의 측면에서 진출입의 오류를 없앰으로써 정확한 주차현황 정보를 제공하고자 한다.
Table 2. The excellence of the proposal system
III. System Detailed Study
1. Development of Vehicle Detection System Through LIDAR Sensor
스캐너 제어기는 진입차량 감지 시 입차 카메라에 의해 획득된 영상을 분석하여 진입차량의 번호를 인식한 후, 인식된 차량번호 및 진입시간을 매칭시켜 입차정보를 생성하며, 진출 차량 감지 시 출차 카메라에 의해 획득된 영상을 분석하여 진출 차량의 번호를 인식한 후, 인식된 차량번호 및 진출 시간을 매칭시켜 출차 정보를 생성한다.
또한 스캐너 제어기는 생성된 입차정보, 출차정보 및 잔여차량 대수(N) 정보를 주차관제용 로컬서버로 전송한다.
Fig. 5는 주차시스템구조 (a)와 이 중에 스캐너 제어기 블록도(b)를 보여주고 있다. 스캐너제어기는 Fig. 5의 (b)에 도시된 바와 같이, 제어모듈과 통신인터페이스모듈, 메모리, LIDAR스캐너감도제어모듈, LIDAR신호분석모듈, 스펙 트로그램모델링모듈, 프로파일분석모듈, 차량객체검출모 듈, 입차/출차판별모듈, 입차/출차대수카운팅모듈, 입출차 정보생성모듈, LIDAR스캐너감도최적화모듈로 이루어진다.
Fig. 5. The structure of smart parking system and scanner controller
제어모듈은 스캐너제어기의 O.S(Operating System)에 해당하며 제어대상 들의 동작을 제어한다. 또한 제어모듈은 통신 인터페이스모듈을 통해 LIDAR스캐너로부터 전송받은 송수신된 LIDAR신호 정보를 LIDAR신호분석모듈로 입력한다.
제어모듈의 주요기능을 살펴 보면 첫째, 차량객체검출모듈에 의해 차량이 감지되면, 감지데이터가 주차관제용 로컬서버로 전송됨과 동시에 해당 주차장의 입출차에 관련된 부속장비(카메라, 차단바 등)들로 전송되도록 통신 인터페이스모듈을 제어함으로써 차량 감지 이후 과정이 수행되도록 한다.
둘째, 입출차정보생성모듈에 의해 입출차 정보가 생성되면, 생성된 입출차 정보가 주차관제용 로컬서버로 전송되도록 통신인터페이스모듈을 제어한다.
셋째, 제어모듈은 스펙트로그램모델링모듈에 의해 스펙트로그램이 생성되면, 생성된 스펙트로그램을 메모리에 저장한다.
그리고 이는 기 설정된 주기(T) 마다 LIDAR 스캐너감도최적화모듈을 동작시킨다.
메모리에는 스펙트로그램모델링모듈에 의해 생성된 스펙트로그램과 프로파일분석모듈에 의해 검출된 분석데이터와 차량객체검출모듈에 의해 검출된 감지데이터, 입출차정보 생성모듈에 의해 생성된 입출차 정보가 저장된다.
메모리에는 기 설정된 기준 테이블이 저장된다. 이때 기준 테이블은 노이즈 발생비율의 범위에 따라 감도 최적값이 매칭된 데이터를 의미하며, 감도 최적값은 노이즈 발생비율의 범위가 클수록 낮은 크기로 설정된다.
통신인터페이스모듈은 LIDAR스캐너 또는 주차관제용 로컬서버와 데이터를 송수신한다.
LIDAR스캐너감도제어모듈은 LIDAR 신호를 송출 및 수신 받는 LIDAR스캐너의 LIDAR센서(LIDAR 발광소자 및 LIDAR 수광소자)로부터 송출되는 LIDAR 신호의 감도(S’, sensitivity)를 제어한다.
또한, LIDAR스캐너감도제어모듈은 기 설정된 주기(T) 마다 LIDAR 스캐너 감도 최적화모듈에 의해 검출된 감도최적값에 따라 LIDAR 스캐너의 감도를 제어한다.
LIDAR신호분석모듈은 LIDAR 스캐너의 LIDAR 센서에의해 송수신된 각 채널별 LIDAR 신호를 분석한다.
스펙트로그램모델링모듈은 LIDAR신호분석모듈에 의해 검출된 분석데이터를 활용하여, 각 채널별로 스펙트로그램을 생성한다. 이때 스펙트로그램(Spectrogram)은 통과차량의 스펙트럼을 시각화하여 표현하는 기법이고, 이러한 스펙트로그램은 신호 분석에 있어서 통상적으로 사용되는 기술이다.
프로파일분석모듈은 스펙트로그램모델링모듈에 의해 생성된 스펙트로그램의 프로파일들을 검출 및 분석한다.
차량객체검출모듈은 프로파일분석모듈에서 검출된 프로파일들을 기 설정된 필터링 조건들과 비교하여, 차량객체를 검출한다.
예를 들어 필터링 조건은 X축 및 Y축 상에서 프로파일의 연속되는 구간의 길이를 제한하는 조건이거나 또는 차량의 양측부가 직선 형태임을 감안하여, 프로파일의 양측의 기울기를 제한하는 조건 등으로 이루어질 수 있다.
차량객체검출모듈은 스펙트로그램의 프로파일들 중 필터링 조건을 모두 통과한 프로파일을 차량 프로파일이라고 결정한다.
입차/출차판별모듈은 차량객체검출모듈에 의해 차량이 검출될 때 실행되며, 감지차량의 이동방향을 활용하여, 감지차량이 입차인지 출차인지를 판별한다.
입차/출차대수카운팅모듈은 입차/출차판별모듈에 의해 감지차량이 입차 차량이면 입차 대수(N1)를 카운팅 하며, 감지차량이 출차 차량이면 출차 대수(N2)를 카운팅 한다.
입출차 정보 생성모듈은 감지차량의 입차/출차 내용, 감지시간, 입차/출차 대수(N1 또는 N2)를 매칭시켜 입출차 정보를 생성한다.
Fig. 6은 LIDAR스캐너감도최적화모듈을 나타내는 블록도이다. 이 모듈은 기 설정된 주기(T) 마다 제어모듈의 제어에 따라 실행된다.
Fig. 6. LIDAR Scanner Sensitivity Optimization Module (Part of Figure 5(b))
LIDAR스캐너감도최적화모듈은 Fig. 6에 도시된 바와 같이 데이터수집모듈과 샘플스펙트로그램추출모듈, 프로 파일분석모듈, 노이즈프로파일검출모듈, 노이즈발생비율 (R)산출모듈, 감도최적값산출모듈로 이루어진다.
데이터 수집모듈은 주기(T) 동안 메모리에 저장된 스펙트로그램들을 수집한다.
샘플스펙트로그램추출모듈은 데이터수집모듈에 의해 수집된 스펙트로그램들로부터 차량 객체가 검출되었을 때의 스펙트로그램인 샘플 스펙트로그램들을 추출한다.
이때 LIDAR 스캐너는 1cycle 당 32CH의 스펙트로그램이 생성될 뿐만 아니라 한 대의 차량이 해당 영역을 통과하는데 수초가 걸리게 된다. 이에 따라 본 구현 시스템의 샘플스펙트로그램추출모듈은 차량객체 검출에 관련된 모든 스펙트로그램들을 추출하는 것이 아니라 이들 중 n개의 스펙트로그램들만 추출하도록 구성된다.
프로파일분석모듈은 샘플스펙트로그램추출모듈에 의해추출된 샘플 스펙트로그램들의 프로파일들을 분석한다.
노이즈프로파일검출모듈은 샘플 스펙트로그램에서 차량프로파일로부터 기 설정된 인접영역 내에 차량이 아닌 다른 프로파일이 존재하는지를 분석하며, 기 설정된 인접영역 내에 차량이 아닌 다른 프로파일이 존재할 때, 해당 프로파일을 노이즈 프로파일이라고 판단한다.
예를 들어, 우천 시 LIDAR 센서가 고감도로 설정된 경우 차량의 차체 및 타이어에 의해 튀는 물들에 의해 노이즈 프로파일이 검출되게 되고, 이러한 노이즈 프로파일은 객체 감지의 정확성을 떨어뜨리기 때문에 본 개발 시스템에서는 LIDAR 센서의 감도조절을 통해 노이즈 프로파일 현상을 절감하도록 하였다. 다른 예를 들어, 차량의 차체 및 타이어와 인접한 지점에 노이즈 프로파일이 전혀 검출되지 않는 경우, 과도하게 고감도로 설정됨에 따라, LIDAR 센서의 감도를 소정 하향시킬 필요가 있게 된다.
노이즈 발생비율(R)산출모듈은 샘플 스펙트로그램 추출모듈에 의해 추출된 샘플 스펙트로그램의 수량인 샘플수량(L)을 산출한다.
또한 노이즈 발생비율(R)은 노이즈프로파일검출모듈에 의해 검출된 노이즈 프로파일을 포함한 샘플 스펙트로그램인 노이즈 스펙트로그램의 수량인 노이즈 수량(L’)을 산출한다.
노이즈 발생비율(R)산출모듈은 노이즈 수량(L’)을 샘플수량(L)으로 나누어 노이즈 발생비율(R, R=L’/L)을 산출한다.
감도최적값산출모듈은 기 설정된 기준테이블을 활용하여, 노이즈 발생비율(R)에 따른 감도 최적값을 검출한다.
이때 기준테이블은 노이즈 발생비율의 범위에 따라 감도 최적값이 매칭된 데이터를 의미하며, 감도 최적값은 노이즈 발생비율의 범위가 클수록 낮은 크기로 설정된다.
또한 감도최적값산출모듈에 의해 검출된 감도 최적값은 LIDAR 스캐너감도제어모듈로 입력되고, LIDAR 스캐너는 LIDAR스캐너 감도제어모듈의 제어에 따라, 다음 주기(T) 동안 감도 최적값에 따라 LIDAR 신호를 송수신하게 된다.
Fig. 7은 32CH LIDAR 검지 시스템에서 차량이 진입하는 순간 검지된 물체 정보를 상단에 표출하고 있음을 보여준다. Fig. 7 ②의 흰색 물체 정보는 진/출입시 검지된 차량의 형상이며 이 동영상은 Fig. 10처럼 나타난다.
Fig. 7. LIDAR detection system
이와 같이 본 개발 시스템은 주차장의 진입/진출로에 32CH의 LIDAR 스캐너를 설치하여 차량 감지 및 입출차 대수 카운팅이 이루어지도록 구성됨으로써 차량 감지의 정확성 및 정밀도를 높일 수 있고, 이에 따라 외부로 제공되는 잔여 주차면 정보와 실제 현장의 잔여주차면 상태의 오차율을 획기적으로 절감시켜 서비스 편의성 및 신뢰도를 높일 수 있으며, 부정확한 정보 제공으로 인해 민원이 빈번하며 운전자의 불필요한 시간 낭비를 유발하는 종래의 문제점을 획기적으로 해결할 수 있게 된다.
2. Development of Vehicle Number Recognition System Through Deep Learning
Fig. 8의 영상취득부는 카메라의 촬영에 의해 획득된 영상을 입력받아 영상을 취득한다. 딥러닝검지부는 딥러닝알고리즘인 객체분석 알고리즘을 이용하여, 영상취득부에 의해 획득된 영상을 분석하여 객체를 감지하며, 차량객체가 감지될 때, 기 설정된 장애인 주차면의 영상 내 픽셀위치정보와 감지된 차량객체의 픽셀위치정보를 활용 및 비교하여, 해당 감지차량이 장애인 주차면에 주차하였는지여부를 판별한다.
Fig. 8. Camera recognition controller (Part of Figure 5(a))
이때 객체분석 알고리즘은 기 설정된 주기(T) 마다 학습화되며, 주기(T) 동안 수집된 영상과 기 설정된 객체종류를 활용하여, 영상 및 객체종류 간의 상관관계를 학습할 수 있는 학습데이터를 생성하고 생성된 학습데이터를 활용하여 객체영상 및 객체종류 간의 상관관계에 대한 파라미터 값들의 집합인 추출모델을 도출한다.
이때 객체분석 알고리즘은 Fig. 3과 Fig. 4에 도시된 바와 같이 입력영상을 입력데이터로 하되, 입력된 영상으로부터 기 설정된 차량 및 보행자 등의 객체정보(인식, 위치, 종류, 크기 등)를 출력한다.
또한 객체 분석 알고리즘으로는 심층신경망 객체 검지알고리즘의 하나인 합성곱 신경망(CNN, Convolution Neural Network) 기반의 YOLO를 적용하였다.
이러한 YOLO의 인식률 평가를 위해 NVIDIA RTX 2080 Super 2-way 환경에서 테스트한 결과 Pretrained YOLOv4가 실생활에서 자주 볼 수 있는 80종류의 사물에 대해 가장 높은 평균인식률(75.67%)을 보였고, 그 중 자동차, 버스, 트럭 3종류의 사물에 대해서는 평균 80.39%의 인식률을 보였다. 이때 인식률은 모델 평가용 데이터셋 (MSCOCO 2017)을 각 AI 모델에 순전파(Forward Propagation)하여 나온 인식 결과를 바탕으로 (AI 모델이인식한 사물 개수 / 이미지에 존재하는 사물 개수)를 계산 하였다[14][15].
이러한 YOLO의 인식률을 기반으로 본 시스템에서는 객체분석 알고리즘의 인식 대상을 종래에서와 같이 80종류로 설정하지 않고 주차장에서 볼 수 있는 사물, 즉 자동차, 오토바이, 트럭, 보행자의 4종류로 축소하여 설정함으로써 5% 이상의 인식률 개선이 이루어지도록 하였다.
이와 같이 본 시스템의 카메라 제어기의 딥러닝 검지부에 의해 학습되는 객체분석 알고리즘은 CNN 기반의 YOLO를 적용하여 학습이 이루어지되, 인식대상을 주차장에서 흔히 볼 수 있는 4종류로 제한함으로써 객체 인식 및 분류의 정확성 및 정밀도를 현저히 높일 수 있고, 이에 따라 장애인 주차면의 차량주차여부에 대한 판단의 정확성 및 신뢰도를 높일 수 있게 된다.
차량번호인식부는 딥러닝검지부에서 장애인 주차면에 차량주차가 이루어졌다고 감지될 때 실행되며, 장애인 주차면에 주차된 차량의 차량번호를 인식한다.
장애인주차면주차정보생성부는 장애인주차면의 차량주차 여부에 대한 내용과 차량번호인식부에 의해 인식된 차량번호 정보를 매칭시켜 장애인 주차면 주차정보를 생성 한다.
데이터전송부는 장애인주차면주차정보생성부에 의해 생성된 장애인 주차면 주차정보를 주차관제용 로컬서버로 전송한다.
이와 같이 본 개발 시스템은 LIDAR 검지 후에 검지된 차량의 차량번호를 추출함에 있어서 좀 더 정확하고 정밀한 추출을 위해 딥러닝 기술을 이용한다. LIDAR를 이용하여 차량을 누락없이 검지하였다고 하더라도 차량 번호를 제대로 인식ㆍ추출하지 못하면 입출차의 댓수를 정확하게 카운트 하지 못하여 데이터 신뢰성이 낮아지는 결과를 초래하기 때문에, 차량 검지와 차량번호 인식은 둘 다 항상정확하게 처리되어야 하며 또한 중도에 변경 없이 유지되어야 한다.
3. Development of Integrated System for Vehicle Detection and Number Recognition
LIDAR에서 차량이 검지된 후 그 다음 단계는 차량이 검지 되었다는 것을 번호 인식 카메라에게 알려서 카메라가 촬영을 하도록 신호를 주는 단계이다. 그 이후 카메라가 촬영을 하고 나면 곧바로 번호 인식 프로그램에게 알려주어 자동차 번호를 추출하도록 한다. LIDAR 검지 시스템과 카메라 촬영부, 번호 인식 시스템이 다른 모듈로 동작하기 때문에 차량이 진입 혹은 진출 되었다는 것을 번호인식 카메라에게 알리기 위해 차량 진입 진출과 동시에trigger를 발생시켜 이를 카메라로 전달한다. 이는 루프검지나 지자기 센서 검지와 마찬가지로 동일한 방식이다. Fig. 9는 LIDAR 센서에서 검지한 후 trigger를 발생시켜번호 인식 카메라에 전달하고 그 다음 번호 인식 시스템으로 하여금 번호 인식하도록 하는 프로세스이다.
Fig. 9에서 LIDAR 검지 후 영상카메라가 촬영을 하도록 trigger를 주는 부분이 B에 해당하는 부분이다. B-1에서 영상을 촬영하고 B-3, B-4에서 진입 진출 차량의 번호를 인식하게 된다.
Fig. 9. After detecting LIDAR, image shooting and number recognition
Fig. 10은 LIDAR가 검지한 입차와 출차 시의 물체 정보이다. trigger를 발생하는 시점은 기본적으로 물체 정보가 가장 많이 검지 된 시점으로 하되 조정이 가능하다. 차량이 주차하기 위해 직진하다가 후진을 한다든지 여러 가지 돌발상황이 발생하는 경우 LIDAR의 검지 단계에서 진입인지 후진인지 32CH 별로 식별이 가능하므로 입출차 카운트가 그만큼 정확해진다. 기존의 주차 시스템의 경우 이러한 돌발상황의 경우는 감지하지 못하고 그냥 입력으로 카운트 해버려서 결국에는 입차와 출차 대수가 맞지 않는 결과를 초래하게 된다.
Fig. 10. Trigger decision point
IV. Development of Smart Parking Control System
스마트 주자 관제 시스템은 차량검지와 차량번호인식을 기반으로 하여 정확한 입출차 정보를 화면으로 보여 주기 위한 사용자 UI 화면이다.
스마트 주차장 안내 시스템은 Fig. 11과 같이 각 주차장에 설치되어 해당 주차장을 사용하는 차량들에게 주차장안내 서비스를 제공하는 주차설비들과 각 주차장에 설치되어 해당 주차장의 주차설비를 관리 및 제어함과 동시에 주차설비에 의해 검출된 데이터들을 분석 및 가공하여 주차장 안내 정보를 생성하는 주차관제용 로컬서버들로 구성된다. 또한 스마트폰과 같이 운전자가 소지한 단말기에 설치되어 운전자에게 주차장 안내 정보를 제공하는 주차장 어플리케이션과 주차관제용 로컬서버들로부터 전송받은 주차장 안내 정보를 저장 및 가공하여 부가정보를 생성한다.
통신망은 주차관제용 중앙관리서버, 주차관제용 로컬서버들 및 운전자 단말기 사이의 데이터 통신을 지원하며, 상세하게로는 광역 통신망(WAN) 등의 유무선 네트워크망, 3G, 4G, 5G, LTE 등으로 구성될 수 있다.
Fig. 11. The system configuration diagram of smart parking control system
사용자의 주차관제용 어플리케이션은 각 주차장의 주차장 안내 정보 즉, 주차장의 잔여주차면 정보 및 장애인 잔여주차면 정보를 포함하는 주차장 안내 정보 등을 제공받아 운전자 단말기의 모니터를 통해 디스플레이 하는 응용 프로그램, 소프트웨어 또는 어플리케이션이다.
주차관제용 중앙관리서버는 주차관제용 로컬서버들의 동작을 관리 및 제어하며, 주차관제용 로컬서버들로부터 주차장 안내 정보를 전송받으면 전송받은 주차장 안내 정보를 가공 및 분석하여 부가정보를 생성한다.
또한 주차관제용 중앙관리서버는 주차관제용 어플리케이션이 접속되면 접속된 주차관제용 어플리케이션과 연동하여 접속된 주차관제용 어플리케이션으로 주차장 안내 정보 및 부가정보를 전송함과 동시에 주차관제용 어플리케이션의 요청에 따라 연산을 처리한 후, 응답데이터를 주차관제용 어플리케이션으로 전송한다.
Fig. 11에서 도시된 주차설비는 Fig. 5 (a)에 도시된 바와 같이 주차장의 진입로 및 진출로에 설치되어 진입/진출 차량을 감지하는 LIDAR 스캐너 및 스캐너 제어기로 구성되는 입출차 감지부와 차량 번호 인식을 위한 카메라 그리고 장애인 주차면을 촬영하도록 설치되는 카메라 및 카메라 제어기로 이루어지는 촬영부와 부속장비들로 이루어진다.
Fig. 12. Administrator UI of smart parking control system
Ⅴ. System Testing and Performance Evaluation
스마트 주차관제 시스템을 종합적으로 시험 및 성능 평가하기 위해 우선 시험환경을 설정해야 한다. 시험 환경은 현장 Test-Bed의 LIDAR 검지 장비, 카메라 영상장비를 구성으로 하는 장비 인프라 환경과 이를 구동하는 프로그램 환경으로 나눌 수가 있다. 장비 인프라 환경은 시험을 위해서 구축한 것은 아니며 차량의 진출입을 위해 시스템구축 초기부터 장비를 구매하여 구축한 환경이다.
1. Test Environment
Table 3.은 스마트 주차관제 시스템을 시험하기 위한 시험환경 전체를 포함한 표이다. 시험을 수행하기 위한 장소는 사전에 공공기관의 협조를 득하여 공영주차장을 Test-Bed 로 구성하였다. 시험에 필요한 자동차 번호판 시료는 3,000 건으로 하되 사전에 준비된 건수가 아니라 실제 야외 주차장에서 실제 차량이 입출력 하면서 실시간으로 얻어지는 건수이다. 물론 여러 대의 차량을 이용한 입출력이므로 중복은 허용한다.
Table 3. System test environment
2. Test Scenario
시험을 위한 시나리오는 TC1, TC2, TC3 등 3개로 구성한다. 각각 LIDAR 검지율 측정, 차량번호 인식율 측정, 장애인 주차면에 차량이 주차되어 있는지의 여부 확인(주차되어 있으면 차량번호 추출, 주차되어 있지 않으면 ‘XXX’ 로 표시하여 장애인 면이 비어 있는지 아닌지를 판별함)으로 시험을 실시한다. 시험 결과는 3개의 시나리오 결과 모두 100%를 만족해야 한다. Table 4.는 이러한 3개의 시나리오를 정리한 표이다.
Table 4. Test scenario definition
3. Performance Evaluation
시스템 성능 평가는 사실상 결과가 100%로 도출되었기 때문에 성능은 만족할 만한 수준으로 도출되었다. LIDAR 센서를 기반으로 동작이 되어야 하는 시스템이므로 LIDAR 센서가 아닌 경우의 검지율과 LIDAR 센서인 경우의 검지율을 비교해야 한다. 또한 차량 번호 인식에 있어서도 딥러닝 기술을 적용하기 전후의 성능 개선의 변화를 평가할 수가 있다.
검지율에 있어서 LIDAR 유무에 따라 검지율의 차이가 많이 남을 알 수 있다. LIDAR 는 360°, 32CH로 초음파를 쏘기 때문에 사실상 물체를 인식 하지 못할 확률은 0에 가깝다 그 만큼 인식율에서 우수 하기 때문에 본 기술에도 도입하게 된 것이다.
인식율에 있어서도 딥러닝 알고리즘을 사용한 경우가 그러지 못한 경우에 비해 높은 결과를 도출하였다. 도로상에서 테스트 하듯이 여러 가지 외부적인 요건들이 포함되지 않은 상태로 주로 주차장 입출구에서만 입출차 하였으므로 성능이 다소 높게 향상되었을 것으로 추정된다.
Fig. 13은 Table 5.에 따라 성능을 비교한 결과이다.
Fig. 13. The result of performance evaluation comparison
VI. Conclusion and Future Research
본 시스템은 주차장의 진입/진출로에 32CH의 LIDAR 스캐너를 설치하여 차량 검지 및 돌발상황 필터링이 이루어지도록 구성됨과 동시에 딥러닝 알고리즘을 이용하여 차량번호를 인식하였다. 또한 장애인 주차면의 주차여부를 판별하며, 기 설정된 주기(T) 마다 LIDAR 스캐너의 감도를 최적화시키도록 구성함으로써 입출차 차량의 검지 정확성 및 정밀도를 높일 수 있을 뿐만 아니라 장애주차면 주차여부에 대한 판단의 신뢰도를 높였다. 생성/제공되는 주차장 안내 정보와 실제 주차장의 주차가능면 정보의 오차율을 현저히 절감시켜 서비스 편의성 및 신뢰도를 극대화시킬 수 있는 스마트 주차장 안내 시스템을 개발하였다.
구축 내용으로는 LIDAR 검지기, 딥러닝 기발 차량 번호 인식기, 장애인 주차면 인식 검지를 위한 장비 설치 및 프로그램 개발을 진행하였고 실제 현장에서 시험을 하여 신뢰도와 정확도를 높였다.
시험은 시험 시나리오 3개(검지율, 인식율, 장애인면 확인)를 이용하였고 시료는 3,000개를 적용하였다. 각 시험에서 적용되는 공식에 의해 결과적으로 100% 성능을 도출하였다.
성능은 먼저, LIDAR를 사용한 경우와 사용하지 않은 경우의 검지율을 비교해본 기존의 약 95% ~ 97% 검지율보다 5% 이상 검지율이 높게 도출되었으며, 두 번째로 차량번호 인식율에 있어서도 기존의 약 97% ~ 98% 인식율 보다 3% 이상 인식율이 높게 도출되었다.
현재 우리나라는 스마트 주차장을 각 지자체에서 많이 개장하여 서비스하고 있지만 약 오차율 5% 정도의 부정확한 정보를 제공하고 있어서 실제 이용자에게 많은 혼란과 주차요금 정산 오류 문제 등 자료 신뢰도를 떨어뜨리고 있다. 더욱이 입차와 출차의 대수가 서로 상이함에 따라 주차장 운영과 정산에 많은 착오가 있어 왔다.
본 연구는 기상 상태가 양호한 날과 주차장 정상운영 케이스를 기준으로 연구 및 실험이 진행되었으며 악천후, 주차장 돌발상황(진입 후 역주행, 진출 취소, 진입 취소, 반복 재 진입/출 시도 등)에 대한 연구가 지속적으로 이루어져야 한다.
이 시스템 기반으로 향 후 연구 방향을 제시하면, 전국적으로 공공기관에서 이용하는 공영 주차장의 데이터 신뢰도가 상당히 향상되어 대국민 행정업무의 신뢰성을 확보할 것이다. 기술적 측면으로는 LIDAR 검지 기술을 활용하여 제 4차 산업혁명의 핵심기술인 자율주행과 같은 신기술에 적용하여 스마트 주차 및 스마트 주행분야로 확대 연구를 할 수 있을 것으로 기대된다.
References
- M. Mambo, K. Usuda and E. Okamoto, "Proxy Signature : Delegation of the Power to Sign Messages," In IEICE Trans. Fundamentals, Vol. E79-A, No. 9, pp. 1338-1353, Sep., 1996.
- Reporter Jongseon Lee, Incheon Today, 2020.01.06
- Domestic Registered Patent No. 10-1641326 No. 2090203
- Hyungi Kim, Chanyoung Jung, Hyunki Seong, Hyeonchan Oh, Sanggeun Mun and David Hyunchul Shim, "Estimate Poisition of Multiple Objects based on 3D LiDAR and Camera Sensor fusion", Transactions of KSAE, Vol. 5, No. 3, pp. 116-129, Aug. 2O19.
- Taehyeong Kim, Soonsub Kwon, Kangsoo Lee and Taeehyoung Park, "Multiple Lidars Calibration and Deep Learning Based Vehicle Recognition", Transactions of KSAE, Vol. 4, No. 2, pp. 223-240, Feb. 2O17.
- Juhyeok Ra, Jaenam Yu, Yunsung Noh, Taewon Ahn, Hyeongjun Jang and Kihong Park, "A Study on Pedestrian and Vehicle Detection Algorithm by Integration of Camera and LIDAR Coordinate System", Transactions of KSAE, Vol. 6, No. 2, pp. 1157-1172, Jun. 2017
- Xiao Zhang, Wenda Xu, Chiyu Dong and M. Dolan, "Efficient L-shape Fitting for Vehicle Detection Using Laser Scanners", IEEE Intelligent Vehicles Symposium, Vol. 11, No. 9, pp. 1-6, Jun, 2O17.
- B. Wu, X. Zhou, S.Zhao, X. Yue and K.kutzer, "SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud", ICRA, Vol. 6, No. 3, pp. 1721-1737, Jun, 2O19.
- B. Wu, A. Wan, X. Yue, and K. Keutzer, "Squeezeseg: Convolutional neural nets with recurrent crf for real-time Road-Object Segmentation from 3d LiDAR Point Cloud", ICRA, Vol. 3, No. 3, pp. 105-119, Jun, 2O18.
- O. Vinyals, A. Toshev, S. Bengio, and D. Erhan, "Show and Tell: A Neural image caption generator," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2015), Vol. 13, No. 17, pp. 2156-2164, 2015.
- K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhutdinov, R. Zemel, and Y. Bengio, "Show, Attend and Tell: Neural Image Caption Generation with Visual Attention," Proceedings of The 32th International Conference on Machine Learning, Vol. 12, No. 5, pp. 105-120, Nov, 2015.
- N. Srivastava, E. Mansimov, and R. Salakhutdinov, "Unsupervised Learning of Video Representation using LSTMs," Proceedings of The 32th International Conference on Machine Learning, Vol. 2, No. 2, pp. 11-19, 2019.
- L. Yao, A. Torabi, K. Cho, N. Ballas, C. Pal, H. Larochelle, and A. Courville, "Video description generation incorporating spatio-temporal features and a soft-attention mechanism," arXiv preprint arXiv: 1502.08029, Vol. 6, No. 2, pp. 201-211, Oct, 2015.
- S. Venugopalan, M. Rohrbach, J. Donahue, R. Mooney, T. Danel, and K. Saenko, "Sequence to Sequence-Video to Text," arXiv preprint arXiv: 1505.00487, Vol. 15, No. 1, pp. 1121-1138, Feb, 2017.
- J.-W. Ha, K.-M. Kim, and B.-T. Zhang, "Automated Construction of Visual-Linguistic Knowledge via Concept Learning from Cartoon Videos," Proceedings of the 29th AAAI Conference on Artificial Intelligence (AAAI 2015), Vol. 11, No. 3, pp. 522-528, Jun, 2015.