F-SORT 기반 고속도로 추월차로 지속 주행 무인 단속 시스템 설계

Design of Continuous Driving Enforcement System for FSORT-based Highway Passing Lane

Abstract

한국 도로교통법에 따르면 고속도로 추월차선(1차선)에서 지속 주행 시, 지정차로위반으로 판단한다. 현재 고속도로에서 앞선 상황을 단속하기 위해서는 시민의 신고나, 도로 경찰이 직접 위반 여부를 판단하여 단속하고 있다. 이는, 고속도로에서 차량의 속도가 아닌 추월 여부에 따라 위반이 판단되고, CCTV에서는 차량이 지속해서 주행하고 있는지 기준이 모호하여 판단이 힘들기 때문이다. 따라서, 사람의 개입 없이 시스템이 1차선 지속 주행 여부를 스스로 판단하고 단속하는 시스템이 필요하다. 본 논문에서는 객체 추적 중에서 다중 객체 추적(Multiple Object Tracking)이 가능하고 시스템의 실시간성을 보장하기 위해 SORT(Simple Online and Realtime Tracking) 모델을 기반한 F-SORT(Focus Simple Online and Realtime Tracking)를 기반하여 차량을 실시간으로 추적하고 차량의 이동 거리를 판단하여 1차선 지속 주행 여부를 시스템이 판단하여 단속하는 무인 단속 시스템을 설계하였다.

According to the Korean Road Traffic Act, continuous driving in the overtaking lane (1 lane) of the highway is judged as a violation of the designated lane. Currently, in order to crack down on the advanced situation on the highway, a citizen's report or the road police directly determine whether it is a violation and crack down. This is because a violation is judged by overtaking or not the speed of the vehicle on the highway, and it is difficult to judge whether the vehicle is continuously driving because the standard is ambiguous in CCTV. Therefore, a system that self-determines and regulates whether the first lane is continuously driving without human intervention is needed. In this paper, in order to enable multiple object tracking during object tracking and to ensure the system's real-time feasibility, an unmanned crackdown system was designed based on F-SORT (Focused-Simple Online and Realtime Tracking) based on the Simple Online and Realtime Tracking (SORT) model, and the system determines whether or not the vehicle is continuously driving in one lane by determining the moving distance of the vehicle

Ⅰ. 서론

한국 도로교통법 시행규칙 제39조 1항에 따라 고속도로 추월차선(1차선) 지속 주행 시, 도로교통법에 위반되며, 과태료, 범칙금 그리고 벌금을 부여받게 된다^[1]. 그러나, 위 법령이 시행되고도, 지속적인 위반이 번번이 일어난다. 현재 고속도로 추월차선 지속 주행 단속은, 경찰이 직접 단속하거나, 국민 신문고 등을 이용하여 시민이 신고하는 방식이다^[2]. 따라서, 고속도로 추월차선을 단속하기 위해 사람이 직접 추월차선 주행 차량을 확인 후, 위반 여부를 판단해야 한다. 즉, 사람이 없는 경우 판단을 할 수 있는 요소가 없으며 위반을 하여도 확인을 할 수 없다는 뜻이다. 따라서, 이를 해결하기 위해서는 사람의 개입 없이 시스템이 추월차선 지속 주행 여부를 스스로 판단하여 차량을 단속하고 보고하는 시스템이 필요하다. 본 논문에서는 SORT(Simple Online and Realtime Tracking)를 기반하여 차량을 실시간으로 추적하고 차량의 이동 거리를 계산하여 추월차선 지속 주행 여부를 시스템이 판단하여 단속하는 무인 단속 시스템을 구현하였다.

설계되는 시스템은 객체 추적 중에서 다중 객체 추적(Multiple Object Tracking)이 가능하고 시스템의 실시간성을 보장하기 위해 SORT 모델을 기반한 F-SORT(Focus-SORT)를 개발하여 사용하였고, 파이썬 OpenCV 라이브러리를 활용하여 영상처리를 적용하였다. 영상처리는 추적하는 객체(차량)의 좌푯값을 기준으로 추월차로 영역에 있는지를 판단하고, 추월차로 영역 내의 추적 객체의 이동 거리를 판단하기 위해 활용되었다.

Ⅱ. 관련 연구

객체를 추적하는 작업은 객체에 ID를 부여하는 작업과 같다고 볼 수 있다. 추적 알고리즘은 영상에서 각 객체에게 그 객체만의 고유한 ID를 부여해준다. 이렇게 부여받은 ID는 프레임이 흘러감에도 이 고유한 값이 변하지 않고 유지하는 것이 추적 알고리즘의 핵심이라고 할 수 있다. 이러한 추적 알고리즘은 지금까지 보통 칼만 필터를 이용한 방식이 주를 이뤘다. 칼만 필터는 잡음을 포함하여 선형 역학계의 상태를 추적하는 재귀 필터이다. 이러한 칼만 필터를 이용한 대표적인 알고리즘에는 SORT가 있다. SORT는 딥러닝을 포함한 다양한 객체 탐지 알고리즘을 이용해 탐지한 객체들의 위치 정보를 기반으로 이후 프레임에 올 객체의 위치 정보를 잡음과 속도 정보 등을 이용하여 구한다. 그리고 이렇게 구한 정보들과 기존의 정보를 IOU Distance 및 Hungarian 알고리즘을 이용하여 객체를 추적한다. 이러한 SORT는 계산 과정이 많이 복잡하지 않기에 속도가 매우 빠르다는 장점이 있지만, 고려하는 것이 위치 정보뿐이라는 점에서 정확도가 다소 떨어진다는 단점이 존재한다. 이러한 단점을 보완하기 위해 등장한 것이 DeepSORT 이다. DeepSORT는 기존 SORT의 방식에 딥러닝의 CNN을 추가하여 추적의 정확도를 높인 방식이다. DeepSORT도 기본적으로는 SORT와 같이 칼만 필터 등을 사용하기에 객체의 위치나 속도 등의 정보를 이용한다. 하지만 DeepSORT는 여기에 더해 객체의 시각적 정보도 받는다. CNN을 이용해 각 객체의 이미지 정보를 받아와 특징값을 가져온다. 여기에 Cosine Distance를 이용하여 객체들의 유사도를 구해 객체 ID를 부여한다. 이렇듯 DeepSORT는 SORT 보다 많은 정보를 이용해 추적하기에 SORT에 비해 시간이 오래 걸린다는 단점이 있지만 정확도는 더 높다는 장점이 있다.

SORT 외에도 기존의 추적 모델에서 LSTM 네트워크를 연결하여 추적 연결 기능을 추가한 모델^[4] 등이나, Deep OC-SORT 등의 Re-Identification 기능을 이용해 객체가 영상에서 사라져도 객체에 대한 정보를 유지하고 다시 영상에 나타났을 때, 해당 객체를 판단하는 추적 모델 등의 연구들이 진행되고 있다^[3][5].

Ⅲ. 제안하는 단속 시스템 설계

본 논문에서 제안하는 시스템의 프로세스는 그림 1과 같이 차량 탐지, 차량 추적, 차량 추월차로 유무 판단, 차량 이동 거리 판단, 위반 차량 DB 전송 순으로 이루어져 있다.

그림 1. 시스템 프로세스 순서도

Fig. 1. Flowchart of System Process

1. 차량 탐지

본 논문에서 차량을 탐지하기 위해서 사용하는 객체 탐지 모델은 YOLOv5 실시간 객체 탐지 모델이다^[6]. 본 논문에서는 차량을 탐지하기 위해 COCO Dataset 을 이용하여 차량 데이터를 학습 후 차량을 탐지한다.

2. 차량 추적

F-SORT 모델을 사용한 이유는 다른 DeepSORT, Deep OC-SORT 등 성능이 뛰어난 모델에 비해 실시간성 측면에서 뛰어나며, 성능 측면으로도 추적 상황이 고속도로라는 특수성으로 인해, ID-Switching이 크게 일어나지 않아, 손실이 적기 때문이다. F-SORT는 그림 2처럼 SORT 모델을 기반으로 한 커스텀 모델이다. F-SORT는 고속도로 상황에서 서로 다른 두 차량이 ID-Switching이 일어나지 않기 위해 차량의 기존 방향 벡터와 실시간 방향 벡터를 내적 하여 차량의 이동 방향이 기존 이동 방향에서 일정 각 이상 벌어질 시 헝가리안 알고리즘과 칼만 필터를 이용하지 않고 차량의 이동 상태 정보(칼만 정보)를 현재 값으로 변경하여 차량을 Focusing하여 ID-Switching을 방지하는 방식이다.

그림 2. F-SORT 주요 기능 설명도

Fig. 2. Main function of F-SORT

3. 차량 위치에 따른 추월차로 판단

차량을 추적 이후, 차량의 위치가 추월차로에 있는지를 판단하기 위해서 그림 3처럼 영상 내의 추월차로 영역을 선정 후, 해당 차량이 추월차로 영역 내에 있을 시, 해당 차량 객체의 ID를 양수(+)로 설정한다. 또한, 추월차로에 있던 차량이 해당 영역을 벗어나거나 기존 차로에서 추월차로 영역에 진입한 경우, 해당 차량 객체의 ID를 양수(+)에서 음수(-) 또는 음수(-)에서 양수(+)로 변경하여 차량의 위치가 추월차로에 있는지 판단한다. 그림 3은 차량 위치와 추월차로 영역에 따른 ID 할당 장면이다.

그림 3. 차량 위치에 따른 추월차로 판단

Fig. 3. Judgement of overtaking car according to vehicle location

4. 차량 이동 거리 및 지속 주행 위반 판단

차량 ID가 양수(+)일 시, 현재 Bounding Box의 중심 좌표와 이전 Bounding Box의 중심 좌표를 이용하여 지속적으로 거리를 측정한다. 수식 (1)은 각 중심 좌표에 따른 차량 이동 거리이다.

\(\begin{align}Distance=\sum_{t=1}^{n} \sqrt{\left(x_{t}-x_{t-1}\right)^{2}+\left(y_{t}-y_{t-1}\right)^{2}}\end{align}\)      (1)

수식 (1)에서 x는 차량 중심 좌표의 x값이고, y는 차량 중심 좌표의 y 값이며 t는 각 프레임 시점이다. Distance가 지정 값 도달 전 1차로에서 벗어날 시, Distance 연산을 정지하고, 지정 값 이상일 때, 해당 차량은 지속 주행 위반으로 판단 후, DB에 전송한다.

Ⅳ. 모델 성능 분석

차량 추적 모델로 제안하는 F-SORT와 현재 객체 추적 분야에서 사용 빈도가 가장 높은 Deepsort를 성능에 영향을 미치는 ID-switching 횟수와 모델 실행속도 측면에서 분석하였다. 실험은 MOT challenge의 MOT20과 MOT15를 사용하여 실제 ground truth와 tracker의 bouding box좌표 및 객체 ID를 비교하여 ID Switching 과 FPS 성능을 측정한 결과이다.

1. 초당 FPS 그래프

그림 4를 보면 F-SORT가 Deepsort보다 ID-Switching의 횟수가 줄어 들었으며, 모델 실행속도(fps)가 1.5배 증가한 것을 알 수 있다.

그림 4. 성능분석 실험 결과

Fig. 4. Performance Analysis Experiment Results

V. 실행 결과

그림 5는 제안한 알고리즘을 사용하여 고속도로 추월차로 지속 주행 무인 단속 시스템을 실행한 결과이다. 1차선에 있는 차량과 그 외 차선에 있는 차량이 서로 ID가 구분되며 1차선에 있는 차량이 일정 거리 이상 지속 주행했을 때, 해당 차량 객체의 ID와 지속 주행 여부를 확인할 수 있다.

그림 5. 실행 결과

Fig. 5. Execution result

VI. 결론

본 논문은 F-SORT를 기반한 고속도로 추월차로 지속 주행 무인 단속 시스템을 제안했다. 지속 주행 무인 단속 시스템의 프로세스는 차량 탐지, 차량 추적, 차량 추월차로 유무 판단, 차량 이동 거리에 따른 지속 주행 위반 판단으로 이루어져 있으며, F-SORT 추적 모델을 이용하여 차량 추적하고 추월차선 영역을 설정하여 차량이 추월차선 내에 있는 유무를 판단하고 ID로 구분하며 마지막으로 차량의 이동 거리를 실시간으로 연산하여 추월차선 지속 주행 여부를 판단을 할 수 있다. 시스템은 F-SORT 모델을 사용하여 실시간성을 가지며 차량을 ID로 구분하여 판단하기 때문에 위반 차량 판단을 직관적으로 확인할 수 있다. 또한 기존의 고속도로 추월차로 지속 주행 위반 판단 시스템에 비해 무인 시스템으로 이루어져 인력이 필요하지 않고, 시간과 관계없이 판단할 수 있으므로 경제성, 지속성을 확보할 수 있다. 향후 연구에서는 낮은 사양의 하드웨어에서도 사용할 수 있는 모델을 개발할 예정이다.