Development of a deep-learning based automatic tracking of moving vehicles and incident detection processes on tunnels

딥러닝 기반 터널 내 이동체 자동 추적 및 유고상황 자동 감지 프로세스 개발

Abstract

An unexpected event could be easily followed by a large secondary accident due to the limitation in sight of drivers in road tunnels. Therefore, a series of automated incident detection systems have been under operation, which, however, appear in very low detection rates due to very low image qualities on CCTVs in tunnels. In order to overcome that limit, deep learning based tunnel incident detection system was developed, which already showed high detection rates in November of 2017. However, since the object detection process could deal with only still images, moving direction and speed of moving vehicles could not be identified. Furthermore it was hard to detect stopping and reverse the status of moving vehicles. Therefore, apart from the object detection, an object tracking method has been introduced and combined with the detection algorithm to track the moving vehicles. Also, stopping-reverse discrimination algorithm was proposed, thereby implementing into the combined incident detection processes. Each performance on detection of stopping, reverse driving and fire incident state were evaluated with showing 100% detection rate. But the detection for 'person' object appears relatively low success rate to 78.5%. Nevertheless, it is believed that the enlarged richness of image big-data could dramatically enhance the detection capacity of the automatic incident detection system.

도로 터널의 주행은 시야의 제한으로 인해 유고상황이 발생한 후 2차 대형사고로 이어지기 쉽다. 따라서, 유고상황 발생 즉시, 상황을 자동 감지하여 신속히 초동대응이 이루어 져야 한다. 유고상황을 자동으로 감시할 수 있는 시스템은 기존에도 존재했지만, 폐합된 터널 내 열악 환경에서 촬영되는 CCTV 영상의 질적 한계로 인해 유고상황을 제대로 감지하지 못했다. 이러한 한계를 극복하기 위해 딥러닝을 기반으로 한 터널 영상유고 자동 감지 시스템을 개발하였으며, 지난 2017년 11월 딥러닝 객체 인식 네트워크에 대한 연구를 진행하여 우수한 객체인식 성능을 보인바 있다. 그러나 객체인식은 정지영상 기반으로 수행되므로 이동체의 이동방향과 속도를 알 수 없어, 정차 및 역주행 등 이동체의 이동특성에 따른 유고상황을 판단하기 힘들다. 본 논문에서는 객체인식으로 감지된 이동체의 객체정보를 기반으로 별도의 객체추적기법을 적용하여 이동체의 이동 특성을 자동으로 추적하는 프로세스를 제안하였다. 이를 통해 얻어진 이동체의 이동 방향과 속도 정보를 기반으로 정차 및 역주행을 판별하는 알고리즘을 개발하여 딥러닝 기반 터널 영상유고 자동감지 시스템을 완성하였다. 또한, 유고상황이 포함된 영상들에 대하여 유고상황 감지성능을 검증하였다. 검증 실험 결과, 화재, 정차와 역주행 상황에 대해서는 모두 100% 수준으로 완전한 유고상황 감지성능을 보였으나, 보행자 발생 상황에서는 78.5%로 상대적으로 낮은 성능을 보였다. 하지만, 향후 지속적인 영상유고 영상 빅데이터를 확장해 나가고 주기적인 재학습을 통해 유고상황에 대한 인지성능을 향상시켜 나갈 수 있을 것이다.

Fig. 1. Object tracking process using bounding box information

Fig. 2. Reverse driving-stopping detection process using tracking bounding boxes

Fig. 3. Concept of IoL (Intersection over Line)

Fig. 4. Deep learning and tracking based incident detection processes

Fig. 5. 3 types of evaluation about tunnel incident detection system

Fig. 6. Test results of Faster R-CNN model

Fig. 7. Composition of the tunnel incident detection system

Fig. 8. Composition of deep learning based incident inference module

Fig. 9. Multitasking process of inference core module

Table 1. Object tracking success or failure with respect to video frame rate

Table 2. Composition of tunnel incident video bigdata

Table 3. Tunnel incident detection results