딥 러닝 및 칼만 필터를 이용한 객체 추적 방법

Object Tracking Method using Deep Learning and Kalman Filter

Abstract

딥 러닝의 대표 알고리즘에는 영상 인식에 주로 사용되는 CNN(Convolutional Neural Networks), 음성인식 및 자연어 처리에 주로 사용되는 RNN(Recurrent Neural Networks) 등이 있다. 이 중 CNN은 데이터로부터 자동으로 특징을 학습하는 알고리즘으로 특징 맵을 생성하는 필터까지 학습할 수 있어 영상 인식 분야에서 우수한 성능을 보이면서 주류를 이루게 되었다. 이후, 객체 탐지 분야에서는 CNN의 성능을 향상하고자 R-CNN 등 다양한 알고리즘이 등장하였으며, 최근에는 검출 속도 향상을 위해 YOLO(You Only Look Once), SSD(Single Shot Multi-box Detector) 등의 알고리즘이 제안되고 있다. 하지만 이러한 딥러닝 기반 탐지 네트워크는 정지 영상에서 탐지의 성공 여부를 결정하기 때문에 동영상에서의 안정적인 객체 추적 및 탐지를 위해서는 별도의 추적 기능이 필요하다. 따라서 본 논문에서는 동영상에서의 객체 추적 및 탐지 성능 향상을 위해 딥 러닝 기반 탐지 네트워크에 칼만 필터를 결합한 방법을 제안한다. 탐지 네트워크는 실시간 처리가 가능한 YOLO v2를 이용하였으며, 실험 결과 제안한 방법은 기존 YOLO v2 네트워크에 비교하여 7.7%의 IoU 성능 향상 결과를 보였고 FHD 영상에서 20 fps의 처리 속도를 보였다.

Typical algorithms of deep learning include CNN(Convolutional Neural Networks), which are mainly used for image recognition, and RNN(Recurrent Neural Networks), which are used mainly for speech recognition and natural language processing. Among them, CNN is able to learn from filters that generate feature maps with algorithms that automatically learn features from data, making it mainstream with excellent performance in image recognition. Since then, various algorithms such as R-CNN and others have appeared in object detection to improve performance of CNN, and algorithms such as YOLO(You Only Look Once) and SSD(Single Shot Multi-box Detector) have been proposed recently. However, since these deep learning-based detection algorithms determine the success of the detection in the still images, stable object tracking and detection in the video requires separate tracking capabilities. Therefore, this paper proposes a method of combining Kalman filters into deep learning-based detection networks for improved object tracking and detection performance in the video. The detection network used YOLO v2, which is capable of real-time processing, and the proposed method resulted in 7.7% IoU performance improvement over the existing YOLO v2 network and 20 fps processing speed in FHD images.

그림 1. 칼만 필터의 흐름도 Fig. 1. Overall flowchart of Kalman filter

그림 2. 시스템 전체 흐름도 Fig. 2. System flowchart

그림 3. 제안 방법의 흐름도 Fig. 3. Flowchart of proposed method

그림 4. 다양한 배경의 학습 데이터 Fig. 4. Examples of training data

그림 5. IoU 계산 및 다양한 IoU 값에 대한 평가 Fig. 5. Calculation of IoU and evaluation of the various IoU values

그림 6. YOLO v2 네트워크 IoU 값 그래프 Fig. 6. IoU results of YOLO v2 network

그림 7. YOLO v2 네트워크와 제안 방법의 IoU 값 비교 그래프 Fig. 7. Comparison of proposed method and YOLO v2 with IoU results

그림 8. YOLO v2의 탐지 실패 결과와 제안 방법의 추적 성공 결과의 예 Fig. 8. Examples of detection failure (YOLO v2) and tracking success (Proposed method)

표 1. 탐지 시스템 네트워크 구성 Table 1. The detection system network