초록
자율주행 자동차의 연구가 빠르게 발전하는 가운데 보행자 검출에 대한 연구 또한 성공적으로 진행되고 있다. 그러나 대부분의 연구에서 사용되는 데이터셋이 컬러영상을 기반하고 있고 또한 보행자의 인식이 상대적으로 쉬운 영상이 많다. 컬러 영상의 경우 보행자가 빛에 노출되는 정도에 따라 영상에 제대로 포착이 되지 않을 수 있고 이로 인해 기존 방식들로는 이러한 보행자를 제대로 검출하지 못하는 상황이 발생한다. 따라서 본 논문에서는 DNN (deep neural network) 기반 컬러 영상과 열 영상을 이용한 다중 스펙트럼 보행자 검출 기법을 제안하고자 한다. 기존의 SSD (single shot multibox detector) 기법을 기반으로 하여 컬러 영상과 열 영상을 동시에 활용하는 퓨전 네트워크 구조를 제안한다. 실험은 KAIST의 데이터셋을 이용하여 실시하였고 제안한 기법인 SSD-H (SSD-Halfway fusion)의 방식이 KAIST 보행자 검출기준의 기준치보다 18.18% 낮은 miss rate를 획득하였고 또한 기존 halfway fusion 기법에 비해 최소 2.1% 낮은 miss rate를 획득하였다.
As autonomous driving research is rapidly developing, pedestrian detection study is also successfully investigated. However, most of the study utilizes color image datasets and those are relatively easy to detect the pedestrian. In case of color images, the scene should be exposed by enough light in order to capture the pedestrian and it is not easy for the conventional methods to detect the pedestrian if it is the other case. Therefore, in this paper, we propose deep neural network (DNN)-based multi-spectrum pedestrian detection method using color and thermal images. Based on single-shot multibox detector (SSD), we propose fusion network structures which simultaneously employ color and thermal images. In the experiment, we used KAIST dataset. We showed that proposed SSD-H (SSD-Halfway fusion) technique shows 18.18% lower miss rate compared to the KAIST pedestrian detection baseline. In addition, the proposed method shows at least 2.1% lower miss rate compared to the conventional halfway fusion method.
