ADAS용 다중화각 카메라를 이용한 객체 인식 향상

Improved Object Recognition using Multi-view Camera for ADAS

Abstract

완전한 자율 주행에 이르기 위해서는 주변 환경을 인지하는 인지 능력이 사람보다 뛰어나야 한다. 자율 주행에서 주로 사용되는 $60^{\circ}$ 협각, $120^{\circ}$ 광각 카메라는 시야각에 따른 각각의 단점이 존재한다. 본 논문의 목적은 광각, 협각 카메라가 가진 각각의 단점을 극복하기 위하여, 다중화각 차량 전방 카메라 시스템을 이용하여 더 넓은 영역의 전방을 대상으로 더 정확히 객체를 인식할 수 있는 심층신경망 알고리즘을 개발하는 것이다. 광각, 협각 카메라로 취득된 데이터의 종횡비를 분석해 SSD(Single Shot Detector) 알고리즘을 수정하였고, 취득된 데이터를 학습하여 단안 카메라만을 사용할 때 보다 높은 성능을 달성하였다.

To achieve fully autonomous driving, the perceptual skills of the surrounding environment must be superior to those of humans. The $60^{\circ}$ angle, $120^{\circ}$ wide angle cameras, which are used primarily in autonomous driving, have their disadvantages depending on the viewing angle. This paper uses a multi-angle object recognition system to overcome each of the disadvantages of wide and narrow-angle cameras. Also, the aspect ratio of data acquired with wide and narrow-angle cameras was analyzed to modify the SSD(Single Shot Detector) algorithm, and the acquired data was learned to achieve higher performance than when using only monocular cameras.

그림 1. 듀얼 카메라를 부착한 자율 주행 시스템 Fig. 1. Automotive driving system with multi-view camera

그림 3. 협각 카메라로부터 취득된 국내 도로 데이터 객체 별 종횡비(Width/Height) Fig. 3. Aspect ratios of domestic road data acquired from narrow-angle camera (Width/Height)

그림 2. 협각 카메라로 취득한 샘플 이미지 Fig. 2. Sample images acquired with a narrow camera

그림 4. 광각 카메라로부터 취득된 국내 도로 데이터 객체 별 종횡비(Width/Height) Fig. 4. Aspect ratios of domestic road data acquired from wide-angle camera (Width/Height)

그림 5. 협각 카메라 데이터 학습 후 검출 영상 Fig. 5. Detection image after learning the data from narrow-angle

그림 6. 협각, 광각 카메라 데이터 학습 후 검출 Fig. 6. Detection image after learning the data from wide, narrow-angle

그림 7. 광각 카메라 데이터 학습 후 검출 영상 Fig. 7. Detection image after learning the data from wide-angle

그림 8. 협각, 광각 카메라 데이터 학습 후 검출 영상 Fig. 8. Detection image after learning the data from wide, narrow-angle

표 1. 경량화 모델의 크기, 파라미터 수, 성능 비교 Table 1. Size, number of parameters and performance comparison of lightweight CNN models

표 2. 차량 전방 카메라로부터 취득한 객체 수 Table 2. Number of objects acquired from vehicle front camera

표 3. 제안된 방식의 성능분석 Table 3. Performance analysis of proposed method