Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

Driving Assist System using Semantic Segmentation based on Deep Learning

딥러닝 기반의 의미론적 영상 분할을 이용한 주행 보조 시스템

  • Kim, Jung-Hwan (Dept. of Electronic Engineering, Hanyang University) ;
  • Lee, Tae-Min (Dept. of Electronic Engineering, Hanyang University) ;
  • Lim, Joonhong (Dept. of Electronic Engineering, Hanyang University)
  • Received : 2020.03.06
  • Accepted : 2020.03.18
  • Published : 2020.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

Conventional lane detection algorithms have problems in that the detection rate is lowered in road environments having a large change in curvature and illumination. The probabilistic Hough transform method has low lane detection rate since it exploits edges and restrictive angles. On the other hand, the method using a sliding window can detect a curved lane as the lane is detected by dividing the image into windows. However, the detection rate of this method is affected by road slopes because it uses affine transformation. In order to detect lanes robustly and avoid obstacles, we propose driving assist system using semantic segmentation based on deep learning. The architecture for segmentation is SegNet based on VGG-16. The semantic image segmentation feature can be used to calculate safety space and predict collisions so that we control a vehicle using adaptive-MPC to avoid objects and keep lanes. Simulation results with CARLA show that the proposed algorithm detects lanes robustly and avoids unknown obstacles in front of vehicle.

기존의 차선 검출 방법들은 곡률과 날씨 변화가 큰 도로 환경에서 검출률이 낮다. 확률적 허프 변환을 이용한 방법은 에지와 직선의 각도를 이용해서 차선을 검출함으로 곡선과 악천후일 때 검출률이 낮다. 슬라이딩 윈도우 방법은 윈도우로 이미지를 분할해서 검출하기 때문에 곡선 형태의 차선도 검출하지만 어파인 변환을 사용하기 때문에 도로의 경사율에 영향을 받는다. 본 논문에서는 다양한 외부 환경에서도 차선을 강인하게 검출하고 장애물을 회피하기 위한 딥러닝 기반의 주행 보조 시스템을 제안한다. VGG-16기반의 SegNet으로 입력 영상을 의미론적으로 분할해서 차선을 검출한다. 검출한 차선과의 이격거리를 계산하고 안전범위를 산출해서 차량이 차선의 중앙을 주행하도록 제어한다. 또한, 전방의 미확인 물체와 충돌이 예상되면 운전자에게 경보를 주고 Adaptive-MPC로 차량을 제어해서 충돌을 회피하는 알고리즘도 제안한다. CARLA로 시뮬레이션한 결과 제안한 알고리즘은 곡률이 큰 차선과 다양한 환경에서도 강인하게 차선을 검출하고 전방의 안전범위를 계산하여 충돌을 회피하는 것을 볼 수 있다.

Keywords

References

  1. Peijiang Chen, Junhao Jiang, "Algorithm Design of Lane Departure Warning System Based on Image Processing," 2018 2nd IEEE Advanced Information Management, Communicates, Electronic and Automation Control Conference, pp.2497-2501, 2018. DOI: 10.1109/IMCEC.2018.8469505
  2. Bubly Barua, Shuva Biswas, Kaushik Deb, "An Efficient Method of Lane Detection and Tracking for Highway Safety," 1st International Conference on Advances in Science, Engineering and Robotics Technology, 2019. DOI: 10.1109/ICASERT.2019.8934664
  3. Le-Anh Tran, My-Ha Le, "Robust U-Net-based Road Lane Markings Detection for Autonomous Driving," 2019 International Conference on System Science and Engineering, pp.62-66, 2019. DOI: 10.1109/ICSSE.2019.8823532
  4. Junlan Chen, Ke Wang, Huanhuan Bao, Tao Chen, "A Design of Cooperative Overtaking Based on Complex Lane Detection and Collision Risk Estimation," IEEE Access, vol.7, pp.87951-87959, 2019. DOI: 10.1109/ACCESS.2019.2922113
  5. Jannik Fritsch, Tobias Kuhnl, Franz Kummert, "Monocular Road Terrain Detection by Combining Visual and Spatial Information," Transactions on Intelligent Transportation Systems, Vol.15, No.4, pp.1586-1596, 2014. sDOI: 10.1109/TITS.2014.2303899
  6. Liya kolmanovsky, Calos Guardiola, Luigi Glielmo, Automotive model predictive control models methods and applications, Springer, 2010. DOI: 10.1007/978-1-84996-071-7
  7. "CARLA Simulator," http://carla.org/