KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Filtering-Based Method and Hardware Architecture for Drivable Area Detection in Road Environment Including Vegetation

초목을 포함한 도로 환경에서 주행 가능 영역 검출을 위한 필터링 기반 방법 및 하드웨어 구조

  • 김영현 (경북대학교 전자전기공학부) ;
  • 하지석 (경북대학교 전자전기공학부) ;
  • 최철호 (경북대학교 전자전기공학부) ;
  • 문병인 (경북대학교 전자공학부/대학원 전자전기공학부)
  • Received : 2021.06.25
  • Accepted : 2021.08.31
  • Published : 2022.01.31
Download PDF
⟨ Previous Next ⟩

Abstract

Drivable area detection, one of the main functions of advanced driver assistance systems, means detecting an area where a vehicle can safely drive. The drivable area detection is closely related to the safety of the driver and it requires high accuracy with real-time operation. To satisfy these conditions, V-disparity-based method is widely used to detect a drivable area by calculating the road disparity value in each row of an image. However, the V-disparity-based method can falsely detect a non-road area as a road when the disparity value is not accurate or the disparity value of the object is equal to the disparity value of the road. In a road environment including vegetation, such as a highway and a country road, the vegetation area may be falsely detected as the drivable area because the disparity characteristics of the vegetation are similar to those of the road. Therefore, this paper proposes a drivable area detection method and hardware architecture with a high accuracy in road environments including vegetation areas by reducing the number of false detections caused by V-disparity characteristic. When 289 images provided by KITTI road dataset are used to evaluate the road detection performance of the proposed method, it shows an accuracy of 90.12% and a recall of 97.96%. In addition, when the proposed hardware architecture is implemented on the FPGA platform, it uses 8925 slice registers and 7066 slice LUTs.

첨단 운전자 보조 시스템(advanced driver assistance system)의 주요 기능 중 하나인 주행 가능 영역 검출은 차량이 안전하게 주행할 수 있는 영역을 검출하는 것을 의미한다. 주행 가능 영역 검출은 운전자의 안전과 밀접한 연관이 있으며 실시간 동작과 높은 정확도 성능을 요구한다. 이러한 조건들을 충족하기 위해, 영상의 각 행에서 도로 시차 값을 계산하여 주행 가능 영역을 검출하는 V-시차 기반 방법이 폭넓게 사용된다. 그러나 V-시차 기반 방법은 시차 값이 정확하지 않거나 객체의 시차 값이 도로의 시차 값과 동일한 경우, 도로가 아닌 영역을 도로로 오검출할 수 있다. 또한, 고속도로 및 시골길과 같이, 초목을 포함한 도로 환경에서 초목의 시차는 도로의 시차 특성과 매우 유사하기 때문에 초목 영역이 주행 가능 영역으로 오검출될 수 있다. 이에 본 논문에서는 V-시차의 특성으로 인한 오검출 횟수를 감소시킴으로써 초목 영역을 포함한 도로 환경에서 높은 정확도를 갖는 주행 가능 영역 검출 방법 및 하드웨어 구조를 제안한다. 제안하는 방법의 성능을 평가하기 위해 KITTI road dataset의 289장 영상을 사용하였을 때, 제안하는 방법은 90.12%의 정확도와 97.96%의 재현율을 보인다. 또한, 제안하는 하드웨어 구조를 FPGA 플랫폼에 구현하였을 때, 제안하는 하드웨어 구조는 8925개의 slice registers와 7066개의 slice LUTs를 사용한다.

Keywords

Acknowledgement

이 논문은 2021년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업(NRF-2016R1D1A3B01015379)의 연구결과임.

References

  1. C. Nocera, G. Papotto, A. Cavarra, E. Ragonese, and G. Palmisano, "A 13.5-dBm 1-V power amplifier for W-Band automotive radar application in 28-nm FD-SOI CMOS technology," IEEE Transactions on Microwave Theory and Techniques, Vol.69, No.3, pp.1654-1660, 2021. https://doi.org/10.1109/TMTT.2020.3048934
  2. E. Yurtsever, J. Lambert, A. Carballo, and K. Takeda, "A survey of autonomous driving: Common practices and emerging technology," IEEE Access, Vol.8, pp.58443-58469, 2020. https://doi.org/10.1109/access.2020.2983149
  3. I. Benacer, A. Hamissi, and A. Khouas, "Hardware design and FPGA implementation for road plane extraction based on V-disparity approach," in Proceeding of 2015 IEEE International Symposium on Circuit and Systems (ISCAS), Lisbon, pp.2053-2056, 2015.
  4. M. Grinberg and B. Ruf, "UAV use case: Real-time obstacle avoidance system for unmanned aerial vehicles based on stereo vision," Towards Ubiquitous Low-power Image Processing Platforms, Cham, Springer, pp.139-149, 2021.
  5. J. K. Suhr and H. G. Jung, "Enhancement of uv-disparity-based obstacle detection in urban environments," KSAE 2011 Annual Conference, pp.1293-1298, 2011.
  6. Z. Hu and K. Uchimura, "U-V-disparity: An efficient algorithm for stereovision based scene analysis," IEEE Proceedings Intelligent Vehicles Symposium, pp.48-54, 2005.
  7. S. Lee, J. Hyun, Y. S. Kwon, J. H. Shim, and B. Moon, "Vision-sensor-based drivable area detection technique for environments with changes in road elevation and vegetation," Journal of Sensor Science and Technology, Vol.28, No.2, pp.94-100, 2019. https://doi.org/10.5369/JSST.2019.28.2.94
  8. Y. Kim, J. Ha, C.-H. Choi, and B. Moon, "A method and hardware architecture of drivable area detection based on filtering in road environment including vegetation," The KIPS Spring Conference 2021, pp.536-539, 2021.
  9. J. Zhang, S. Sclaroff, Z. Lin, X. Shen, B. Price, and R. Mech, "Minimum barrier salient object detection at 80 FPS," in Proceeding of 2015 IEEE International Conference on Computer Vision (ICCV), pp.1404-1412, 2015.
  10. P. Sharma, G. Singh, and A. Kaur, "Different techniques of edge detection in digital image processing," International Journal of Engineering Research and Applications, Vol.3, No.3, pp.458-461, 2013.
  11. H. Alhaija, S. Mustikovela, L. Mescheder, A. Geiger, and C. Rother, "Augmented reality meets computer vision: Efficient data generation for urban driving scenes," International Journal of Computer Vision (IJCV), Vol.126, pp.961-972, 2018. https://doi.org/10.1007/s11263-018-1070-x
  12. S. Alvares, "An exact analytical relation among recall, precision, and classification accuracy in information retrieval," Boston College, Boston Technical Report BCCS-02-01, pp. 1-22, 2002.
  13. M. Junker, R. Hoch, and A. Dengel, "On the evaluation of document analysis components by recall, precision, and accuracy," in Proceeding of the Fifth International Conference on Document Analysis and Recognition, ICDAR '99 (Cat. No.PR00318), pp.713-716, 1999.
  14. J. Fritsch, T. Kuhnl, and A. Geiger, "A new performance measure and evaluation benchmark for road detection algorithms," in Proceeding of 16th International IEEE Conference on Intelligent Transportation System (ITSC), pp.1693-1700, 2013.