The Journal of the Korea institute of electronic communication sciences (한국전자통신학회논문지)

Korea Institute of Electronic Communication Science (한국전자통신학회)
권호 표지
DOI QR코드

DOI QR Code

Autonomous Driving Platform using Hybrid Camera System

복합형 카메라 시스템을 이용한 자율주행 차량 플랫폼

  • 이은경 (호남대학교 미래자동차공학부)
  • Received : 2023.10.23
  • Accepted : 2023.12.27
  • Published : 2023.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a hybrid camera system that combines cameras with different focal lengths and LiDAR (Light Detection and Ranging) sensors to address the core components of autonomous driving perception technology, which include object recognition and distance measurement. We extract objects within the scene and generate precise location and distance information for these objects using the proposed hybrid camera system. Initially, we employ the YOLO7 algorithm, widely utilized in the field of autonomous driving due to its advantages of fast computation, high accuracy, and real-time processing, for object recognition within the scene. Subsequently, we use multi-focal cameras to create depth maps to generate object positions and distance information. To enhance distance accuracy, we integrate the 3D distance information obtained from LiDAR sensors with the generated depth maps. In this paper, we introduce not only an autonomous vehicle platform capable of more accurately perceiving its surroundings during operation based on the proposed hybrid camera system, but also provide precise 3D spatial location and distance information. We anticipate that this will improve the safety and efficiency of autonomous vehicles.

본 논문에서는 자율주행 인지 기술의 핵심 요소인 객체 인식과 거리 측정을 위해 서로 다른 초점거리를 가진 다시점 카메라와 라이다(LiDAR) 센서를 결합한 복합형 카메라 시스템을 제안한다. 제안한 복합형 카메라 시스템을 이용해 장면 안의 객체를 추출하고, 추출한 객체의 정확한 위치와 거리 정보를 생성한다. 빠른 계산 속도와 높은 정확도, 실시간 처리가 가능하다는 장점 때문에 자율주행 분야에서 많이 사용하고 있는 YOLO7 알고리즘을 이용해 장면 안의 객체를 추출한다. 그리고 객체의 위치와 거리 정보를 생성하기 위해 다시점 카메라를 이용해 깊이맵을 생성한다. 마지막으로 거리 정확도를 향상시키기 위해 라이다 센서에서 획득한 3차원 거리 정보와 생성한 깊이맵을 하나로 결합한다. 본 논문에서는 제안한 복합형 카메라 시스템을 기반으로 주행중인 주변 환경을 더욱 정확하게 인식함과 동시에 3차원 공간상의 정확한 위치와 거리 정보까지 생성할 수 있는 자율주행 차량 플랫폼을 제안하였으며, 이를 통해 자율주행 차량의 안전성과 효율성을 향상시킬 수 있을 것으로 기대한다.

Keywords

Acknowledgement

이 논문은 2022년도 호남대학교 학술연구비 지원을 받아 연구되었음.

References

  1. Road vehicles - Safety of the intended functionality, ISO 21448:2022, Dec. 2022.
  2. J.-S. Kim, Y.-T. Ju, and E.-K. Kim, "Object Recognition Technology using LiDAR Sensor for Obstacle Detection of Agricultural Autonomous Robot," The Journal of the Korea institute of electronic communication sciences, vol. 13, no. 3, pp. 565-570, Jan. 2021.
  3. Y. Yangyang, C. Houjin, Z. Chi, H. Xiaoli, and Z. Zhaoxiang, "SARPNET: Shape Attention Regional Proposal Network for liDAR-based 3D Object Detection," The Journal of Neurocomputing, vol. 379, no. 28. pp. 53-63, Feb. 2020. https://doi.org/10.1016/j.neucom.2019.09.086
  4. E. Alibek, and K.-C. Kim, "Metal Surface Defect Detection and Classification using EfficientNetV2 and YOLOv5," The Journal of the Korea institute of electronic communication sciences, vol. 17, no. 4, pp. 577-586, Aug. 2022.
  5. A. Pedro, and S. Vitor, "YOLO-Based Object Detection and Tracking for Autonomous Vehicles Using Edge Devices," in Proceedings of ROBOT2022: Fifth Iberian Robotics Conference, Zaragoza, Spain, 2022.
  6. J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, and C. Stachniss, "CNN-Based Object Detection and Distance Prediction for Autonomous Driving Using Stereo Images," International Journal of Automotive Technology, vol. 24, 2023, pp. 773-786
  7. Z. Zhang, ''A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, Nov. 2000, pp. 1330-1334. https://doi.org/10.1109/34.888718
  8. F. Andrea, T. Emanuele, and V. Alessandro, "A compact algorithm for rectification of stereo pairs," Machine Vision and Applications, vol. 12, Mar. 2000, pp. 16-22. https://doi.org/10.1007/s001380050120
  9. H. Hirschmuller, "Accurate and Efficient Stereo Processing by Semi-Global Batching and Mutual Information," IEEE Conference on Computer Vision and Pattern Recognition, vol. 2. 2005, pp. 807-814.
  10. S. Arun, S. Thomas, and D. Huang, "Least-square fitting of two 3-D point sets," IEEE Pattern Analysis and Machine Intelligence, vol. 9 no. 5, 1987, pp. 698-700. https://doi.org/10.1109/TPAMI.1987.4767965