The Journal of the Korea institute of electronic communication sciences (한국전자통신학회논문지)

Korea Institute of Electronic Communication Science (한국전자통신학회)
권호 표지
DOI QR코드

DOI QR Code

Depth Generation using Bifocal Stereo Camera System for Autonomous Driving

자율주행을 위한 이중초점 스테레오 카메라 시스템을 이용한 깊이 영상 생성 방법

  • 이은경 (호남대학교 미래자동차공학부)
  • Received : 2021.09.28
  • Accepted : 2021.12.17
  • Published : 2021.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we present a bifocal stereo camera system combining two cameras with different focal length cameras to generate stereoscopic image and their corresponding depth map. In order to obtain the depth data using the bifocal stereo camera system, we perform camera calibration to extract internal and external camera parameters for each camera. We calculate a common image plane and perform a image rectification for generating the depth map using camera parameters of bifocal stereo camera. Finally we use a SGM(Semi-global matching) algorithm to generate the depth map in this paper. The proposed bifocal stereo camera system can performs not only their own functions but also generates distance information about vehicles, pedestrians, and obstacles in the current driving environment. This made it possible to design safer autonomous vehicles.

본 논문에서는 이중시점 스테레오 이미지와 그에 상응하는 깊이맵을 생성하기 위해 서로 다른 초점거리를 가지고 있는 두 카메라를 결합한 이중시점 스테레오 카메라 시스템을 제안한다. 제안한 이중초점 스테레오 카메라 시스템을 이용해 깊이맵을 생성하기 위해서는 먼저 서로 다른 초점을 가진 두 카메라에 대한 카메라 정보를 추출하기 위한 카메라 보정(Camera Calibration)을 수행한다. 카메라 파라미터를 이용해 깊이맵 생성을 위한 공통 이미지 평면을 생성하고 스테레오 이미지 정렬화(Image Rectification)를 수행한다. 마지막으로 정렬화된 스테레오 이미지를 이용하여 깊이맵을 생성하였다. 본 논문에서는 깊이맵을 생성하기 위해서 SGM(Semi-global Matching) 알고리즘을 사용하였다. 제안한 이중초점 스테레오 카메라 시스템은 서로 다른 초점 카메라들이 수행해야 하는 기능을 수행함과 동시에 두 카메라를 이용한 스테레오 정합(Stereo Matching)을 통해서 현재 주행 중인 환경에서의 차량, 보행자, 장애물과의 거리 정보까지 생성할 수 있어서 보다 안전한 자율주행 차량 설계를 가능하게 하였다.

Keywords

Acknowledgement

이 논문은 2021년도 호남대학교 학술연구비 지원을 받아 연구되었음.

References

  1. M. Buehler, K. Iagnemma, and S. Singh, The 2005 DARPA Grand Challenge: The Great Robot Race. Berlin: Springer, 2007.
  2. J. Levinson, J. Askeland, J. Becker, J. Dolson, D. Held, S. Kammel, J. Z. Kolter, D. Langer, O. Pink, V. Pratt, M. Sokolsky, G. Stanek, D. Stavens, A. Teichman, M. Werling, and S. Thrun, '"Towards fully autonomous driving: Systems and algorithms," in Proc. of IEEE Intell.Vehicles Symp. (IV), Baden-Baden, Germany, June 2011, pp. 163-168.
  3. T.-S. Kim, Y.-G. Kim, H.-W. Jeong, Y.-J. Kim, and Y.-W. Park, "Study of Autonomous Navigation for Path Guide System Using RFID," The Journal of the Korea institute of electronic communication sciences, vol. 14, no. 1, pp. 213-218, Feb. 2019. https://doi.org/10.13067/JKIECS.2019.14.1.213
  4. Y.-S. Ahn and S.-W. Kwak, "Long Distance Vehicle Recognition and Tracking using Shadow," The Journal of the Korea institute of electronic communication sciences, vol. 14, no. 1, pp. 251-256, Feb. 2019. https://doi.org/10.13067/JKIECS.2019.14.1.251
  5. Working Party on Automated/Autonomous and Connected Vehicles (GRVA), "Framework document on automated/autonomous vehicles," Technical report, Dec. 2019.
  6. D. Park and H. Kim, "Improved Object Recognition using Multi-view Camera for ADAS," Journal of Broadcast Engineering, vol. 24, no. 4, July 2019, pp. 573-579. https://doi.org/10.5909/JBE.2019.24.4.573
  7. Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, Nov. 2000, pp. 1330-1334. https://doi.org/10.1109/34.888718
  8. F. Andrea, T. Emanuele, and V. Alessandro, "A compact algorithm for rectification of stereo pairs," Machine Vision and Applications, vol. 12, Mar. 2000, pp. 16-22. https://doi.org/10.1007/s001380050120
  9. H. Hirschmuller, "Accurate and Efficient Stereo Processing by Semi-Global Batching and Mutual Information," IEEE Conference on Computer Vision and Pattern Recognition, vol. 2. 2005, pp. 807-814.
  10. D. Scharstein and R. Szeliski, "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms," International Journal of Computer Vision, vol 47, Apr. 2002, pp. 7-42. https://doi.org/10.1023/A:1014573219977