The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Forward Vehicle Detection Algorithm Using Column Detection and Bird's-Eye View Mapping Based on Stereo Vision

스테레오 비전기반의 컬럼 검출과 조감도 맵핑을 이용한 전방 차량 검출 알고리즘

  • Received : 2011.06.02
  • Accepted : 2011.09.28
  • Published : 2011.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a forward vehicle detection algorithm using column detection and bird's-eye view mapping based on stereo vision. The algorithm can detect forward vehicles robustly in real complex traffic situations. The algorithm consists of the three steps, namely road feature-based column detection, bird's-eye view mapping-based obstacle segmentation, obstacle area remerging and vehicle verification. First, we extract a road feature using maximum frequent values in v-disparity map. And we perform a column detection using the road feature as a new criterion. The road feature is more appropriate criterion than the median value because it is not affected by a road traffic situation, for example the changing of obstacle size or the number of obstacles. But there are still multiple obstacles in the obstacle areas. Thus, we perform a bird's-eye view mapping-based obstacle segmentation to divide obstacle accurately. We can segment obstacle easily because a bird's-eye view mapping can represent the position of obstacle on planar plane using depth map and camera information. Additionally, we perform obstacle area remerging processing because a segmented obstacle area may be same obstacle. Finally, we verify the obstacles whether those are vehicles or not using a depth map and gray image. We conduct experiments to prove the vehicle detection performance by applying our algorithm to real complex traffic situations.

본 논문에서는 스테레오 비전기반의 컬럼 검출과 조감도 맵핑을 이용한 전방 차량 검출 알고리즘을 제안한다. 제안된 알고리즘은 실제 복잡한 도로 환경에서 전방 차량을 강건하게 검출할 수 있다. 전체적인 알고리즘은 도로 특징기반의 컬럼 검출, 조감도 기반의 장애물체 세그멘테이션, 차량 특징기반의 영역 재결합, 차량 검증으로 크게 네 단계로 구성되어 있다. 먼저 v-시차맵상에서 최대 빈도값을 이용하여 도로 특징 정보만을 추출한 후, 이를 기반으로 컬럼 검출을 수행한다. 도로 특징 정보는 기존의 중앙값과 달리 도로 환경에 영향을 받지 않아 도로상의 장애물체 유무를 판단하는 기준으로 적절하다. 그러나 다수의 장애물체가 동일한 장애물체로 검출되는 것을 해결하기 위하여 조감도 기반의 세그멘테이션을 수행한다. 조감도는 시차맵과 카메라 정보를 기반으로 계산된 장애물체들의 위치를 평면상에 표시함으로써 장애물체를 쉽게 분리할 수 있다. 그러나 분리된 장애물체 중에는 동일한 장애물체인 경우도 있으므로, 도로상의 차량 특징을 기반으로 장애물체가 동일한지를 판단하여 재결합하는 과정을 수행한다. 마지막으로 시차맵과 그레이 영상기반의 차량 검증 단계를 수행하여 차량만 검출한다. 제안된 알고리즘을 실제 복잡한 도로 영상에 적용함으로써 차량 검증 성능을 검증한다.

Keywords

Acknowledgement

Supported by : 대구경북과학기술원

References

  1. S. Zehang, B. George, and M. Ronald, "On-Road Vehicle Detection: A Review," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.28, No.5, pp.694-711, 2006. https://doi.org/10.1109/TPAMI.2006.104
  2. V. Kastinaki, M. Zervakis, and K. Kalaitozakis, "A survey of video processing techniques for traffic applications," Image, Vision, and Computing, Vol.21, No.4, pp.359-381, 2003. https://doi.org/10.1016/S0262-8856(03)00004-0
  3. A. Broggi, P. Cerri, and P. C. Antonello, "Multi-resolution vehicle detection using artificial vision," 2004 IEEE Intelligent Vehicles Symposium, pp.310- 314, 2004.
  4. L. W. Tsai, J. W. Hsieh, and K. C. Fan, "Vehicle Detection Using Normalized Color and Edge Map," IEEE Transactions on Image Processing, Vol.16. No.3, pp.850-864, 2007. https://doi.org/10.1109/TIP.2007.891147
  5. C. Tzomakas and W. Seelen, "Vehicle Detection in Traffic Scenes Using Shadows," Technical report 98-06, Institute for Neuroinformatik, Ruht-university, 1998.
  6. A. Broggi, M. Bertozzi, A. Fascioli, C.G.L., Bianco, and A. Piazzi, "Visual Perception of Obstacles and Vehicles for Platooning," IEEE Transactions on Intelligent Transportation Systems, Vol.1, No.3, pp.164-176, 2000. https://doi.org/10.1109/6979.892153
  7. H. G. Jung, Y. H. Lee, B. J. Kim, P. J. Yoon, and J. H. Kim, "Stereo Vision-Based Forward Obstacle Detection," International Journal of Automotive Technology, Vol.8, No.4, pp.493-504, 2007.
  8. G. Toulminet, M. Bertozzi, S. Mousset, A. Bensrhair, and A. Broggi, "Vehicle Detection by Means of Stereo Vision-Based Obstacles Features Extraction and Monocular Pattern Analysis," IEEE Transactions on Image Processing, Vol.15, No.8, pp.2364-2375, 2006. https://doi.org/10.1109/TIP.2006.875174
  9. R. Labayrade, D. Aubert, and J.-P. Tarel, "Real time obstacle detection on non flat road geometry through V-disparity representation," IEEE Intelligent Vehicles Symposium, Versailles, pp.646-651, 2002.
  10. R. Labayrade, D. Aubert, "Onboard Road Obstacles Detection in Night Condition Using Binocular CCD Cameras," ESV 2003 Proceedings, pp.19-22, 2003.
  11. Brendan M. Collins, Alain L. Kornhauser, "Stereo vision for obstacle detection in autonomous navigation," DARPA grand challenge Princeton university technical paper, May, 2006.
  12. Chung-Hee Lee, Young-Chul Lim, Soon Kwon and Jong-Hun Lee, "Stereo Vision-Based Vehicle Detection Using a Road Feature and Disparity Histogram," Optical Engineering, Vol.50, No.2, pp.027004-027004-23, 2011. https://doi.org/10.1117/1.3535590
  13. 이충희, 임영철, 권순, 이종훈, "U-시차맵과 조감도를 이용한 스테레오 비전 기반의 장애물체 검출 및 차량 검증 방법," 대한 전자공학회, 제47권, 제6호, pp.86-96, 2010
  14. 이충희, 임영철, 권순, 이종훈, "스테레오 비전 기반의 도로 특징 정보 추출 및 장애물체 검출," 대한전자공학회, 제46권, 제6호, pp.28-37, 2009
  15. 이충희, 임영철, 권 순, 이종훈, "스테레오 비전 기반의 이동객체 용 실시간 환경 인식 시스템," 대한임베디드공학회, 제3권, 제3 호, pp.143-150, 2008
  16. Chung-Hee Lee, Young-Chul Lim, Soon Kwon and Jong-Hun Lee, "Obstacle localization with a binarized v-disparity map using local maximum frequency values in stereo vision," International Conference on Signals, Circuits and Systems 2008, pp.1-4, Nov., 2008.
  17. R. Hartley, and A. Zisserman, Multiple View Geometry, 2nd ed., Cambridge University Press, 2003.
  18. T. Bdiri, F. Moutarde, and B. Steux, "Visual Object Categorization with New Keypoint-Based adaBoost Features," IEEE Intelligent Vehicles Symposium 2009, pp.393-398, 2009.