Ⅰ. 서 론
미래 자동차 기술 개발에서 운전자 및 탑승자의 편의성과 안전성이 강조되면서 그에 관련된 장치 및 기술 등이 개발되고 있다. 대표적인 상용화된 운전자 편의 장치로는 운전자가 원하는 목적지까지의 최단 거리 주행을 안내하는 내비게이션(navigation)이 있다. 최근에는 구글, 다음, 네이버 맵과 같은 전자지도에서도 내비게이션 기능을 제공하고 있다. 이러한 내비게이션 서비스를 위해서는 전자 지도의 지속적인 유지 보수가 필수적인데, 현재는 이를 위해 현장 조사원이 실제 도로에서 도로 정보들을 수집하여 업데이트 하고 있다. 인력을 이용한 차도 정보 수집은 시간 효율이 떨어지며 부정확한 결과를 가질 수 있다. 이러한 문제를 해결하기 위해 전자 지도 구축의 자동화를 위한 도로 면의 정보 수집 기술에 대한 연구가 활발히 이루어지고 있다. 도로 면의 정보 중에서도 노면의 방향지시기호와 차선은 내비게이션의 핵심 정보라고 할 수 있다. 본 논문에서는 도로 노면의 방향 지시기호를 자동으로 인식하고 이를 통해 도로의 차선 위치를 효율적이면서 정확하게 검출하는 방법을 제안하고자 한다. 도로 노면의 방향 지시기호는 그림 1-(a)와 같이 주행 방향을 나타내는 차도 위의 기호들을 의미하고, 차선이란 그림 1-(b)처럼 차도를 나누는 흰 선들을 의미한다.
그림 1.노면의 방향지시기호 인식 및 차선 검출의 예 (a) 방향지시 기호 인식 (b) 차선 검출 Fig. 1. Example of road marking recognition on road surface and lane detection (a) road marking recognition (b) lane detection
차선의 경우 방향지시기호와 색상이 같고, 모양도 유사하여 기호를 차선으로 인식하는 경우가 많은데, 본 논문에서는 방향지시기호를 먼저 검출하여 인식함으로써 차선 검출의 정확성도 높일 수 있는 방법을 제안하였다.
기존 연구들은 대부분 노면의 방향지시 기호 인식보다는 차선 인식 연구들이 주류를 이루고 있다. Aly[1]는 허프 변환(Hough Transform)을 통해 영상의 모든 차선을 검출하였는데, 이 방법은 실선에는 강인하지만 점선인 경우 부정확한 검출률을 보이는 문제점이 있다. Satzoda[2]는 차선 검출의 정확도를 높이기 위하여 자동차 검출을 먼저 수행한 후, 차선을 검출하는 방법을 제안하기도 하였다. 방향지시기호 인식 연구들에서 사용하는 대표적인 특징은 Projection[3]과 HOG[4]가 있다. Projection은 낮은 차원을 가져 특징 추출시간이 적고 픽셀 개수를 사용하므로 약간의 왜곡된 영상에서 강인하지만, 대부분의 모양 정보를 잃어 낮은 정확도를 보인다. HOG는 방향지시기호와 같이 일정한 형태를 가지는 입력의 인식에 높은 정확도를 가져 여러 논문들[4,5,6]에서 응용되어 사용되었다. 그 외에도 영상에서 물체 후보 윈도우를 제시하여 연산량을 줄이는 방법인 Object proposal 이 방향지시기호 검출 방법에도 응용 가능성을 보여주는 논문[7]이 소개 되었지만 실시간 적용이 어렵다는 문제점이 있다. 본 논문에서는 정확한 노면의 방향지시기호 인식을 통해 차선 위치 검출의 정확도를 높이는 방법을 제안하고자 한다.
Ⅱ. 제안하는 방법
본 논문에서 제안하는 방향지시기호 인식 및 차선 검출 시스템은 그림 2와 같은 과정으로 구성된다. 영상이 입력되면 카메라 각도에 의한 왜곡을 제거하기 위하여 Top-view 영상으로 변환한다. 변환된 영상에서 중앙선의 위치를 검출하고, 주행 방향의 영역에서만 방향지시기호 및 차선을 검출하도록 한다. 먼저, 방향지시기호의 후보가 되는 영역을 검출하고 인식하여 이를 제거한 후 차선을 검출하도록 하였다. 만약 방향지시기호의 후보가 없을 경우에는 바로 차선을 검출하도록 한다.
그림 2.제안하는 시스템의 흐름도 Fig. 2. Flow chart of the proposed system
1. Top-view 변환
영상이 입력되면 카메라 각도에 의한 왜곡을 제거하기 위하여 Top-view영상으로 변환한다. 도로 영역부분만 Top-view영상으로 변경하기 위해 Marco와 Luis가 제안한 방법을 이용하여 소실점을 검출[8]하고, 그림 3-(c)와 같이 소실점 아래 영역에서 하단 영역을 제외한 영상만을 사용하여 그림 3-(d)와 같은 Top-view 영상을 생성한다.
그림 3.Top-view 영상 변환 과정 (a) 입력 영상 (b) 소실점 검출 입력 영역 (c) 소실점 검출 결과 (d) top-view 영상 Fig. 3. Top-view image transformation process (a) input image (b) cropped image (c) vanishing point detection result (d) top-view image
2. 중앙선 검출
제안하는 시스템은 주행방향 도로영역에서만 방향지시 기호 및 차선을 검출하기 때문에 Top-view로 변환한 영상에서 중앙선을 먼저 검출한다. 차도는 중앙선을 기준으로 대칭되는 특성을 가지기 때문에, 중앙선 검출 후 오른쪽 도로 영역만 분석한다. 본 논문에서는 중앙선 검출을 위해 색상정보를 사용하였다. 입력영상을 HSV칼라 모델로 변환하여 수식 (1)과 같이 Hue값을 이용하여 그림 4-(b)의 노란색 후보 영역을 검출한다. 후보 영역이 검출되면 그림 4-(c)와 같이 x축으로 투영(projection)한 히스토그램을 생성하여 빈의 값이 가장 높은 부분을 중앙선으로 검출하게 된다. 검출 결과를 그림 4-(d)에 나타내었다.
그림 4.중앙선 검출 과정 (a) 입력영상 (b) 노란색 후보 픽셀의 이진 영상 (c) 노랑 후보 픽셀의 히스토그램 (d) 중앙선 검출 결과 Fig. 4. Centerline detection process (a) input image (b) binary image of yellow candidate pixels (c) histogram of yellow pixels (d) centerline detection result
3. 방향지시기호 후보 검출 및 인식
중앙선 검출 후 운전자 주행 방향인 중앙선 오른쪽 도로 영역에서만 방향지시기호를 검출하게 된다. 그림 5는 방향 지시기호 후보 영역을 구하는 과정이다. 후보 영역을 구하기 위해 중앙선을 기준으로 잘린 그림 4-(d)영상의 이진화가 필요하다. 본 논문에서는 정확한 후보 검출을 위해 도로 영상 이진화에 많이 사용되는 Foucher[9]가 제안한 방법을 사용하였다. 그림 5-(a)와 같이 이진 영상이 생성되면 방향 지시기호 영역을 검출하기 위해 흰색 화소들의 연결된 영역인 블랍(blob)을 추출한다. 블랍 추출 전 노이즈를 제거하기 위해 모폴로지 연산을 수행한 후 블랍을 추출하게 된다. 많은 블랍 중에 방향지시기호 블랍을 찾아내는 것이 중요한데 본 논문에서는 방향지시기호는 가로 및 세로 비율이 1: 2이고, 블랍의 가로 너비가 일정 이상인 특징을 가진다는 특성을 사용하였다. 그림 5-(b)는 입력된 이진 영상에서 방향지시기호 후보 영역을 녹색박스로 표기한 결과이다. 후보영역이 검출되고 나면 인식 단계가 수행된다. 일반적으로 단순한 에지 정보를 가지는 물체 인식에 HOG(Histogram Oriented Gradients)서술자를 많이 사용한다. HOG 서술자는 그림자나 마모로 인하여 기호의 모양 등이 훼손되었을 경우, 에지의 형태변화가 심하기 때문에 인식률이 낮은 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 기존의 HOG 서술자에 SP(Split Projection)특징을 결합한 HOG-SP(Histogram Oriented Gradients- Split Projection)서술자를 제안한다. SP는 기존에 있는 Projection방법에서 착안한 것으로 그림 6-(a), (b)처럼 검출된 방항 지시기호 영역을 수평, 수직 방향으로 3등분하여 각각의 영상에서 추출한 특징이다. 검출하는 방향지시기호들의 모양 특징이 잘 분류 될 수 있도록 3등분의 기준을 제안하였다.
그림 5.방향지시기호 후보 영역 검출 과정 (a) 이진 영상 (b) 후보 블랍 검출 결과 Fig. 5. Process of symbolic road marking candidate detection (a) binary image (b) results of candidate blob detection
그림 6.projection과 Split Projection 비교 (a) vertical split projection (b) horizontal split projection Fig. 6. Comparison of projection and split projection (a) vertical split projection (b) horizontal split projection
또한, SP는 본래 Projection보다 3배 높은 차원 값을 가져 모양 정보를 많이 잃는 Projection의 한계점을 개선하였다. SP 생성에서 각 열로 히스토그램을 쌓을 경우에 빈값의 큰 차이가 없어 분별력이 떨어지기 때문에, 4화소씩 양자화(quantization)하여 사용한다. 본 논문에서는 크기를 64x128 사이즈로 조정된 방향지시기호 후보영역을 사용하였고, HOG 특징이 추출 되면 Top-hat[4] 및 적응적 이진화 과정을 통해 얻은 이진 영상에서 SP를 구한다. 따라서, HOG의 3,780차원과 SP의 114차원을 합쳐(Concatenation) 3892차원을 가지는 HOG-SP 특징을 생성한다. 분류기로는 선형 SVM(Support Vector Machine)을 사용하였다. 또한, 인식의 정확도를 높이기 위해 PCA를 이용한 검증 과정을 제안한다. 먼저, 후보 영역 그레이 영상과 SVM 결과로 얻은 클래스의 복원(reconstruction) 영상과의 평균 절대 차이를 구한다. 다음으로 앞서 구한 차이가 임계값을 넘을 경우 네거티브로 판별한다. 표 1에서 트레이닝 셋으로 구한 PCA 복원 결과를 클래스 별로 확인할 수 있다.
표 1.PCA reconstruction 결과 Tabel 1. Result of PCA reconstruction
4. 차선 검출
방향지시기호가 인식되고 나면 인식된 기호 부분을 제거한 영상인 그림 7-(a)에서 차선을 검출하게 된다. 그림 7-(a)에서 차선의 위치를 검출하기 위해서, 직선 검출을 위해 많이 사용되는 LSWMS(Line Segment detection using Weighted Mean Shift procedure)[10] 알고리즘을 사용하였다. 그림 7-(b) 초록 선과 같이 직선들이 검출되면, 많은 직선들 중에 차선만을 검출하기 위하여 직선의 길이가 일정 이상이고, 각도가 70-100도 사이라는 특성을 이용하여 그림 7-(c)와 같은 후보를 검출하게 된다. 차선의 정확한 위치를 검출하기 위해 후보 픽셀을 x축으로 투영하여 히스토그램을 계산한 후, 히스토그램 빈의 값이 일정 이상일 경우 최종적으로 차선이라고 판별하였다.
그림 7.차선 검출 과정 (a) 입력 영상 (b) 직선 검출 (c) 차선 후보 검출 (d) 히스토그램 Fig. 7. Process of lane detection (a) input image (b) line detection (c) candidate lane detection (d) histogram
Ⅲ. 실험 및 분석
1. 방향지시기호 인식 실험 결과
본 논문에서의 제안한 방법은 Microsoft Visual studio 2013에서 OpenCV 3.0 버전의 라이브러리를 사용하여 C++로 구현되었고, Intel i5-3.40GHz PC에서 실험하였다. 사용한 데이터는 2000x2000의 해상도를 가진 네이버 로드 뷰(road view) 영상이며, 본 논문에서는 계산 효율을 위해 600x600 해상도로 조정하여 사용하였다. 학습한 총 11개의 기호와 사용된 영상의 개수 및 예를 표 2에 나타내었다. 또한 학습에 사용된 네거티브 셋은 표 2와 같이 총 1000개이다. 본 논문에 사용된 테스트 셋은 A와 B 두 종류로 나누어지며, A셋은 그림자 및 마모가 심한 영상으로 구성되어 있고 B셋은 선명한 도로면을 가지는 영상으로 구성하였다. 표 3은 테스트에 사용된 영상의 수량과 검출할 방향지시기호 개수를 나타내고, 그림 8은 테스트 셋의 예를 보여준다.
표 2.트레이닝 셋 Tabel 2. Training set
표 3.테스트 셋 Tabel 3. Test set
그림 8.테스트셋 의 예 (a)(b) A셋의 예 (c)(d) B셋의 예 Fig. 8. Examples of test set (a)(b) example of A test set (c)(d) example of B test set
본 논문에서는 제안한 방안의 성능을 비교하기 위해 방향지시기호 인식에 사용되는 Projection[3], HOG[4]방법과 비교 평가하였다. 성능 평가를 위해 수식 (2)와 같은 F-measure를 사용하여 정확도를 측정하였다.
표 4는 마모 및 그림자가 많은 테스트 셋 A에서 측정한 비교 결과이다. HOG와 제안하는 서술자인 HOG-SP 결과를 비교하면 좌회전, 직진 혹은 좌회전 그리고 직진 혹은 우회전을 제외한 모든 종류에서 제안하는 방법이 더 높은 인식률을 가지며, 평균 3.97% 차이 나는 것을 확인 할 수 있다. 앞서 언급한 경우에서 HOG보다 HOG-SP의 인식률이 낮은 이유는 HOG-SP에 있는 Projection의 특성인 모양 정보 손실로 인한 False positive 때문이다. 이런 False positive를 줄이기 위해 제안하는 검증을 추가하였을 때 평균적으로 2.14% 인식률이 더 높아지는 것을 확인할 수 있다. 표 5는 비교적 깨끗한 테스트 셋 B의 결과이며, 평균적으로 HOG, HOG- SP, HOG-SP와 검증을 사용한 방법 순으로 인식률이 높다. HOG-SP를 이용한 인식률이 HOG의 인식률과 비교하였을 때 4.77% 높은 정확도를 가진다. B셋에서 의 결과 중 직진 혹은 좌회전에서 제안하는 방법이 HOG보다 낮은 이유는 앞서 A셋에서의 설명과 같다. 본 논문에서 제안하는 방법은 A셋에서 구한 정확도 상승률이 B셋에서 구한 정확도 상승률보다 1.34% 높아 제안하는 방법이 마모와 그림자에 좀 더 강인하다는 것을 확인할 수 있다. 표 4와 표 5에서 이전에 제안된 방법과 제안한 방법 모두 X를 포함하는 직진 금지, 좌회전 금지 그리고 우회전 금지는 다른 종류의 기호들에 비해 낮은 인식률을 가진다. 이는 기호 마킹 중간의 X가 이어져 있지 않고 떨어져 있기 때문에 후보영역 검출 중에 X와 화살표를 각각의 방향지시기호 후보로 보기 때문이다. 최종적으로, A와 B 테스트 셋을 전부 고려하여 평균 F-measure는 HOG-SP기술자와 검증을 고려한 제안하는 방법이 81.99%의 인식률을 보이며 HOG는 75.06%의 인식률을 가져 제안하는 방법이 6.93% 높은 결과를 가진다.
표 4.테스트 셋 A의 F-measure 측정 결과 Tabel 4. F-measure results of testset A
표 5.테스트 셋 B F-measure 측정 결과 Tabel 5. F-measure results of testset B
그림 9는 HOG와 제안하는 서술자인 HOG-SP의 인식 결과 영상이다. 그림 9-(a), (b)는 HOG로 얻은 인식 결과이며, HOG-SP로 인식된 예인 그림 9-(c), (d)에서 마모와 그림자에 강인한 인식 결과를 확인할 수 있다. 그림 10은 HOG-SP 검출 결과의 좋은 예와 나쁜 예이다. 그림 10-(a), (b)에서 약간의 왜곡과 잘림에 강인한 인식 결과를 볼 수 있다. 반면, 그림 10-(c)와 같이 노면의 흠으로 인해 방향지시기호 모양의 분별이 어렵거나, 그림 10-(d)처럼 방향지시 기호가 크게 마모되어 분할의 정도가 심한 경우에는 오인식을 보여준다.
그림 9.차선 검출 입력 영상 검출 과정 (a)(b) HOG 결과 (c)(d) HOG-SP(제안) 결과 Fig. 9. Comparison of HOG and HOG-SP (a)(b) HOG result (c)(d) HOP-SP result(proposed)
그림 10.방향 지시 기호 검출 결과의 예 (a)(b) 좋은 예 (c)(d) 나쁜 예 Fig. 10. Examples of symbolic road marking detection result (a)(b) good examples (c)(d) bad examples
2. 차선 검출 실험 결과
제안하는 시스템에서는 차선 검출의 정확도를 높이기 위해 방향지시기호를 먼저 검출한 후 이 영역을 제거하고 차선을 검출하도록 하였다. 표 6은 방향지시기호 검출을 한 뒤 차선을 검출 하였을 때와 기호를 검출하지 않고 차선을 검출한 결과를 비교하여 나타내었다. GT(Ground Truth)는 검출해야할 총 차선 개수를 의미하며 FP는 false positive, TP는 true positive를 나타낸다. 방향지시기호 검출 후 차선을 검출한 결과가 기호를 검출하지 않은 결과에 비해 7.64% 높은 검출률을 보이는 것을 확인 할 수 있다.
표 6.차선 검출 결과 Tabel 6. Lane detection result
그림 11은 방향지시기호 검출 유무에 따른 차선 위치 검출 결과의 예를 보여준다. 그림 11-(a), (b)는 방향지시기호 검출 없이 차선만을 검출하였을 때의 결과를 나타내며, 그림 11-(c), (d)는 방향 지시기호 검출 후에 차선을 검출한 결과의 예이다. 그림 11-(a), (b)에서 차선과 비슷한 특성을 가진 직진 방향지시기호, 유턴 혹은 좌회전과 같이 흰색 마킹 직선이 길게 있을 경우에 차선이라고 혼동하여 오검출 결과를 보인다. 하지만 그림 11-(c), (d)에서 직진과 유턴 혹은 좌회전을 미리 검출한 후에 차선을 검출하여, 정확한 차선 위치 검출이 가능함을 알 수 있다.
그림 11.방향지시기호 검출 유무에 따른 차선 검출의 예 (a)(b) 차선 검출 예 (c)(d) 방향지시기호 검출을 통한 차선 검출의 예 Fig. 11. Examples of lane detection except symbolic road marking detection or not (a)(b) examples of lane detection (c)(d) examples of lane detection with symbolic road marking detection
Ⅳ. 결론 및 향후 연구
본 논문에서는 HOG-SP 서술자를 이용하여 정확하게 방향지시기호를 인식하고 이를 통해 향상된 차선의 위치 검출이 가능한 시스템을 제안하였다. 제안한 서술자는 마모 되거나 그림자가 끼는 등의 다양한 환경에서도 기존의 Projection[3] 및 HOG[4] 방법보다 높은 인식률 가지고, 방향지시기호를 먼저 인식함으로써 차선의 위치를 더욱 정확하게 검출함을 나타내었다. 차후 연구에서 횡단보도 및 다른 방향 지시기호들을 추가하여 통합적인 고정밀한 도로 노면 정보추출 연구를 하고자 한다. 또한 본 논문은 로드 뷰 영상에서 실험하여 직진 구간만을 고려하였지만, 향후 회전 구간 등 더욱 다양한 실험 영상으로도 연구를 수행하고자 한다.
참고문헌
- Mohamed Aly, "Real time Detection of Lane Markers in Urban Streets", in Proc. IEEE Intelligent Vehicles Symposium, pp. 7-12, June, 2008
- Ravi Kumar Satzoda and Mohan M. Trivedi, "Efficient Lane and Vehicle detection with Integrated Synergies(ELVIS)", in Proc. IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 708-713, June, 2014
- Jumpei Yamamoto, Stephen Karungaru and Kenji Terada, "Road Surface Marking Recognition using Neural Network", in Proc. IEEE International Symposium on System Integration, pp. 484-489, December, 2014
- Jae Kyu Suhr and Ho Gi Jung, "Fast Symbolic Road Marking and Stop-line Detection for Vehicle Localization", in Proc. IEEE Intelligent Vehicles Symposium, pp. 186-191, June, 2015
- Tairui Chen, Zhilu Chen, Quan Shi and Xinming Huang, "Road Marking Detection and Classification Machine Learning Algorithms", in Proc. IEEE Intelligent Vehicles Symposium, pp. 617 - 621, June, 2015
- Wei Liu, Jin Lv, Bing Yu, Weidong Shang and Huai Yuan, "Multi-type road marking recognition using adaboost detection and extreme learning machine classification", in Proc. IEEE Intelligent Vehicles Symposium, pp. 41-46, June, 2015
- Tairui Chen, Zhilu Chen, Quan Shi and Xinming Huang, "Road Marking Detection and Classification Machine Learning Algorithms", in Proc. IEEE Intelligent Vehicles Symposium, pp. 617-621, June, 2015
- Marcos Nieto and Luis Salgado, "Real-time robust estimation of vanishing points through nonlinear optimization", SPIE International Conference on Real-Time Image and Video Processing, Volume 772402, May, 2010
- Philippe Foucher, Yazid Sebsadji, Jean-Philippe Tarel, Pierre Charbonnier and Philippe Nicolle "Detection and recognition of urban road markings using images", in Proc. IEEE conference on Intelligent Transportation Systems, pp. 1747-1752, Oct, 2011
- Marcos Nieto, Carlos Cuevas, Luis Salgado and Narciso Garcı´a, “Line segment detection using weighted mean shift procedures on a 2D slice sampling strategy”, Pattern Analysis & Applications, Volume 14, pp.149-163, 2011 https://doi.org/10.1007/s10044-011-0211-4