Quickly Map Renewal through IPM-based Image Matching with High-Definition Map

IPM 기반 정밀도로지도 매칭을 통한 지도 신속 갱신 방법

Abstract

In autonomous driving, road markings are an essential element for object tracking, path planning and they are able to provide important information for localization. This paper presents an approach to update and measure road surface markers with HD maps as well as matching using inverse perspective mapping. The IPM removes perspective effects from the vehicle's front camera image and remaps them to the 2D domain to create a bird-view region to fit with HD map regions. In addition, letters and arrows such as stop lines, crosswalks, dotted lines, and straight lines are recognized and compared to objects on the HD map to determine whether they are updated. The localization of a newly installed object can be obtained by referring to the measurement value of the surrounding object on the HD map. Therefore, we are able to obtain high accuracy update results with very low computational costs and low-cost cameras and GNSS/INS sensors alone.

자율 주행에서 도로 표시는 객체 추적, 경로 계획을 위한 필수 요소이며 측위를 위한 중요한 정보를 제공할 수 있다. 이 논문은 역 관점 매핑 이미지와 정밀도로지도 투영 이미지를 매칭하여 비교함으로써 도로 노면 표지의 갱신 및 위치 측위를 하는 접근 방식을 제시한다. 역 관점 매핑(IPM; Inverse Perspective Mapping) 기법을 사용하여 차량의 전방을 촬영한 카메라 이미지에서 원근 효과를 제거하고 2D 도메인으로 버드뷰 이미지를 생성한다. 그 다음에 GNSS/INS를 참조하여 촬영된 이미지와 동일한 정밀도로지도 영역을 이미지로 생성하여 두 이미지의 노면표지가 최대한 일치하도록 피팅 한다. 또한 정지선, 횡단 보도, 점선 및 직선 등 문자와 화살표를 인식하여 정밀도로지도의 객체와 비교 함으로써 갱신 여부를 판단 한다. 그리고 새로 설치된 객체의 측위는 주변의 객체의 위치 좌표값을 정밀도로지도에서 참조하여 얻을 수 있다. 우리는 매우 낮은 계산 비용과 저가의 카메라 및 GNSS/INS 센서 만으로도 빠르게 갱신된 정밀도로지도를 얻을 수 있다.

1. Introduction

1) Related Works

자율 주행, 운전자 지원 시스템 및 내비게이션과 관련된 거의 모든 최신 애플리케이션에서 도로의 노면표지는 스스로 위치를 파악할 수 있으므로 매우 중요하다(Schreiber et al., 2013). 예를 들면, 자율 주행에 대한 접근법(Ziegler et al., 2014)에서는 교통 차선과 정지선을 포함하는 정밀도로지도를 사용하여 이동을 계획하고 다양한 교통 상황을 인식한다. 갱신 대상 객체는 고속도로에서 도시 환경에 이르기까지 교통 밀도, 시야, 장애물 유형(차량, 트럭, 자전거, 보행자 등), 도로 차선 수 등의 다양한 도로 서설물이다.

도로에 차선 표시 감지는 카메라 기반 운전자 지원 시스템에서 중요한 주제이다. 초기 작업의 대부분은 특히 고속도로(Charbonnier et al., 1997; Kluge and Lakshamanan, 2005; McCall andTrivedi, 2004)에서 차선 표시 감지에 중점을 두었다. 보다 최근의 접근 방식은 도시 지역에서 도로 객체 형상을 추적(tracking)한다. 예를 들면 노면 표시를 추적하는 방법으로 입자 필터를 활용하여 도로의 형상을 파악하는 방법을 제안되었다(Vacec et al., 2007). 도로 표시의 객체 기반 감지에 대한 다른 관점의 접근 방식은 Rebut et al. (2004)에서와 같이 특징 추출을 위해 주파수 변환기법을 사용하고, K-Nearest Neighbor 분류 방법을 통해 노면 화살표를 인지하는 방법을 다루었다. 다른 유형의 표시를 감지하는 알고리즘도 제안되었으며, 정지선 감지에 초점을 둔 주제에 대해서는 Marita et al. (2010)과 Seo et al. (2014)에서 제안되었다.

카메라를 사용하는 경우 객체의 특징점(Rabie et al., 2001) 또는 가장자리 선(Okada and Onoguchi, 2003)을 추적하는 방법을 사용한다. 일반적으로 카메라 이미지의 특징 요소의 세분화는 광학 흐름(Stein and Shashua, 2000), 조밀한 추정과 색상, 텍스처 제약(Heisele et al., 2000) 또는 정적 지도의 매개 변수화(Braillon et al., 2006)를 도입하여 수행할 수 있다. Schreiber et al. (2005)는 전방을 향한 단일 카메라를 사용하여 차선 표시를 감지하고 추적하여 도로 경계를 구분하는 방법을 제안했다. McCall et al. (2006)는 도로의 차선 표시를 추정하고 추적 하기위한 비디오 기반 운전자 보조 시스템을 설계했다. Liu et al. (2008)는 차량에 6개의 카메라를 설치하고 6개의 카메라에서 뷰 이미지를 연결한 버드뷰 비전 시스템을 제안했다.

본 논문에서는 비전 기반 도로 추정 알고리즘에서 전처리 구성 요소로 자주 사용되는 IPM 기술에 중점을 두었다. IPM은 카메라의 위치와 도로 방향의 정보를 사용하여 원근 효과가 제거된 버드뷰 이미지를 생성한다. 원근 보정을 통해 훨씬 더 효율적이고 강력한 도로 감지, 차선 표시 추적 또는 패턴 인식 알고리즘을 구현할 수 있다. 동종 좌표의 선형 매핑을 기반으로 Mallot et al. (1991)는 IPM의 수학적 이론을 다루었다. 다른 연구에서 Tan et al. (2006)은 IPM을 위한 기본 기하학적 변환 구조와 공식을 제공한다. Bertozzi et al. (1998)는 homologous점을 찾기 위한 휴리스틱 검색 방법을 제안했다. 일부 연구자들은 IPM모델을 계산하기 위해 소실점 현상을 사용하기도 했다(Nieto et al., 2007, Muad et al., 2004).

IPM은 세 가지 핵심 가정하에 작동한다. 도로는 평평한 표면이어야 하고, 카메라에서 도로로 강체 변형이 있어야 하며, 도로에는 장애물이 없어야 한다. 이것은 도로가 다른 차량, 보호벽, 보행자 등으로 채워지는 경우가 매우 많아서 현실적으로 최소한의 가정이다. 문헌에서 도로 감지를 지원하는 몇 가지 예가 있다(McCall et al., 2005, Muad et al., 2004, Dornaika et al., 2011, Guo et al., 2009). 다른 저자들은 또한 차선 표시 감지를 위해 조정 가능한 필터를 사용하고 IPM 이미지에서 필터링을 유지하여 전체 관심 영역에 걸쳐 단일 커널 크기를 사용할 수 있도록 했다(McCall et al., 2005).

본 논문에서 HD 맵을 사용한 것과 유사하게 Ma et al. (2019)은 차선 및 교통 표지 정보로 구성된 HD 맵을 사용했다. Welte et al. (2019)은 칼만 smoothing process를 통해 지도에 저장된 표시를 사용하여 차량 위치를 추정했다. Poggenhans et al. (2018)은 도로 표시와 도로 경계 정보가 포함 된 HD 맵을 사용했다. 각 감지기는 스테레오 이미지 입력에서 특징을 추출하고 무향 칼만 필터(UKF)를 사용하여 지형지물을 지도와 일치시켜 위치를 추정했다. Vivacqua et al. (2018)은 카메라로 추정한 차선 표시점과 HD 맵의 차선 정보를 매칭하여 위치 추정했다.

2) Motivations

카메라 중심의 저가의 센서(GNSS/INS)를 사용하여 IPM기술을 적용한 버드뷰 이미지를 생성하고, HD 맵과 비교하여 도로 노면 표시 객체간 매칭으로 차량위치를 추정하고, 객체를 추적(tracking)하는 부분에 대해 관련된 연구에서 착안하여 다음과 같은 연구를 진행하였다. 본 논문에서는 HD 맵에 신속한 갱신을 위해서 포함된 라벨 정보와 CNN(Convolutional Neural Network)를 통해 이미지에서 추정된 의미 정보를 사용하여 객체 단위의 맵 갱신 여부를 판단하고, 서브 미터 수준의 정확도를 갖는 갱신 객체의 글로벌 위치 결정 방법을 제안한다.

본 논문의 참신한 점은 다음과 같은 다섯가지 부분이다. 1) 우리는 기존의 사전지도 참조 및 IPM 변환, 노면 표시 객체 추적 연구에서 영감을 얻어서 IPM 결과 이미지를 World 좌표계로 변환하여 HD 맵의 동일 위치에 이미지 영역을 피팅하는 방법으로 카메라에서 인식된 노면객체의 갱신을 판단한다. 2) 이러한 이미지 피팅 과정에서 카메라의 자세를 보정할 수 있다. 3) 1)의 과정에서 노면에 그림자의 영향으로 이진화를 실패하는 것을 방지하기 위한 알고리즘을 적용하였다. 4) 또한 그림자를 배제한 이진화에서도 그림자에 의한 얼룩과 도로상의 모빌리티(차량, 보행자 등) 요소를 인식하고, 인식된 객체의 segmentation 정보를 이용해서 영향을 제거한 IPM을 얻었다. 5) 버드뷰 이미지를 HD 맵에 매칭하면 내부에 객체들은 추적 및 갱신판단을 할 수 있다. 따라서, 갱신객체의 공간좌표 추출은 HD 맵 객체의 실제 공간좌표를 활용하여 비례식으로 계산하는 방법으로 기능하다.

2. Inverse Perspective Mapping

지난 몇 년 동안 역 관점 매핑(IPM)은 지능형 교통 시스템 분야의 여러 문제에 성공적으로 적용되었다. 원근감 관련 효과를 제거하면 도로 및 장애물 감지가 용이하고 여유 공간 추정에도 도움이 된다. 그러나 도로에 장애물이 있으면 매핑의 효율성이 떨어진다. 본 논문은 다중 센서의 융합 사용을 기반으로 한 강력한 솔루션을 제안한다.

차량에 설치된 카메라 이미지는 차량의 움직임으로 인해 종종 왜곡된다. 작은 움직임도 버드 뷰 이미지에 상당한 영향을 줄 수 있다. 본 논문에서는 모션 정보를 이용하여 카메라 영상을 버드 뷰 영상으로 정확하게 변환할 수 있는 IPM 개선형 모델을 제안한다. 실험 결과 제안된 접근 방식이 드라이브 중 큰 동작에서도 안정적인 버드 뷰 이미지를 제공할 수 있음을 보여준다.

1) IPM의 원리

버드 뷰 이미지를 생성하려면 먼저 도로 표면의 한 지점(X_W, Y_W, Z_W)과 이미지 평면의 투영(u, v) (Fig. 1)에서 우리는 이것이 θ에 대한 회전, 카메라(X_c, Y_c, Z_c)의 광축을 따른 평행 이동 및 카메라 매개 변수 매트릭스에 의한 스케일링이 필요하다는 것을 알 수 있다.

Fig. 1. Image coordinate system and camera coordinate system related to the world coordinate system.

\(\langle u, v, 1\rangle^{T}=\mathbf{K T R}(\mathrm{x}, \mathrm{y}, \mathrm{z}, 1)^{T}\)            (1)

여기에서 R은 회전 매트릭스이다. θ는 Fig. 1과 같이 카메라의 주점의 광축과 노면이 이루는 각도이다.

\(\mathbf{R}=\left(\begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & \cos \theta & -\sin \theta & 0 \\ 0 & \sin \theta & \cos \theta & 0 \\ 0 & 0 & 0 & 1 \end{array}\right)\)            (2)

T는 translation 매트릭스를 의미한다.

\(\mathbf{T}=\left(\begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & -\frac{h}{\sin \theta} \\ 0 & 0 & 0 & 1 \end{array}\right)\)                (3)

그리고 K는 카메라 파라미터 매트릭스이다.

\(\mathbf{K}=\left(\begin{array}{cccc} f \times k u & s & u_{0} & 0 \\ 0 & f \times k v & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{array}\right)\)         (4)

여기 f는 카메라의 초점 거리이다. s는 픽셀의 skew 파라미터이고 (ku×kv)는 픽셀의 종횡비를 나타낸다. IPM 대상이 되는 노면은 (z_w=0)의 조건이라고 가정하면 식을 간단하게 만들 수 있다.

\(\left(\begin{array}{l} u_{i} \\ v_{i} \\ 1 \end{array}\right)=\left(\begin{array}{lll} p_{11} & p_{13} & p_{14} \\ p_{21} & p_{23} & p_{24} \\ p_{31} & p_{33} & p_{34} \end{array}\right)\left(\begin{array}{c} x_{N} \\ y_{N} \\ 1 \end{array}\right)\)       (5)

2) IPM 이미지를 HD 맵에 피팅

IPM 변환 결과를 얻으면 HD 맵의 객체 데이터를 버드 뷰로 가져와야 한다. IPM 이미지(버드 뷰)와 HD 맵을 정확하게 매칭하는 방법의 파이프라인은 Fig. 2를 참조한다.

Fig. 2. HD-Map renewal pipeline.

본 논문에서 제안하는 버드 뷰 이미지와 맵 매칭 방법으로 신속하게 정밀도로지도를 갱신하는 파이프 라인(Fig. 2) 전체에 대한 설명은 다음과 같다. 차량에 설치된 카메라로부터 얻은 전방 뷰 이미지에 접선왜곡과 방사왜곡에 대한 보정을 수행하고, 노면의 도로 시설물에 대해 학습된 mask R-CNN을 적용하여 segmentation 된 도로 노면 시설물 객체(이하 노면객체)를 인식한다.IPM을 수행하면서 그림자의 영향을 줄이기 위해 적응형 이진화(3장에서 설명)를 하고 노면객체의 segmentation을 활용해서 마스킹하여 불필요한 영역의 잡음을 제거한다. GPS 값을 활용해서 HD 맵에서 IPM에 해당하는 영역을 가져와서 IPM과 유사하게 투영한 이미지(이하 베이스 맵)를 생성한다(4장의 ‘1)’에서 설명). IPM 이미지를 INS의 yaw 값을 이용해 회전한 후 차선의 각도의 차이를 이용하여 yaw 오차를 보정한다(2장의 ‘a)’에서 설명). 횡방향 매칭과 종방향 매칭을 통해 베이스 맵과 IPM 이미지를 매칭한다(2장의 ‘a)’, ‘b)’에서 설명). IPM 이미지의 노면객체와 베이스 맵을 비교하여 각각의 노면객체에 대해서 추적하고 갱신 여부를 판단한다. 새로 발견된 노면객체의 공간 좌표는 베이스 맵에서 객체 주변 노면객체의 공간좌표를 참조하여 위/경도 값을 비례식으로 구한다(4장의 ‘2)’에서 설명). IPM 영역은 상대적으로 좁은 공간이고 평지 이므로 높이 값은 주변 노면객체의 높이 값에 평균으로 대체한다.

(1) 횡방향 매칭

횡방향 매칭의 첫번째 단계는 INS의 부정확한 yaw 값을 보정하기 위해 보정 값을 계산한다. Yaw의 보정값은 세가지 단계를 거쳐 계산할 수 있다. 1) HD 맵의 양쪽 끝 차선 선분의 각도 θ₁, θ₂를 구한다. 2) θ₁, θ₂의 평균값 θ_y는 INS의 오차 값으로 볼 수 있다. 3) IPM 이미지는 θ_y만큼 회전하여 yaw 보정을 한다.

Fig. 3. Calculate yaw correction.

yaw를 조정한 결과에 대한 예시는 Fig. 4와 같다.

Fig. 4. Yaw calibration result.

pitch의 각을 구하기는 어려우므로 전방 뷰 이미지의 차선 각도와 IPM을 하기위한 ROI 영역의 각도를 조정하여 베이스 맵과 일치시킨다. 또한 차선과의 간격도 베이스 맵과 동일하게 횡방향 스케일을 조정해서 횡방향으로 일치하는 이미지를 생성한다.

(2) 종방향 매칭

종방향의 매칭은 Fig. 5, 6과 같이 n_min과 m_min을 구하여 종방향으로 베이스 맵과 매칭을 한다. IPM 이미지과 베이스 맵의 차선을 수직으로 회전했을 때 노면 객체의 윗 부분을 피팅하기 위한 n_min을 식 (6)과 같이 계산한다.

Fig. 5. n_min calculation process

Fig. 6. m_min calculation process.

\(n_{\min }=\min \left(y 1_{s}-y^{\prime} 1_{s}, y 2_{s}-y^{\prime} 2_{s}, \ldots, y n_{s}-y^{\prime} n_{s}\right)\)        (6)

(이 때, n은 음수값) 

IPM 이미지과 베이스 맵의 차선을 수직으로 회전했 을 때 노면 객체의 하단을 매칭하기 위한 m_min은 식 (7)과 같이 계산한다.

\(m_{\min }=\min \left(y 1_{e}-y^{\prime} 1_{e}, y 2_{e}-y^{\prime} 2_{e} \ldots, y n_{e}-y^{\prime} n_{e}\right)\)        (7)

계산된 n_min과 m_min을 사용하여 종방향 이미지 매칭은 식 (8)과 같이 lmin을 구한다.

\(l^{\min }=\left(n_{\min }+m_{\min }\right) \div 2\)                (8)

l_min이 음수일 경우에는 IPM 이미지를 상단으로 이동하고, 양수일 경우에는 하단으로 이동하여 종방향 매칭을 완료한다.

3. 노면 그림자 영향을 제거한 IPM 이진화

1) IPM 이미지의 그림자 영향

노면에 대한 IPM 이미지는 이진화 처리를 하여 노면 객체의 엣지(edge)와 꼭지점을 찾아낸다. 이진화 처리에서 가장 큰 문제점은 그림자의 영향에 의한 이진화 오류 문제이다(Fig. 7). 도로 주변 건물에 의해 노면에 그림자가 있는 경우 Fig. 7과 같이 양지와 음지 영역의 명도 차이에 의해 이진화 처리를 하기 위한 임계 값을 결정하기 어렵다. 결과적으로 이미지 전체에서 양지와 음영 지역의 임계 값으로 이진화 하는 전역이진화(Global Threshold)는 올바른 방법이 아니다.

Fig. 7. Example of road shadows by buildings around the road (left figure) Histogram for the left figure (right figure)(Sunny road marking:RGB-251 /Brightness98%, sunny floor: RGB-205 / Brightness-80%, road marking in shade:RGB-181 /Brightness -71%, floor in shade: RGB-102 / Brightness -40%.

2) 이진화 알고리즘

대표적인 이진화 알고리즘으로 알려진 오츠 이진화 알고리즘은 앞서 언급한 대로 임계 값을 임의로 정해 픽셀을 두 부류로 나누고 두 부류의 명암 분포를 구하는 작업을 반복하여 전체 이미지에서 최적의 임계 값을 자동으로 찾아준다. 반면에 단점은 전체 이미지 픽셀에 대해 계산하여야 하므로 속도가 빠르지 않고, 명암의 분포가 불균일(일부분에 그림자 등) 한 경우 올바른 결과물을 얻기 힘들다(Fig. 8의 우측 상단 그림 참고).

Fig. 8. Upper left: Original image / Upper right: Otsu’s algorithm binarization result / Lower left: Adaptive binarization mean value algorithm result / Lower right: Adaptive binarization Gaussian distribution algorithm result (Source: https://docs.opencv.org/ master/d7/d4d/tutorial_py_thresholding.html).

반면에 적응형 이진화(Adaptive Threshold) 알고리즘은 전역 이진화 방식의 이러한 단점을 보완하여 원본 이미지에서 조명이 일정하지 않거나 배경색이 여러 개인 경우에 더 좋은 결과를 얻을 수 있다. 그 방법은 이미지를 여러 영역으로 나눈 뒤, 그 주변 픽셀 값만 활용하여 임계 값을 구한다. 적응형 이진화 알고리즘은 계산 방식에 따라 노이즈가 존재하는 평균값(Adapted-Mean) 알고리즘과 노이즈가 비교적 적은 가우시안 분포 알고리즘(Adapted-Gaussian)이 있다.

Fig. 8의 오른쪽 상단은 오츠 이진화 방법이며 최적의 임계 값은 96으로 설정한 결과이다. 왼쪽 아래는 적응형 이진화 방법 중에 평균값을 적용한 결과이며 노이즈가 가우시안 보다 많지만 선명한 결과를 얻을 수 있다는 것이 특징이다. 오른쪽 아래는 적응형 이진화 방법 중에 가우시안 분포이며 평균값 방법 보다 노이즈가 적지만 덜 선명한 결과를 볼 수 있다.

실제 도로 노면은 배수로 경사 및 도로의 여러 상황(날씨, 도로 주변 건물의 영향 등)으로 빛의 반사와 그림자 차이가 많이 있을 수 있다. 따라서 본 연구에서는 이미지 히스토그램을 기반한 임계 값으로 이진화 하는 방법과 오츠의 이진화 방법인 전역 이진화 방법(Global binarization method)보다 효율이 좋은 적응형 이진화 알고리즘 사용이 적합하다.

적응형 이진화를 적용하면 Fig. 9(a), (b)에 우 하단 이미지와 같이 그림자 경계면에 얼룩 무늬가 나타난다. 이것은 부분 블록에 대한 이진화를 하더라도 명암 분포의 불균일 문제 때문에 이러한 얼룩이 생성되는 것은 어쩔 수 없다. 본 논문에서는 이 문제를 해결하기 위해 컨벌루션 신경망 네트워크(CNN)를 사용하여 노면 표지의 영상 분할(image segmentation) 정보로 버드뷰 이미지에 마스킹 하는 방법으로 얼룩을 제거하였다. Fig. 9(c)에 1번 이미지에 이와 같은 처리 후 결과를 보여준다.

Fig. 9. IPM results for shadow removal (a), (b) Upper left: Original IPM image / Upper right: Histogram image / Lower left: Object recognized IPM image / Lower right: Adaptive binarization image (c) ① Adaptive An image reconstructed by extracting only objects from abinarizedimage②Original image③General binarization result.

4. 사전지도를 활용한 갱신 판단

사전 지도 정보를 알고 있으면 카메라의 GPS 측위 좌표를 이용하여 지도로부터 카메라 주변의 객체를 얻어오고 이미지에서 검출(detecting)된 객체와의 비교를 통해 매칭이 가능하고 갱신 여부를 판단할 수 있다. 그 방법에 대해 더 자세히 알아보면 아래와 같은 순서로 진행된다.

1) 객체 탐지(detecting)

카메라 이미지에서 객체를 인식하여 탐지하는 모듈에서 전달된 객체 정보 중에 IPM 이미지 영역에 포함되는 객체를 사전지도 정보에서 추출하여 비교 대상 객체로 선출한다. 차량에서 IPM 처리되는 ROI영역은 사전 계측을 통해 차량의 GPS 원점과 떨어진 거리와 위치를 실측한다. 이후 얻어진 IPM 이미지의 각 객체 위치는 GPS 수신 좌표와 IMU의 헤딩정보를 통해서 비례 위치가 계산 되며(Fig. 10의 좌측), 사전 지도에서 객체의 위치와 GPS오차 범위에 있는 모든 객체(Fig. 10의 우측)가 비교대상 객체가 된다.

Fig. 10. (a) spatial coordinates of objects recognized by CNN (based on GPS) (b) object space coordinates of HD map.

2) HD 맵 객체 비교 판단

우리는 객체 탐지 과정에서 GPS 오차 범위와 IMU센서의 헤딩정보를 통해 베이스 맵을 생성할 수 있다. 그러므로 베이스 맵에 노면객체와 IPM 이미지 영역 내의 탐지된 객체 간 비교가 가능하다.

GPS의 오차 범위 내에서 두 비교 객체 간 거리가 일정 거리 이내일 경우 동일 객체로 판단하는 것이 가능하다. 객체 간 거리로 동일한 객체임을 판단한 경우에도, 객체의 종류(차선, 화살표 등)를 비교하여 해당 객체의 일치 여부를 판단할 수 있다. Fig. 12(a), (b)에서 검출된 화살표(파란 박스)는 (c)의 베이스 맵에서 존재하지 않는 객체이다. 따라서 신규 객체로 판단한다. 신규로 판단된 객체는 주변 객체의 공간 좌표와 이미지 좌표의 비례식으로 공간 좌표를 구할 수 있다.

Fig. 11. Object comparison update judgment.

Fig. 12. (a) Object recognition result in front view image (b) Reflect the recognition result of (a) after IPM image conversion (c) Display the update location of the new (created) object with HD map and IPM image fitting applied (blue rectangle).

5. Experimental

1) IPM 이미지 추출

차량의 전방을 향하게 설치된 카메라로부터 이미지를 추출할 때 INS와 GPS수신 정보를 동기화 하는 작업이 필요하다. Fig. 13과 같이 차량에 설치된 카메라는 전방을 촬영하도록 설치되며(Front View), 촬영된 이미지에서 IPM을 적용해서 버드 뷰 이미지를 얻고 이때의 카메라의 포즈는 GPS값을 참조하여 얻는다. 또한 차량의 헤딩 정보는 INS센서를 참조한다.

Fig. 13. IPM area and configuration diagram of the test vehicle. 

사전지도 정보는 테스트베드 지역의 국토지리정보원에서 배포하는 정밀도로지도를 활용하여 일부 가공 하는 과정을 거쳐서 데이터베이스로 사용하였다. 데이터베이스는 GIS(지리정보시스템 객체를 저장할 수 있도록 지원하는 PostgreSQL에 확장프로그램인 PostGIS를 적용해서 공간처리 기능을 활용하였다.

카메라 이미지는 왜곡 보정을 처리해야 렌즈 주변부의 이미지 왜곡을 줄일 수 있다. 또한 카메라의 6DoF(6 Degree of Freedom) 포즈가 정확하다면 베이스 맵과 IPM을 비교할 때좀더 정교한 비교가 가능하고 신규객체 좌표 값 산출 시 정확도 향상시킬 수 있다. 따라서 기본적으로는 GPS와 INS센서 값으로 카메라의 포즈를 얻고 IPM 이미지를 사전지도(정밀도로지도)에 피팅하는 방법으로 객체의 비교와 공간 좌표 값 산출의 정확도를 향상시켰다.

2) GNSS/INS 시간 동기화

앞서 언급한 바와 같이 차량에 카메라와 저가의 GNSS/INS 센서를 장착하여 데이터를 수집시에 각 센서의 시간동기화는 매우 중요한 문제이다. 저가형 GPS 센서는 1초 마다 취득되고 INS 데이터는 10 ms마다 취득되며 카메라가 12.5 fps(초당 프레임) 마다 이미지를 취득하기 때문에 각 이미지 데이터 취득 시점에서의 GPS와 INS를 동기화 하여야 한다. 차량은 GPS 데이터 취득 주기인 내에 등속으로 움직인다는 가정하에 GPS의 동기화는 1초마다 얻는 위/경도 값을 선형 보간하여 이미지 프레임의 카메라 포즈에 위/경도 및 고도의 공간좌표를 적용한다. Table 1은 시험에 사용한 GPS/INS 센서의 상세한 스펙이다.

Table 1. Specification of GNSS/INS sensor used in the experiment

INS 센서도 이와 동일한 방식으로 센서 데이터를 큐에 저장했다가, 일정시간(이미지 프레임 간격)마다 저장된 데이터를 아래와 같이 계산하여 이미지와 동기화한다. INS센서의 속도와 시간데이터를 이용하여, 한 프레임동안 이동한 거리를 누적 계산하고 현재 이미지 프레임이 저장되는 시점의 INS 센서 값을 계산하는 것을 식으로 표현하면 식 (9)와 같다.

\(\sum_{k=1}^{n} \sqrt{(v E \times \Delta t)^{2}+(v N \times \Delta t)^{2}}\)            (9)

i : 현재 프레임에 해당하는 imu 데이터의 시작

n : 현재 프레임에 해당하는 imu 데이터의 끝

vE : 동쪽으로의 이동속도                   

Vn : 북쪽으로의 이동속도                  

Δt : imu clock time (10 ms)             

3) 이진화 이미지 피팅 및 갱신 판단 결과

이진화는 앞서 3장에서 설명한 적응형 이진화와 노면객체의 segmentation을 이용해서 그림자의 영향을 제거하고, 베이스 맵과 매칭은 종방향 횡방향 매칭 방법을 사용한다. 4장의 내용을 토대로 IPM 이미지와 베이스 맵이 매칭되면 노면객체간 매칭을 통해 갱신 여부를 판단하고 새로 발견된 노면객체의 공간 좌표를 계산한다. 실험은 Fig. 14(a)와 같이 실제 시험 구간 2.3 km의 임의의 17개의 노면객체들을 대상으로 객체의 인식하고 공간 좌표를 계산 하였다.

Fig. 14. (a) Test object of 2.3 km of test section (b) Matching result of HD map and IPM image of some objects (IDs: 906, 238, 260, 421).

Fig. 14(b) 이미지의 좌측과 같이 HD 맵은 국토지리정보원에서 배포하는 정밀도로지도를 사용하여 shape 파일을 주황색으로 표시된다. 이미지의 우측 사진은 차량에 설치된 카메라에서 촬영된 도로사진이며, 사진내부의 초록색 폐곡선은 mask R-CNN으로 인식된 노면 표시 객체이며, 검정색 폐곡선은 mask R-CNN으로 인식된 노면 차선 객체의 인식 결과이다. 사진에서 인식된 객체의 고유 ID를 확인할 수 있고, 이 정보는 객체의 추적(tracking)에 사용된다. 또한 그림자와 함께 IPM 변환에 방해 요소인 차량은 보라색 폐곡선으로 표시된다. Fig. 14(b) 이미지의 좌측에서 노랑색 사각형은 HD 맵과 비교하여 갱신이 판단된 객체로서 주황색(맵 객체) 사각형과 얼마나 차이가 나는지 시각적으로 볼 수 있다.

이렇게 갱신된 객체의 공간좌표 오차(계산된 객체 측위 좌표와 정답 지도 객체간의 유클리드 거리)를 측정한 실험 결과 Table 2와 같이 평균 14.2 cm로 서브 미터급 정확도를 얻는 것으로 확인 된다.

Table 2. Spatial coordinate error of the newly discovered object in the experimental section

6. Conclusion

본 논문에서는 IPM 변환 이미지를 정밀도로지도와 매칭하는 방법으로 신속하게 도로시설물 객체의 갱신 여부를 판단하고, 객체의 공간좌표를 계산하는 방법론을 제시한다. IPM으로 버드 뷰 이미지 변환은 완전한 정사영상이 아니므로 정밀도로지도와 매칭 할 때, INS 센서의 yaw 오차와 GPS의 위도/경도 오차를 보정하여야 한다. 우리는 제시된 알고리즘에 따라 비교적 정확하게 보정된 카메라의 4DoF (X, Y, Z, Yaw에 대한)를 얻을 수 있었다.

이 방법론은 정밀도로지도 갱신의 자원을 매우 효과적으로 줄일 수 있으며, 신속한 갱신을 가능하게 한다. 또한 비교적 저렴한 센서(모노카메라와 저가 GNSS/INS)로 정확한 측위 정보를 얻을 수 있으므로 자율주행에 자차 측위 솔루션으로의 활용 등 광범위한 응용이 가능하다.

이 프로젝트의 향후 작업으로는 6DoF의 측위 정확도 향상과 공중에 떠있는 객체의 측위 방법에 대해 시스템을 더욱 강력하게 만드는 것이 포함된다.