Development of a Vehicle Positioning Algorithm Using Reference Images

기준영상을 이용한 차량 측위 알고리즘 개발

Abstract

The autonomous vehicles are being developed and operated widely because of the advantages of reducing the traffic accident and saving time and cost for driving. The vehicle localization is an essential component for autonomous vehicle operation. In this paper, localization algorithm based on sensor fusion is developed for cost-effective localization using in-vehicle sensors, GNSS, an image sensor and reference images that made in advance. Information of the reference images can overcome the limitation of the low positioning accuracy that occurs when only the sensor information is used. And it also can acquire estimated result of stable position even if the car is located in the satellite signal blockage area. The particle filter is used for sensor fusion that can reflect various probability density distributions of individual sensors. For evaluating the performance of the algorithm, a data acquisition system was built and the driving data and the reference image data were acquired. Finally, we can verify that the vehicle positioning can be performed with an accuracy of about 0.7 m when the route image and the reference image information are integrated with the route path having a relatively large error by the satellite sensor.

자율주행차는 교통사고로 인한 인명피해나, 운전으로 인해 발생하는 시간 및 비용을 줄일 수 있는 장점 때문에 개발 및 운용이 확대되고 있다. 이러한 자율주행차의 운행을 위해서는 정밀한 측위가 필수적이다. 본 연구에서는 고가의 센서를 사용하지 않고 차량 내장센서, 위성센서, 영상센서와 사전에 구축해둔 기준영상 정보를 통합하여 차량의 위치를 정밀하게 추정하는 알고리즘을 개발하였다. 기준영상 정보는 센서 정보만 사용하였을 경우 발생하는 측위 정밀도 한계를 극복할 수 있으며, 위성신호 단절과 같은 문제 발생시에도 안정적으로 취득이 가능한 장점이 있다. 센서 및 기준영상 정보를 결합하기 위한 필터는 개별 센서의 다양한 확률 밀도 분포를 반영할 수 있는 파티클 필터를 사용하였다. 알고리즘의 성능평가를 위해 데이터 취득 시스템을 구축하고 이를 이용한 주행 데이터 및 기준영상 정보를 취득하였다. 위성센서에 의한 오차가 비교적 큰 주행 경로에 대해서도 주행영상 및 기준영상 정보를 함께 결합할 경우 약 0.7 m 이내의 정확도로 차량 측위가 가능함을 확인하였다.

1. 서론

자율주행차는 교통사고 저감 및 시간, 비용적인 측면에서의 장점으로 그 필요성이 부각되고 있다. 또한 세계 각국의 글로벌 ICT(Information & Communication Technology) 기업 및 완성차 업계에서 그 중요성을 인지하고 상용화를 위한 개발 및 시험 운행을 하고 있다. 자율주행차는 인지/판단/제어 단계의 반복으로 구성되며, 그 출발점인 인지단계에서의 자차 위치 결정이 반드시 선행되어야 한다. 그리고 해당 단계에서 정확하게 차량의 위치가 결정되지 않을 경우 자율주행차는 올바르게 운행될 수 없으며, 차선이탈 및 충돌과 같은 큰 사고로 이어질 수 있다. 그러므로 자율주행차의 안정적 운행을 위해서는 정확하고 안정적인 측위가 필수적이다.

차량 측위에 가장 많이 사용되는 방법은 GNSS(Global Navigation Satellite System)를 이용한 방법이다. 위성으로부터 비교적 쉽고 정확하게 차량의 절대좌표를 얻을 수 있으며, 수신기의 가격 또한 낮기 때문에 차량 측위에 필수적으로 사용되고 있다. 하지만 위성에서 수신된 신호를 이용하기 때문에 수신환경이 나쁘거나 음영지역에 있을 경우 정확도가 크게 낮아지는 단점이 있다. 그래서 위성신호만으로는 안정적인 측위가 어렵기 때문에 이를 보완하기 위한 방법으로 IMU(Inertial Measurement Unit)를 함께 이용하는 측위가 존재한다. 하지만 위성신호의 단절이 장시간 발생할 경우 누적오차가 커지는 단점이 있으며, 자율주행운행을 위한 요구 측위 정밀도에 근접한 연구들도 있었으나, 고가의 IMU 센서를 사용해야 한다는 단점도 존재한다(Kim et al., 2011).

고가의 IMU를 대체하기 위한 방안으로 차량에 탑재되어 있는 센서, 영상센서 등의 추가 센서를 사용하는 방법이 연구되었다. 자동차에 탑재되어 있는 속력, 조향각, 각속도 등의 차량 센서 정보와 위성정보를 결합하는 측위 방법의 경우 차량 운동 모델을 설정하고, 해당 센서 정보를 위성정보와 결합하는 방식으로 연구가 이루어졌다(Gwak et al., 2013; Jo et al., 2012). 위성센서만 사용하는 경우와 비교했을 때 측위 정밀도가 향상되며 짧은 시간동안 위성 신호가 단절되더라도 지속적으로 측위가 가능하다는 장점이 있다. 또한 고가의 IMU 센서를 사용하는 측위와 비교했을 때 상대적으로 낮은 비용으로도 높은 정밀도를 가지는 측위가 가능하다. 하지만 해당 연구 방법들은 실제 차량 운동과 차량 모델의 차이, 차량 센서의 낮은 정밀도로 인해 자율주행차에서 요구하는 수준의 측위 정밀도를 만족시키지 못한다는 단점이 존재한다(Kim and Lee, 2018). 영상센서를 이용하는 방법은 차량에 별도의 카메라를 장착하고 주행하면서 얻어지는 영상 사이의 기하학적 관계를 이용하여 차량의 이동거리 및 방향을 결정하는 영상 주행기록계(visualodometry)를 활용하여 측위를 수행한다(Nisteret al., 2004). 영상에서 특징점을 출하고 기하는 방법에 따라 다양한 연구가 존재하며(Scaramuzza and Fraundorfer, 2012), 스테레오가 아닌 단일 카메라에서도 측위가 가능한 연구들이 진행되었다(Geiger et al., 2011). 영상 주행기록계 정보를 이용할 경우 영상센서만을 추가해서 쉽게 주행 경로를 얻을 수 있는 장점이 있지만 동일 연산의 적분 형태로 계산하기 때문에 차량센서의 경우와 마찬가지로 오차가 누적되는 단점이 있으며, 주행속도나 회전에 따라 오차가 급격하게 커지는 단점도 존재하였다.

이처럼 센서정보만 이용할 경우 고가의 센서를 사용해야 하거나, 저가의 센서를 사용할 경우 낮은 정밀도를 보이는 단점이 존재한다. 그래서 이를 보완하기 위한 방안으로 센서 정보 이외에 주행하는 영역에 대한 지도 정보를 이용하는 연구가 최근 활발하게 진행되고 있다(Ziegler et al., 2014). 특히, 기존의 지도에 비해 차선, 도로 노면, 표지판 등과 같은 다양한 정보들이 높은 정밀도로 저장되어 있는 지도인 고정밀지도는 자율주행을 목적으로 활발하게 제작되고 있으며, 이를 활용하여 측위 정밀도를 향상시키는 연구들이 진행중이다. Jo et al.(2015)는 차량에 다수의 카메라를 탑재하고 이로부터 얻어진 주행 영상과 사전에 구축해둔 도로 노면 표시 정보를 결합하여 차량 위치를 결정하는 연구를 수행하였다. 차량 주행에 따른 영상의 오차 분포를 함께 고려하여 자율주행 요구수준에 부합하는 높은 정밀도 측위 시스템 구현하였다. 하지만 도로위의 차선 및 노면 정보가 안정적으로 추출되는 경우에만 정밀 측위가 가능하며 해당 정보가 존재하지 않거나 잘못 측위 될 경우 오차가 커질 수 있는 단점이 존재하였다. 영상으로부터 차선과 도로 노면의 방향지시 정보를 추출하고 이를 정밀도로지도와의 비교를 통한 측위를 수행한 연구(Suhr et al., 2017) 역시 위성센서 기반 측위에 비해 오차가 크게 줄어들었으며 자율주행 요구 정밀도를 만족하였다. 하지만 해당 연구도 역시 노면에 표시된 정보를 정확하게 탐지하지 못하거나 장시간 해당 객체가 도로면에 존재하지 오차가 점점 커지는 단점이 존재하였다. 이처럼 정밀도로지도와 영상정보를 융합하는 방법의 경우 측위를 위해 사전에 정의해둔 특정 객체가 변형/손실되어 탐지하지 못하거나 탐지 성능의 문제로 인해 탐지 실패 및 다른 객체로 잘못 탐지될 경우 측위 오차가 커지는 문제가 있었다.

이처럼 자율주행을 위한 측위를 위해 다양한 센서와 정보들이 사용되고 있으며 기존 연구들은 자율주행 요구 측위 정밀도를 만족시키기 위해, 고가의 센서를 사용하거나 정밀지도를 이용한 측위를 수행해왔다. 하지만 고가의 센서를 사용하는 경우 상용화가 어려운 단점이 있으며, 정밀도로지도를 활용하는 경우 정밀도로지도 제작을 위한 비용이 많이 소모되는 단점이 존재한다. 본 논문에서는 상용화를 고려하여 고가의 장비 및 정밀도로지도 정보를 사용하지 않고, 저가의 센서 및 영상정보를 이용하여 차량의 위치를 추정하는 연구를 수행하였다. 영상보의 경우 주행영만 사용할 경우 정밀도를 만족시킬 수 없으므로, 주행영역에 대한 영상 및 위치 정보를 함께 담고 있는 기준영상 정보를 함께 사용하였다. 기준영상은 정밀도로지도와 비교하였을 때 적은 비용으로 구축이 가능한 장점이 있으며, 관리 및 갱신 또한 용이하다. 이처럼 위성센서, 차량내장센서, 영상센서, 기준영상 정보를 통합하여 차량의 위치를 정밀하게 결정할 수 있는 알고리즘을 제안하고 구현하였다. 또한 실현 가능성 확인을 위해 센서 데이터 및 실제 주행경로를 취득할 수 있는 데이터 취득 시스템을 구축하였으며 이를 이용하여 데이터 취득 및 기준영상을 구축하였다. 취득된 데이터를 제안한 알고리즘에 적용하여 주행경로를 추정하고 이에 대한 정확도 평가를 수행하였다.

2. 센서 결합 측위

기존의 위성신호 의존적이거나 고가의 센서를 사용하는 측위 시스템의 한계를 극복하고자 GNSS, 차량내장센서, 영상센서, 기준영상 정보를 통합하여 차량의 위치를 추정하는 알고리즘을 개발하였다. 개발된 통합 알고리즘은 위성센서에서 취득한 위치정보, 차량내장센서로부터 속력 및 각속도 정보, 영상센서로부터 취득되는 주행영상정보를 영상 주행기록계 계산을 통해 차량 이동정보, 기준영상정보와 주행영상 정보 결합을 통한 위치 정보를 각각 얻으며, 해당 정보를 파티클 필터(particle filter)를 이용하여 결합하였다. 파티클 필터는 연산량이 확장칼만필터(extended Kalman filter)나 무향 칼만필터(Unscented Kalman filter)에 비해 많은 단점이 있지만 별도의 선형화 과정이 없으며 구현이 쉬운 장점이 있다. 또한 개별 센서 정보의 확률 분포를 각각 반영할 수 있어 확률 분포가 정규분포가 아닌 경우에도 효과적으로 추정이 가능한 장점이 있다.

통합 알고리즘 수행 절차는 Fig. 1과 같으며 크게 시간 흐름에 따른 예측 단계(prediction step)와 측정값을 이용해 갱신하는 보정 단계(measurement update step)로 나뉘어져 있다. 예측 단계에서는 차량 운동 모델을 설정하고 시간의 흐름에 따라 차량 내장센서 정보 및 해당 센서의 오차 정보를 입력 값으로 하여 차량의 위치를 예측한다. 보정 단계에서는 각 센서로부터 측정된 값을 이용하여 차량의 위치를 갱신한다.

Fig. 1. Process of vehicle localization using Particle Filter.

1) 예측 단계

예측 단계는 시각 변화에 따라 시스템의 상태를 예측하는 부분이다. 해당 단계에서는 갱신되는 센서정보 값이 없을 경우 시각의 변화에 따라 지속해서 시스템의 상태를 예측하게 되며, 예측 후 새로운 측정값이 존재하는 경우 보정 단계로 넘어가게 된다. 해당 논문에서는 예측 단계에서 차량에 내장되어 있는 센서 데이터를 이용하여 추측항법을 수행하며 이때 사용한 차량 운동 모델은 kinematic vehicle model이다. 측에 사용한 내장 센서는 속력과 각속도정보로 이를 이용한 차량 위치 예측 과정은 식 (1)과 같다.

\(\hat{x}_{k k-1}=\left[\begin{array}{c} \psi_{k k-1} \\ X_{k k-1} \\ Y_{k k-1} \end{array}\right]=\left[\begin{array}{c} \psi_{k-1}+\Delta T \cdot \widetilde{\omega} \\ X_{k-1}+\Delta T \cdot \widetilde{v} \cdot \cos \left(\psi_{k-1}+\Delta T \cdot \widetilde{\omega}\right) \\ Y_{k-1}+\Delta T \cdot \widetilde{v} \cdot \sin \left(\psi_{k-1}+\Delta T \cdot \widetilde{\omega}\right) \end{array}\right]\)       (1)

여기서 \(\hat{x} \)는 상태벡터(state vector)의 추정 값, ψ는 차량 주행 방향, (X, Y)는 각각 차량의 위치에 대한 절대좌표를 의미한다. 그리고 각 값에 존재하는 아래 첨자의 경우 k-1은 직전시각을 의미하며, k|k-1은 직전시각 k-1에서 결정되어진 정보를 이용하여 현재시각 k의 값을 예측한 것을 의미한다. ω와 v는 각각 차량 내장센서로부터 얻어진 각 속력과 속도 정보를 뜻한다. Fig. 2는 해당 과정을 통한 차량 위치·방향 예측과정을 표현한 것이다.

Fig. 2. Car position and driving direction prediction.

2) 보정 단계

보정 단계에서는 센서 및 기준영상으로부터 얻어지는 측정값을 이용한 갱신이 이루어지며, 파티클 필터를 사용하므로 측정값을 이용하여 개별 파티클의 가중치(weight)를 계산하고 이를 이용하여 측위에 활용한다. 각 센서에서 측정값이 갱신되면 해당 정보로부터 얻어진 개별 파티클에 대한 가중치를 계산한다. 그리고 각 센서 정보를 이용해 계산된 가중치의 곱을 이용하여 현재 시각의 가중치를 결정하게 되며 해당 계산 과정은 식(2)와 같다.

\(w_{k}^{i}=w_{k-1}^{i} \times w_{G N S S_{k}}^{i} \times w_{V O_{k}}^{i} \times w_{A T_{k}}^{i}\)       (2)

여기서 wⁱ는 개별 파티클의 가중치를 뜻하며, GNSS, VO, AT는 각각 위성센서, 영상주행기록계, 기준영상 정보로부터 계산된 가중치를 의미한다. 또한 현재시각 k의 가중치는 각 센서로부터 계산된 가중치와 직전 시각 k-1에서 얻어진 가중치 값의 곱으로 계산한다. 그리고 보정 단계에서 일부 정보만 갱신되었을 경우, 갱신된 정보는 갱신된 가중치를 사용하며 갱신되지 않은 정보의 가중치는 1로 두어 계산한다.

(1) GNSS 정보 갱신

GNSS 수신기로부터 얻어지는 위성기반 위치 정보를 이용하여 파티클의 가중치를 계산한다. GNSS로부터 얻어지는 위치 값을 이용한 가중치 계산은 확률밀도분포를 다변수 정규분포(multivariate normal distribution)로 정의하고 이를 이용하여 계산하였다. 계산과정은 아래 식 (3)과 같다.

\(\begin{aligned} w_{G N S S_{k}}^{i}=& \frac{1}{2 \pi \sqrt{\operatorname{det}\left(\sum_{G N S S}\right)}} \\ & \exp \left\{-\frac{1}{2}\left(\hat{P}_{k}^{i}-P_{G N S S}\right)^{T} \sum_{G N S S}^{-1}\left(\hat{P}_{k}^{i}-P_{G N S S}\right)\right\} \end{aligned}\)       (3)

여기서 \(\hat{P}_{k}^{i}\)는 예측 단계에서 결정된 개별 파티클의 2 차원 위치 정보를 의미하며, P_GNSS는 위성으로부터 얻어진 2차원 위치정보를 뜻한다. ∑_GNSS는 2×2 크기를 가지는 분산–공분산 행렬이다.

(2) 주행영상 정보 갱신

주행영상 정보를 이용한 갱신의 경우 주행영상으로부터 차량의 이동거리 및 방향 정보를 얻고 이를 이용하여 파티클의 가중치를 계산한다. 본 연구에서는 영상주행기록계 알고리즘을 이용하여 영상으로부터 차량 이동 정보를 계산했으며 이때 사용한 라이브러리는 LIBVISO2(Library for Visual Odometry)로 공개된 라이브러리이며(Geiger et al., 2011) 차량용 공개 데이터인 KITTI를 이용한 영상 주행기록계 벤치마킹 순위에서 단일 카메라로 적용이 가능한 알고리즘 중 상위권에 위치하고 있는 라이브러리이다. 단일 카메라를 이용할 경우 존재하는 스케일(scale) 문제는 지면으로부터 카메라까지의 높이와 장착된 카메라가 지면을 바라보는 각도인 pitch 값을 고정하는 방법으로 해결하였다. 연속된 주행 영상과 카메라의 내부표정요소를 입력으로 하며 알고리즘 수행 결과로 직전 영상과 비교했을 때 현재 영상이 X, Y 방향으로 얼마나 이동했는지에 대한 정보를 얻을 수 있다. 이 정보를 용하여 현재 차량의 위치를 결정하고 해당 위치로부터 개별 파티클의 위치가 얼마나 떨어져 있는지에 따라 파티클의 가중치를 정하도록 하였으며, 영상 주행기록계의 확률밀도분포는 다변수 정규분포로 가정하였다. 해당 과정을 통해 얻어진 위치 값과 개별 파티클의 위치차이를 이용한 가중치 계산 방법은 식 (4)와 같다.

\(\begin{aligned} w_{V O_{k}}^{i}=& \frac{1}{2 \pi \sqrt{\operatorname{det}\left(\sum_{V O}\right)}} \\ & \exp \left\{-\frac{1}{2}\left(\hat{P}_{k}^{i}-P_{V O}\right)^{T} \sum_{V O}^{-1}\left(\hat{P}_{k}^{i}-P_{V O}\right)\right\} \end{aligned}\)       (4)

여기서 P_VO는 영상 주행기록계로 얻어진 2차원 위치정보를 뜻하며, ∑_VO는 2×2 크기를 가지는 분산–공분산 행렬이다.

(3) 기준영상 기반 갱신

기준영상 정보를 이용한 측위는 데이터 취득 및 구축의 관점에서 보았을 때 취득된 센서 정보를 추상화하는 과정이 필요한 지도와 달리 영상과 영상 촬영시의 위치/자세 정보만 있으면 구축이 가능하다는 장점이 있다. 또한 기존 지도 혹은 구축된 기준영상 정보에 추가 영상만을 이용하여 영역 추가 및 갱신 또한 편리하여 자율주행을 위한 정보 구축에 유리하다. 측위의 관점에서 보았을 때는 해당 정보를 사용할 경우 측위에 사용될 객체들을 차선, 표지판 등으로 한정할 필요가 없어 유리하다. 이러한 장점을 가지고 있기 때문에 기준영상정보를 측위에 사용하고자 한다.

기준영상이란, 영상 및 영상에 대한 외부표정요소를 정밀하게 결정해둔 영상으로 주행 영역에 대해 사전에 영상 및 외부표정요소를 구축해두고 이를 주행영상 정보와의 비교를 통해 차량의 치를 추정한다. 주행영상만을 이용한 측위의 경우 동일한 형태의 연산의 반복으로 인해 오차가 누적되는 단점이 있지만 정밀한 외부표정요소 정보를 가지고 있는 기준영상을 이용할 경우 지상 기준점의 역할을 기준영상 정보가 해줄 수 있기 때문에 측위 정밀도를 향상시킬 수 있다.

기준영상을 이용한 측위 과정은 Fig. 3과 같다. 주행영상만 존재할 경우에는 주행영상간 영상 주행기록계를 이용한 측위를 수행하며, 주행하고 있는 영역에 대해 기준영상이 존재한다고 판단되면 구축해둔 기준영상 데이터베이스로부터 기준영상을 검색하고, 기준영상과 취득영상간 기하학적 관계를 수립하는 번들조정(bundle adjustment)을 통해 차량 위치를 결정한다.

Fig. 3. Process of localizationusing Reference Image.

기준영상을 이용한 단계에서의 파티클의 가중치 계산은 기준영상과 주행영상 사이의 번들조정 수행 결과로 얻어진 위치 값과 각 파티클의 위치 차이를 이용한다. 해당과정의 확률밀도분포는 아래 식 (5)와 같다.

\(\begin{aligned} w_{A T_{k}}^{i}=& \frac{1}{2 \pi \sqrt{\operatorname{det}\left(\sum_{A T}\right)}} \\ & \exp \left\{-\frac{1}{2}\left(\hat{P}_{k}^{i}-P_{A T}\right)^{T} \sum_{A T}^{-1}\left(\hat{P}_{k}^{i}-P_{A T}\right)\right\} \end{aligned}\)       (5)

여기서 P_AT는 기준영상과 주행영상간 번들조정의 결과로 얻어진 현재 차량의 2차원 위치정보를 뜻하며,∑_AT는 2×2 크기를 가지는 분산–공분산 행렬이다.

3) 최종 결정 및 리샘플링 단계

측정된 정보를 바탕으로 갱신된 개별 파티클의 가중치를 이용하여 해당 시각의 차량의 위치와 주행 방향을 결정한다. 그리고 이후에 일부 파티클에 정보가 집중되는 것을 방지하기 위해 리샘플링(resampling) 과정을 거친다. 앞서 언급했던 것처럼 현재 계산된 각 파티클의 가중치 정보를 직전 가중치 정보와의 곱연산을 통해 현재 시각의 개별 파티클에 대한 가중치 값이 결정한다. 그리고 결정된 가중치 값들의 합이 1이 되도록 정규화 과정을 거친다. 정규화를 위한 계산 과정은 식 (6)과 같으며 해당 결과로 얻어진 결과 값인 importance weight를 이용하여 시스템의 최종 상태를 추정한다.

\(w_{k}^{i}=\frac{w_{k}^{i}}{\sum_{j=1}^{N} w_{k}^{i}}\)       (6)

여기서 N은 추정에 사용된 파티클의 총 개수를 의미한다.

예측단계에서 얻어진 각 파티클이 가지는 상태변수 값과 보정 단계에서 얻어진 최종 가중치 정보를 이용하여 대푯값을 계산한다. 그리고 그렇게 계산된 값이 해당 시스템을 이용해 추정한 현재 시각의 차량위치 및 주행방향이 된다. 해당 논문에서는 파티클 필터의 최종 추정 값으로 최소평균 제곱오차(MMSE: Minimum Mean Square Error) 를 이용하였으며 해당 값은 파티클이 분포 대한 가중평균으로 볼 수 있다. 식 (7)은 해당 단계의 계산 과정이다.

\(\hat{x}_{k k}=\sum_{i=1}^{N} q_{k}^{i} \hat{x}_{k \mid k-1}^{i}\)       (7)

위 식을 이용해 최종 추정 상태 값을 결정하고 나면 보정 단계가 끝나게 되며, 다시 예측 단계로 돌아가 예측/보정 단계의 과정을 반복하며 이 과정을 통해 차량의 위치를 계속해서 추정하게 된다.

파티클 필터는 가중치가 큰 값을 가질수록 최종 추정에 미치는 영향이 크며 연산이 반복되면 소수의 파티클에 의해서만 최종 상태가 결정되므로 오히려 오차가 커질 수 있다. 이 때문에 리샘플링 과정을 이용하여 소수의 파티클에 확률분포가 집중되는 것을 막아줄 필요가 있다(Gustafsson, 2010). 리샘플링을 수행하는 조건은 연산에 참여하는 파티클의 수의 비율이 일정 수 이상으로 줄어든다고 판단될 경우 수행하며 해당 조건은 아래 식(8)과 같다.

\(\hat{N}_{e f f}=\frac{1}{\sum_{i=1}^{N}\left(w_{k}^{i}\right)^{2}}<\frac{2}{3} N\)       (8)

여기서, N_eff는 상태 추정에 참여하는 파티클의 개수로 볼 수 있다. 만약 하나의 파티클에 대부분의 가중치가 몰려 있다면 N_eff는 최솟값인 1을 가지게 되며, 반대로 모든 파티클에 동일한 가중치가 부여된 균등분포 상태일 경우 최댓값인 N을 나타내게 된다. 본 논문에서 설정한 임계 값인 \(\frac{2}{3} \mathrm{~N}\)은 기존의 논문 및 실험을 통해 설정하였다(Jo et al., 2015; Gustafsson, 2010).

3. 실험결과

본 논문에서 제안한 센서 및 기준영상 정보 융합을 통한 차량 측위 알고리즘의 적합성 확인을 위해 차량 주행 데이터 취득 시스템을 구성하였다. 차량내장센서,GNSS,전방카메라로부터 데이터 취득 및 저장을 할 수 있도록 구성하였으며, 정밀측량장비(Applanix, POSLV210)를 이용한 주행 경로 참 값 또한 함께 취득하여 정확도 검증을 할 수 있도록 구성하였다. Fig. 4는 구축한 시스템의 일부 모습이다.

Fig. 4. Data acquisition system.

1) 실험개요

제안한 알고리즘을 이용한 차량 위치 추정에는 차량내장 센서 중 속력 및 각속도 정보를 사용하였으며, GNSS센서, 전방카메라를 추가로 탑재하고 이용하였다. 시스템에서 사용한 카메라는 FLIR사의 CM3-U3-13Y3C 모델, 렌즈는 Moritex사의 H0514-mp 렌즈를 사용하였으며해당 센서의 세부 정보는 Table 1과 같다. 해당 실험에서는 저가의 카메라를 사용하였기 때문에 카메라 왜곡이 일정하게 유지되지 않을 수 있다. 또한 향후 상용화되어 활용될 것을 고려 해보았을 때,카메라 캘리브레이션을 수행하지 않고 운용될 경우가 많다고 판단되어 별도의 카메라 캘리브레이션을 수행하지 않았다. GNSS센서의 경우 MTK3339 chipset을 사용하였고 해당 센서에서 제공하는 위치정밀도는 약 2.5 m 정도이다.

Table 1. Camera specification

또한 센서 정보 이외에도 기준영상 정보를 함께 사용하였으며 기준영상정보 구축은 상용 소프트웨어인 Photoscan을 이용하여 구축하였다. 기준영상 구축은 주행 예정 영역에 대해 사전에 주행하면서 전방 카메라를 이용해 영상을 취득하고, 정밀측량장비를 이용하여 각 영상의 외부표정요소를 함께 취득한다. 그리고 이렇게 취득된 영상과 각 영상의 외부표정요소를 입력 값으로 한 영상지오레퍼런싱을 수행하고, 그 결과로 주행 영역에 대한 기준영상정보를 구축할 수 있다. 해당 실험에서는 측위 알고리즘 실험을 진행할 영여겡 대해 사전에 주행하면서 기준영상정보 구축을 위한 주행을 먼저 진행하였다. 주행영상을 취득하는 카메라와 동일한 카메라를 이용하여 기준영상정보를 구축하였으며, 기준영상 구축에 사용된 영상은 약 7500장이다. 구축된 기준영상의 지오레퍼런싱 정밀도는 위치의 경우 약 0.06 m, 자세는 약 0.08도이며, Fig. 5는 기준영상에 대한 지오레퍼런싱 수행 결과의 위치 정확도를 나타낸 것이다.

Fig. 5. Distance difference from each georeferencedresult.

본 논문에서 제안한 알고리즘의 성능 평가를 위해 추정한 위치 결과를 정밀측량장비로부터 얻어진 실제 주행경로와 비교하였으며, 기준영상 배치 간격에 따른 경로 추정 정밀도 확인 또한 진행하였다. 데이터 획득 지역은 경기 성남시 분당구 판교역 부근으로 고층 건물이 다수 분포하고 있어 위성 신호가 안정적으로 수신되지 않아 위성신호만을 이용한 측위에는 한계가 있으며, 교통 흐름이 원활하여 해당 측위 실험에 적합하다고 판단되어 실험지역으로 선정하였다. 그리고 주행경로는 직선/곡선경로를 포함할 수 있도록 구성하였다. 주행시간은 약 370초, 취득한 주행영상은 약 7400장, 주행거리는 약 2600 m이며 Fig. 6은 실험이 진행된 지역과 주행 경로를 나타낸 것이다.

Fig. 6. Test site and reference trajectory (a red line).

Fig. 7은 실제 취득했던 주행영상의 일부 샘플을 나타낸 것으로 보이는 것처럼 차량 전방에 하나의 영상센서를 탑재하고 주행하면서 영상을 취득하였다. 그리고 Fig. 8은 주행하면서 얻어지는 차량 내장 센서 정보 중 일부를 나타낸 것으로 차량에서 얻 수 있는 센서 정보를 CAN(Controller Area Network)를 통해 취득하며, 해당 실험에서는 Kvaser사의 USBcan professional 제품을 이용해서 차량 센서 정보를 얻어 노트북에 저장하는 태로 데이터를 수집하였다. 각 행은 개별 센서 데이터 정보를 의미하며 첫 열에서 의미하는 정보는 취득된 센서의 ID를 뜻하며 이후의 정보들은 각 센서에 따라 취득되는 값들의 세부항목을 의미한다. 본 실험에서는 해당 센서 정보들 중 각 속력(ID: 544)과 속도 정보(ID:790)를 측위에 활용하였다.

Fig. 7. Sample image from front view camera on the roof of the car.

Fig. 8. Sample data from in-vehicle sensor data.

취득된 주행영상은 영상 주행기록계 알고리즘에 적용하여 직전 영상으로부터 현재 영상까지의 이동거리와 방향을 계산하였다. Fig. 9는 영상 주행기록계 알고리즘 수행 결과로 얻어진 이동거리를 실제 이동거리와 비교하여 이에 대한 거리 차이를 나타낸 그래프이다. 해당 거리 차이의 평균은 약 0.004 m, RMS는 약 0.350 m였다.

Fig. 9. Distance difference from visual odometry result.

2) 실험결과

센서 정보 및 기준영상 정보를 결합한 차량 위치 추정 알고리즘의 정확도 개선 효과를 확인하기 위해 위성 센서 단독 측위 결과 및 결합 측위 결과를 기준 주행경로와 비교하였으며 해당 실험에서 사용한 파티클의 개수는 300개이다.

Fig. 10은 주행시간에 따른 위치 추정 오차를 나타낸 것으로 파란색은 위성기반 단독 측위, 붉은색은 본 논문에서 제안하였던 정보 결합 측위 결과를 의미하며 해당 결합 측위는 매 10 m 마다 주행영상을 기준영상과 비교하고 그 결과를 함께 이용하여 위치를 추정한 결과이다. 해당 그래프에서 알 수 있는 것처럼 위성만 단독으로 사용하였을 경우 비교적 큰 오차를 보이지만, 결합 측위를 이용하였을 경우 그 오차가 크게 줄어드는 것을 알 수 있다. 위성신호에 의한 오차 때문에 일부 시점에 오차가 커지더라도 기준영상 정보를 지속적으로 측위에 사용하기 때문에 추정 위치 오차가 커지는 것을 막을 수 있는 것으로 판단된다. 특히, 실험을 진행하면서 약 200초 부근에서 위성의 위치 오차가 크게 증가하는 구간은 주행영역 좌/우에 높은 빌딩들이 위치하고 있으며, 육교 또한 존재하기 때문에 위성 단독 측위 오차가 매우 커지는 구간이다. 또한 약 40초부터 90초 부근까지 지속해서 위성 기반 측위 오차가 크게 나타나는 구간은 주변에 높은 건물이 위치하고 있어 정지하고 있음에도 불구하고 오차가 지속적으로 높게 나타난다. 하지만 영상기반 측위 정보를 함께 사용할 경우, 해당 구간처럼 위성호 오차가 크게 증가하더라도 기준영상정보로부터 낮은 정밀도를 가지는 위치 정보를 획득할 수 있어, 지속적으로 안정적인 측위가 가능했다. Fig. 11은 건물 및 육교로 때문에 위성 신호에 의해 결정되는 위치 오차가 커지는 주행시간 200초 부의 주행당시 상황을 나타낸 것이다.

Fig. 10. Comparison of estimated distance difference with reference trajectory.

Fig. 11. Sample images in bad GNSS signal area.

Fig. 12은 기준영상 간격의 변화에 따른 추정 위치 오차를 확인한 결과로 주행영상을 기준영상과 비교하는 간격을 더 조밀하게 할수록 추정 오차가 작아지는 것을 확인할 수 있다. Table 2는 해당 실험 결과 오차 정보를 나타낸 것으로 위성센서 정보만 이용했을 경우 거리오차의 RMS가 약 5.5 m정도로 큰 오차가 발생하였다. 하지만 기준영상 정보를 이용할 경우 그 오차가 줄어드는 것을 확인할 수 있었으며, 10 m 간격으로 기준영상 정보를 이용할 경우에는 위치 오차의 RMS가 약 0.77 m까지 줄어드는 것을 확인할 수 있었다.

Fig. 12. Distance difference according to Reference image interval.

Table 2. The error statistics of the estimated results with reference image interval

3. 결론

안전을 보장하고 비용을 줄여줄 수 있는 지능형 자동차 및 자율주행에 대한 다양한 연구가 진행되고 있으며 안정적인 운행을 위한 정밀 측위 또한 활발하게 연구가 진행되고 있다. 위성신호는 차량의 위치를 효율적으로 결정할 수 있는 수단이지만, 주행상황에 따라 정확도가 떨어지는 단점이 있다. 그래서 이를 극복하기 위한 연구들이 이루어지고 있으며 본 연구에서는 그 방안으로 차량 내장 센서, 위성정보, 주행영상과 같은 센서 정보를 이용하여 이와 함께 기준영상 정보를 이용하여 차량 위치 추정 정밀도를 향상시키고자 하였다. 센서 결합을 위해서 파티클 필터를 사용하였으며, 알고리즘 검증을 위한 시스템 구축 및 정확도 평가를 수행하였다. 제안하는 알고리즘을 이용하여 차량 측위를 수행할 경우 기준영상 정보 이용 간격을 10 m로 설정하였을 때 약 0.7 m 이내로 추정이 가능함을 확인하였다. 이는 위성정보만 사용하는 경우에 비해 정확도가 크게 향상된 결과이다. 하지만 기준영상 간격이 조밀해야 자율주행에서 요구하는 측위 정밀도를 만족할 수 있으므로, 추가 정보 결합이나 필터 개선을 통해 이를 보완할 수 있는 연구를 진행할 예정이다.