Machine Learning Based MMS Point Cloud Semantic Segmentation

머신러닝 기반 MMS Point Cloud 의미론적 분할

Abstract

The most important factor in designing autonomous driving systems is to recognize the exact location of the vehicle within the surrounding environment. To date, various sensors and navigation systems have been used for autonomous driving systems; however, all have limitations. Therefore, the need for high-definition (HD) maps that provide high-precision infrastructure information for safe and convenient autonomous driving is increasing. HD maps are drawn using three-dimensional point cloud data acquired through a mobile mapping system (MMS). However, this process requires manual work due to the large numbers of points and drawing layers, increasing the cost and effort associated with HD mapping. The objective of this study was to improve the efficiency of HD mapping by segmenting semantic information in an MMS point cloud into six classes: roads, curbs, sidewalks, medians, lanes, and other elements. Segmentation was performed using various machine learning techniques including random forest (RF), support vector machine (SVM), k-nearest neighbor (KNN), and gradient-boosting machine (GBM), and 11 variables including geometry, color, intensity, and other road design features. MMS point cloud data for a 130-m section of a five-lane road near Minam Station in Busan, were used to evaluate the segmentation models; the average F1 scores of the models were 95.43% for RF, 92.1% for SVM, 91.05% for GBM, and 82.63% for KNN. The RF model showed the best segmentation performance, with F1 scores of 99.3%, 95.5%, 94.5%, 93.5%, and 90.1% for roads, sidewalks, curbs, medians, and lanes, respectively. The variable importance results of the RF model showed high mean decrease accuracy and mean decrease gini for XY dist. and Z dist. variables related to road design, respectively. Thus, variables related to road design contributed significantly to the segmentation of semantic information. The results of this study demonstrate the applicability of segmentation of MMS point cloud data based on machine learning, and will help to reduce the cost and effort associated with HD mapping.

자율주행차에 있어 가장 중요한 요소는 차량 주변 환경과 정확한 위치를 인식하는 것이며, 이를 위해 다양한 센서와 항법 시스템 등이 활용된다. 하지만 센서와 항법 시스템의 한계와 오차로 인해 차량 주변 환경과 위치 인식에 어려움이 있다. 이러한 한계를 극복하고 안전하고 편리한 자율주행을 위해서 고정밀의 인프라 정보를 제공하는 정밀도로지도(high definition map, HD map)의 필요성은 증대되고 있다. 정밀도로지도는 모바일 매핑 시스템(mobile mapping system, MMS)을 통해 획득된 3차원 point cloud 데이터를 이용하여 작성된다. 하지만 정밀도로지도 작성에 많은 양의 점을 필요로 하고 작성 항목이 많아 수작업이 요구되어 많은 비용과 시간이 소요된다. 본 연구는 정밀도로지도의 필수 요소인 차선을 포함한 도로, 연석, 보도, 중앙분리대, 기타 6개의 클래스로 MMS point cloud 데이터를 유의미한정보로 분할하여 정밀도로지도의 효율적인 작성에 목적을 둔다. 분할에는 머신러닝 모델인 random forest (RF), support vector machine (SVM), k-nearest neighbor (KNN) 그리고 gradient boosting machine (GBM)을 사용하였고 MMS point cloud 데이터의 기하학적, 색상, 강도 특성과 차선 분할을 위해 추가한 도로 설계적 특성을 고려하여 11개의 변수를 선정하였다. 부산광역시 미남역 일대 5차선도로 130 m 구간의 MMS point cloud 데이터를 사용하였으며, 분할 결과 각 모델의 평균 F1 score는 RF 95.43%, SVM 92.1%, GBM 91.05%, KNN 82.63%로 나타났다. 가장 좋은 분할 성능을 보인 모델은 RF이며 클래스 별 F1 score는 도로, 보도, 연석, 중앙분리대, 차선에서 F1 score가 각각 99.3%, 95.5%, 94.5%, 93.5%, 90.1% 로 나타났다. RF 모델의 변수 중요도 결과는 본 연구에서 추가한 도로 설계적 특성의 변수 XY dist., Z dist. 모두 mean decrease accuracy (MDA), mean decrease gini (MDG)가 높게 나타났다. 이는 도로 설계적 특성을 고려한 변수가 차선을 포함한 여러 클래스 분할에 중요하게 작용하였음을 뜻한다. 본 연구를 통해 MMS point cloud를 머신러닝 기반으로 차선을 포함한 여러 클래스로 분할 가능성을 확인하고 정밀도로지도 작성 시 수작업으로 인한 비용과 시간 소모를 줄이는데 도움이 될 것으로 기대한다.

1. 서론

자율주행차에 있어 가장 중요한 요소는 차량 주변 환경과 정확한 위치를 인식하는 것이다. 이를 위해 카메라, radio detection and ranging (RADAR), light detection and ranging (LIDAR) 등과 같은 센서와 위성 항법 시스템 (global navigation satellite system, GNSS), 추측 항법(dead reckoning, DR) 등이 활용된다. 하지만 센서의 경우 인식 범위와 폐색으로 인해 차량 주변 환경 인식에 어려움이 있다. 뿐만 아니라 센서는 안개, 비, 눈과 같은 날씨에 영향을 많이 받으며 실시간으로 인지 알고리즘을 운용하기 위해 많은 양의 메모리와 컴퓨팅 연산을 필요로 한다. GNSS는 GNSS 위성 오차, 전리층과 대류층 통과시 신호 지연, 다중경로 오차, GNSS 수신기 오차가 발생하며 DR 또한 측정된 오차가 누적되어 현재 위치 추정에 영향을 미치기 때문에 차량의 정확한 위치 인식이 어렵다. 이러한 한계를 극복하고 안전하고 편리한 자율주행을 위해서는 도로 정보를 사전에 인지할 수 있는 고정밀의 인프라 정보가 필요하다(Kao, 1991; Rustamov and Hashimov, 2018; Song et al., 2022). 이에 따라 고정밀 인프라 정보를 제공하는 정밀도로지도(high definition map, HD map)의 필요성은 증대되고 있다. 정밀도로지도는 도로 내 차선, 안전표지, 차량 방호 안전시설 등과 같은 정적 객체의 위치 정보와 도로 등급, 도로 구축 항목과 유형, 안전표지 유형 등의 속성 정보를 제공한다. 이를 통해 차량의 정확한 위치 결정과 동적 객체(차, 사람)의 인식 정확도 향상과 예측 문제를 해결할 수 있다 (Jang et al., 2018). 정밀도로지도는 모바일 매핑 시스템(mobile mapping system, MMS)을 통해 획득된 3차원 point cloud 데이터를 이용하여 작성된다. Point cloud 데이터는 X, Y, Z 위치 정보와 Red, Green, Blue 색상 정보, 강도 정보로 구성되어 있으며, 이를 이용해 정밀도로지도를 작성한다. 하지만 정밀도로지도 작성에 사용되기 위한 MMS point cloud 데이터의 점밀도 기준은 NGII (2019)에 따르면 취득 경로의 10 m 범위에서 측정했을 때 1 m² 당 400 점 이상의 많은 양의 점을 필요로 한다. 작성되어야 할 항목은 주행경로링크, 노면표시, 신호등, 차량방호안전시설 등 총 14개이다. 많은 양의 점으로부터 여러 항목의 정밀도로지도를 작성하기 위해서는 수작업이 요구되어 많은 비용과 시간이 소요된다. 따라서 정밀도로지도의 효율적인 작성을 위해 point cloud 데이터를 유의미한 정보로 분할하여 활용할 필요가 있다.

이에 따라 선행연구를 살펴보면, Ma et al. (2019)와 Ye et al. (2020)는 MMS point cloud 데이터를 이용하여 차선을 분할하였다. Curb-based 기법을 통해 도로면을 추출하고 Ma et al. (2019)는 강도 임계값, statistical outlier removal 기법을 Ye et al. (2020)는 강도 임계값, 거리 임계값 기법을 이용하여 차선을 각각 91%, 93%의 F1 score로 분할하였다. Li and Cheng (2018)은 terrestrial laser scanning point cloud 데이터를 random forest (RF)를 사용하여 point cloud의 기하학적 특성, 강도특성, 색상 특성으로 구성된 여러 조합의 변수를 통해 6개의 클래스로 분할하였다. 도로, 지주, 연석의 F1 score는 각각 98%, 50.3%, 47.4%로 나타났다. Zaboli et al. (2019)는 MMS point cloud 데이터를 5개의 머신러닝 모델인 k-nearest neighbors (KNN), gaussian naive bayes (GNB), support vector machine (SVM), multilayer perceptron neural network (MLP), RF를 사용하여 point cloud의 기하학적인 특성, 강도 특성으로 구성된 11개의 변수를 통해 도로, 보도, 지주, 표지판 등 8개의 클래스로 분할하였다. 분할 결과 도로, 보도, 표지판, 지주의 F1 Score는 각각 99%, 97%, 82%, 78%로 나타났다. Song et al. (2022)는 MMS point cloud 데이터의 위치, 색상, 강도 정보를 이용 5개의 딥러닝 모델 Convpoint, Kpconv, SPG, Randla-net, Pointnet++을 사용하여 20개의 클래스로 분할하였다. 20개의 클래스에는 도로, 보도, 차선, 표지판, 신호등, 연석 등이 있으며, 차선의 분할 결과는 각 모델 별로 51.1%, 58.4%, 0%, 45.6%, 0%로 나타났다.

Point cloud 데이터 분할 선행연구는 임계값 기법을 이용하여 차선 클래스에 대해서는 높은 분할 결과를 보이나 차선 이외에 여러 클래스로 분할하기에는 한계가 있다. 머신러닝과 딥러닝을 이용한 연구는 다양한 모델과 변수를 통해 높은 정확도로 여러 클래스로 분할하였지만 정밀도로지도의 중요 요소인 차선의 분할 결과가 좋지 않거나 분할 클래스에 포함된 연구는 미미했다.

본 연구는 정밀도로지도의 중요 요소인 차선을 포함한 여러 클래스로 MMS point cloud 데이터 분할을 통해 효율적인 정밀도로지도 작성을 목적으로 하고 있다. 이를 위해 선행 연구에서 차선 단일 클래스에 대한 분할에 사용된 거리 임계값 기법의 특성을 추가 고려하였다. 거리 임계값 기법은 차선, 연석 보도 등과 같은 도로 구성요소가 도로 중심선으로부터 일정 거리에 위치하는 도로 설계적 특성을 이용한 기법이다(Ye et al., 2020). 이러한 도로 설계적 특성과 선행연구에서 사용된 point cloud 데이터의 기하학적 특성, 강도 특성, 색상 특성을 고려해 변수를 선정하고 딥러닝에 비해 변수 사용이 용이한 머신러닝을 분할 모델로 선정하였다. 분할에는 RF, SVM, KNN, gradient boosting machine (GBM) 4개의 모델을 사용하고 모델 간의 분할 성능을 비교 및 평가하였다.

2. 연구대상지역

부산광역시 미남역 일대 도로 130 m 구간에 대해 연구 진행하였다. 차량의 진행 방향은 미남역에서 미남교차로 방향의 상행 도로 이며 5차선이다. 해당 도로는 정밀도로지도 항목에 포함되는 차선, 연석, 보도, 노면표시, 신호등, 가로등, 표지판, 차량안전시설 등으로 구성되어 있다(Fig. 1).

Fig. 1. The study area: (a) mathematical location of study area, (b) the yellow polygon represents the roads where the MMS collects the data, (c) MMS point cloud.

연구에 사용된 장비는 MMS로 LIDAR, 디지털카메라등 지형지물 측량 센서와 GNSS, 관성항법장치(inertial navigation system,INS),관성측정장치(inertial measurement unit, IMU), 거리측정장치(distance measuring instrument, DMI) 등의 위치 및 자세 측정 센서를 차량에 탑재하여 주행 중에 point cloud 데이터를 취득하는 시스템이다. 연구에 사용된 MMS의 재원은 Table 1과 같다.

Table 1. The MMS specification

3. 방법론

1) 데이터 셋

Point cloud의 특성을 고려하여 변수를 선정하는 과정은 point cloud 데이터 분할에 있어 중요한 과정이며, 선정된 변수에 따라 분할의 결과가 달라지기 때문에 분할에 적합한 변수 선정이 필요하다. 머신러닝 기반 point cloud 분할 선행연구의 변수 특성은 Günen (2022), Atik et al. (2021), Duran et al. (2021), Li et al. (2019)의 연구뿐만 아니라 대부분의 연구에서 기하학적 특성의 변수를 사용하고 Zaboli et al. (2019)는 기하학적 특성과 강도특성의 변수를 Li and Cheng (2018)은 기하학적, 강도, 색상 특성의 변수를 사용하였다. MMS point cloud의 차선분할 연구는 Ma et al. (2019)와 Ye et al. (2020)는 MMS point cloud를 차선 분할을 위해 강도 임계값 기법을 사용 하였고 Song et al. (2022)는 딥러닝을 사용 MMS point cloud의 위치, 색상, 강도 특성을 사용하여 차선을 포함 20개의 클래스로 분할하였다. Yin et al. (2022)은 딥러닝을 사용 MMS point cloud의 강도 특성과 MMS 이미지의 색상 특성을 결합하여 차선을 분할하였다. 본 연구는 차선을 포함한 여러 클래스로 MMS point cloud를 분할하기 위해 선행연구 고찰을 기반으로 기하학적 특성, 강도 특성, 색상 특성을 고려하여 변수를 선정하였다. 추가적으로 차선 분할에 많이 사용되는 거리 임계값 기법의 도로 설계적 특성을 고려한 변수를 선정하여 머신러닝을 기반으로 차선을 포함한 여러 클래스 분할에 변수의 적용 가능성을 확인하고자 한다.

도로 설계적 특성은 도로설계기준에 따라 도로가 위치하는 지역 및 지형의 상황과 계획 교통량, 노선의 성격이 대략 비슷한 구간에 대해서 동일한 설계기준을 적용하는데 해당 구간을 설계구간이라 한다. 이러한 설계구간의 도로는 도로중심선으로부터 횡단 구성요소의 위치가 일정하며, 다음과 같은 특성을 변수로 활용하기 위해 도로중심선을 수작업으로 추출한 후 각 점들과 도로중심선의 평면거리와 높이차를 계산하였다.

기하학적 특성을 이용하기 위해 고유값(eigenvalues)과 법선 벡터(normal vector)를 사용한다. point cloud 상에 p라는 점은 3차원 공간에서 (x, y,z)로 정의되며, point cloud는 Q={p_i∈R³|i=1, ⋯, N}로 정의된다. 고유값을 계산하기 위해서 p라는 점 주변의 특정 거리 내에 있는 점 집합을 만들며 식(1)과 같다.

\(\begin{aligned}V_{R}(\bar{p})=\left\{p \in R^{3} \mid \operatorname{dist}(p-\bar{p}) \leq R\right\}\\\end{aligned}\)       (1)

이때, V_R (\(\begin{aligned}\bar{p}\end{aligned}\))는 점 p의 반경 R 내의 n개의 점 집합이며, \(\begin{aligned}\bar{p}\end{aligned}\)(x′, y′, z′)는 점 집합의 3차원 중심이다. 점 \(\begin{aligned}\bar{p}\end{aligned}\)와 p의 거리는 유클리드 기법을 통해 계산한다. 점 집합 V_R(\(\begin{aligned}\bar{p}\end{aligned}\))을 행 A, 점 집합의 중심을 행렬 B로 나타내면 식(2)이며, 행렬 A와 행렬 B로부터 고유값은 식(3)과 같이 공분산 행렬을 통해 계산된다.

\(\begin{aligned}A=\left[\begin{array}{ccc}x_{1} & y_{1} & z_{1} \\ x_{2} & y_{2} & z_{2} \\ \vdots & \vdots & \vdots \\ x_{n} & y_{n} & z_{n}\end{array}\right] \quad B=\left[\begin{array}{ccc}x^{\prime} & y^{\prime} & z^{\prime} \\ x^{\prime} & y^{\prime} & z^{\prime} \\ \vdots & \vdots & \vdots \\ x^{\prime} & y^{\prime} & z^{\prime}\end{array}\right]\end{aligned}\)       (2)

\(\begin{aligned}\operatorname{cov}(S)=\frac{1}{N}(A-B)(A-B)^{T} \end{aligned}\)       (3)

공분산 행렬을 통해 계산된 고유값은 3차원의 점으로 계산되기 때문에 λ₁, λ₂, λ₃ 3개의 값을 가지며, 크기는 λ₁≥λ₂≥λ₃이다. 이러한 고유값은 점 집합의 공간 분포 패턴을 정략적으로 특성화 하는데 사용한다.

일반적으로 점 집합의 분포 특성은 3가지이며 Fig. 2와 같다. 점의 분포가 불규칙형(scatter)일 때 고유값은 λ₁≈λ₂≈λ₃, 선형(linear)일 때 λ₁≥λ₂≈λ₃, 면형(surface)일때 λ₁≈λ₂≥λ₃로 나타난다. planarity, linearity, verticality, ominvariance 4개의 변수가 고유값을 통해 계산된다. 법선 벡터는 평면과 직교하는 벡터이다. 점 p(x, y, z)에 대한 법선 벡터는 이웃 점들과 가장 적합한 평면을 추정하여 계산할 수 있다(Akman and Jonker, 2010). 점 p의반경 R내에 이웃 점 p₀(x₀, y₀,z₀)의 벡터는 \(\begin{aligned}p_0^{\rightarrow}p\end{aligned}\)이며 법선 벡터 n과 벡터 r₀를 통해 \(\begin{aligned}p_0^{\rightarrow}p\end{aligned}\)로 나타낼 수 있다. 벡터 \(\begin{aligned}p_0^{\rightarrow}p\end{aligned}\)는 법선 벡터 n에 수직이기 때문에 n · (n – r₀)=0이며, 해당 벡터 방정식을 n=(n_x, n_y, n_z)와 식(4), (5)를 통해 계산된 최종 식(6)으로 평면에 대한 스칼라 값 n_x, n_y, n_z 변수를 계산한다. 고유값과 법선 벡터 계산을 위한 반경 R은 0.25 m로 선정하였다.

Fig. 2. Comparison of eigenvalues according to distribution of points: (a) scatter, (b) linear, (c) surface.

(n_x, n_y, n_z) · (x – x₀ ª y – y₀, z – z₀) = 0       (4)

n_x(x – x₀) + n_y(y – y₀) + n_z(z – z₀) = 0       (5)

n_xx + n_yy + n_zz + d = 0       (6)

강도 특성은 LIDAR 센서로부터 발사된 빛이 물체에 반사되어 돌아오는 세기이며 물체에 매질에 따라 다른 강도를 가진다. 도로 환경 내의 차선에는 운전자들의 야간 및 우천시 시인성을 높이기 위해 유리구슬이 포함되어 있다. 따라서 차선은 도로면과 강도 차이를 보이며, 이를 이용 많은 연구에서 차선 분할을 위해 강도 특성이 사용되고 있다(Gao et al., 2017; Yan et al., 2016).

색상 특성은 point cloud 데이터의 Red, Green, Blue로 구성되며, 값의 범위가 0~255로써, 각각 변수로 사용하기에는 계산량이 많다. 계산량을 줄이기 위해 회색조 (grayscale)로 변경하였다. 회색조로 변경하는 식은 G=ω₁Red + ω₂Green + ω₃Blue이며, 분할하고자 하는 클래스에 따라 각 색상의 가중치(ω)를 다르게 주지만 본 연구에서는 분할 클래스가 다양함으로 가중치를 색상별로 동일하게 1로 설정하여 회색조로 변경하였다(Liu et al., 2018).

MMS point cloud 데이터의 도로 설계적 특성, 기하학적 특성, 강도 특성, 색상 특성을 고려하여 11개의 변수를 선정하였으며 Table 2와 같다.

Table 2. List of the applied independent variable for segmentation

MMS 측량은 NGII (2020)에 따라 상행과 하행 차로를 구분하여 진행되어야 하며, 본 연구에서 사용된 MMS point cloud는 상행 방향으로 측량된 데이터이다. 상행차로의 point cloud만 사용하기위해 수작업으로 데이터 전처리를 진행하였다(Fig. 3). 데이터 셋은 정밀도로지도 항목에 포함되는 도로, 차선, 연석, 중앙분리대, 보도와 point cloud의 잡음(noise)을 제거하기 위한 기타 클래스로 선정하였다. 학습 데이터 셋과 테스트 데이터 셋의 비율을 6:4로 구축하였다. 각 클래스 별 점의 개수는 Table 3과 같다.

Fig. 3. MMS point cloud data preprocessing: (a) raw point cloud, (b) preprocessed point cloud.

Table 3. Point distribution of the classes in train dataset and test dataset

2) 적용 모델

선행연구의 point cloud 특성들과 추가된 도로 설계적 특성을 고려한 변수를 이용하여 구축된 데이터 셋 분할에 적합한 머신러닝 모델을 비교 및 평가하고자 RF, SVM, KNN, GBM 4가지 모델을 사용하였다.

RF는 앙상블 머신러닝 모델로 각 데이터 마다 개별의사결정나무(decision tree, DT)를 구축하는 배깅과 의사결정나무 구축 시 변수를 무작위로 선택하는 랜덤 서브스페이스로 구성된다. 생성된 각각의 의사결정나무들이 내린 예측 값들 중 가장 빈도가 높은 값을 최종예측 값으로 결정한다. 이러한 방법을 각 모델들의 독립성, 일반화, 무작위성을 최대화 시켜 일반적인 하나의 의사결정나무보다 높은 예측 정확도를 가지며 과대적합에 대해 견고하며 데이터의 양이 많더라도 처리 속도가 빠르다(Breiman, 2001; Lee et al., 2022).

SVM은 지도학습 머신러닝 모델 중 하나이다. N 차원의 공간에서 클래스의 데이터 간 최대 거리를 갖는 초평면(hyperplane)을 찾아 데이터를 분류한다(Atik et al., 2021). 이러한 최대 거리를 마진(margin)이라고 부르며 데이터를 더 정교하게 분류하도록 한다(Duran et al., 2021). 커널 선택에 따라 SVM 모델의 성능이 달라지기 때문에 본 연구에서는 SVM의 4가지 커널 linear,sigmoid, polynomial,radial basisfunction (RBF)중RBF커널을사용하였다. RBF 커널은 다양한 변수를 가진 데이터 분류에 적합하고 파라미터 조정을 통해 과대 적합과 과소 적합에 견고하여 비교적 높은 정확도를 보인다(Kang et al., 2013).

KNN은 유클리드 거리를 통해 특정 점 주변의 점 군집을 만들며, 점 군집의 클래스에 따라 특정 점의 클래스를 결정한다. KNN은 일반적인 내부 모델을 따로 생성하지 않는 sample-based learning과 non-generalized learning 기법을 사용한다. 또한 nonparametric 방법으로 매개변수에 대한 수의 제약을 받지 않고 파라미터를 가지고 있지 않기 때문에 학습데이터에 의해서만 학습 모델이 결정된다. KNN은 분류 결과를 다른 방법들보다 설명하기 용이하다(Zhang and Zhu, 2017; Duran et al., 2021).

GBM은 여러 개의 약한 분류기(week learner)를 조합하여 사용하는 머신러닝 모델 중 하나로 약한분류기는 DT를 사용한다. 부스팅 계열에 속하는 알고리즘으로 함수 최적화를 위해 경사하강법을 사용한다. 경사하강법을 사용 손실함수(loss function)의 크기를 최소화시키는 가중치(weight)를 찾고 손실함수의 negative gradient인 잔차(residual)를 순차적으로 약한 분류기에 학습시켜 가중치 수정과 결합을 통해 최종 모델인 강한 분류기(strong learner)를 만든다(Natekin and Knoll, 2013; Bui et al., 2021).

4. 결과 및 토의

본 연구에서는 각 클래스 별 데이터의 수가 불균형하기때문에 머신러닝 모델의 분할 성능 평가지표로 정확도(accuracy)를 사용할 경우 정확도가 편향(bias) 될 수 있다. 따라서 데이터의 수가 불균형 할 때 모델의 성능을 잘 평가할 수 있는 F1 score 평가지표를 사용하였다. F1 score는 정밀도(precision)와 재현율(recall)의 조화평균을 통해 모델의 성능을 평가하며 각 평가지표의 계산 식은 식(7), (8), (9)와 같다(Ibrahim et al., 2018). 이러한 평가 지표는 예측한 값과 실제 값 간의 혼동행렬(confusion matrix)인 Table 4를 통해 계산된다.

Table 4. Confusion matrix

\(\begin{aligned}Recall=\frac{TP}{TP+FN}\end{aligned}\)       (7)

\(\begin{aligned}Precision=\frac{TP}{TP+FP}\end{aligned}\)       (8)

\(\begin{aligned}F1\;score=2{\times}\frac{recall{\times}precision}{reacll + precision}\end{aligned}\)       (9)

MMS point cloud 데이터 분할 결과는 Table 5, Fig. 4와 같다. 도로 클래스에서는 모든 모델의 F1 score가 98% 이상으로 높게 나타났으며, RF 모델의 F1 score가 99.3% 로 가장 높았다. 기타 클래스에서는 모든 모델의 F1 score가 99% 이상으로 높은 정확도를 보였으며, 이는 point cloud의 잡음 제거에 도움이 될 것으로 보인다. 중앙 분리대 클래스는 SVM이 F1 score 96.8%로 가장 높았고 RF, KNN, GBM 순으로 F1 score가 각각 94.5%, 94.4%, 91.9%의 정확도를 보였다. 보도, 연석, 차선 클래스는 모두 RF 모델의 F1 score가 95.5%, 93.5%, 90.1%로 가장 높은 분할 정확도를 보였다. 두번째로 높은 정확도와 가장 낮은 정확도를 보이는 모델들과 RF 모델의 정확도를 비교해 보면 보도 클래스에서 SVM 모델과 KNN 모델 정확도보다 각각 4%, 25% 이상 높았다. 연석 클래스에서도 GBM 모델과 KNN 모델 보다 10%, 30% 이상 높은 정확도를 보였고, 차선 클래스 또한 다른 모델과 비교하여 4%에서 22%까지 높은 분할 정확도를 보였다. 6개의 클래스 중 5개의 클래스에서 높은 정확도를 보이는 RF 모델의 평균 F1 score는 95%로 MMS point cloud 분할에 있어 가장 우수한 모델로 나타났다.

Table 5. Segmentation results of precision (PR), recall (R), and F1 score (F1) values (Unit: %)

Fig. 4. Segmentation results of methods: (a) ground truth, (b) RF, (c) SVM, (d) GBM, (e) KNN.

RF 모델의 분할 결과를 살펴보면, 6개의 클래스 중 차선의 F1 score가 가장 낮게 나타났다. 이는 차선과 도로의 분할에 어려움이 있기 때문이다. 차선은 도로에 인접하게 위치하고 분할을 위해 사용된 point cloud의 기하학적 특성 변수는 유사하여 도로 설계적 특성, 강도 특성, 색상 특성의 변수들을 통해 도로와 차선은 분할된다. MMS point cloud 데이터의 색상 정보는 RGB 카메라를 통해 획득된 이미지를 통해 생성된다(Elhashash et al., 2022). 하지만 MMS의 이미지는 주행 중에 촬영되기 때문에 MMS 주변의 주행하는 차량에 의해 정확한 색상 정보를 획득할 수 없게 된다. 이로 인해 Fig. 5와 같이 도로의 색상 정보와 다른 정보를 가짐으로써 도로로 분할 되어야 할 점이 차선으로 분할되었다. 도로에 비해 높은 강도 정보를 가져 차선으로 분할 되어야 할 점이 도로로 분할된 경우는 차선의 유리 함량 부족으로 인해 발생한다. Fig. 6는 차선의 유리 함량 부족으로 인해 강도 정보가 낮아져 도로로 분할한 경우를 나타낸 것이다.

Fig. 5. Lane segmentation result of RF: color information in MMS point cloud is incorrect. (a) input point cloud, (b) ground truth, (c) segmentation result.

Fig. 6. Lane segmentation result of RF: insufficient glass content in lane. (a) input point cloud, (b) ground truth, (c) point cloud intensity variable, (d) segmentation result.

상대적으로 다른 클래스에 비해 차선 클래스는 낮은 분할 정확도를 보였지만 선행연구의 분할 결과와 비교해 보면, 차선 포함 여러 클래스를 분할함에도 임계값을 이용하여 차선 만을 분할한 연구와 F1 score의 차이는 93%와 90%로 거의 유사하였다(Ye et al., 2020).

중앙분리대의 precision은 97%, recall은 92% 나타난다. 상대적으로 낮은 recall이 나타나는 이유는 주행차량으로 인한 LIDAR의 폐색 부분이 발생하여, 중앙분리대 point cloud의 기하학적 특성 변수가 기존 값과 다른 값을 가져 중앙분리대를 기타로 분할하였다(Fig. 7). 도로, 연석, 보도 클래스는 도로 설계적 특성 변수로 인해 도로 구조 상 인접하지 않은 클래스로는 거의 분할 되지 않았다. 차선을 제외한 클래스인 도로, 연석, 보도, 중앙분리대도 선행연구 결과와 비교하여 유사한 F1 score를 보였다(Li and cheng, 2018; Hou et al., 2022; Zaboil et al., 2019).

Fig. 7. Median segmentation result of RF: occlusion of LIDAR occurs. (a) ground truth, (b) segmentation result, (c) verticality variable, (d) nx variable.​​​​​​​

가장 우수한 결과를 보인 RF 모델은 mean decrease accuracy (MDA), mean decrease gini (MDG)를 통해 변수의 중요도를 판별할 수 있다. MDA는 변수가 모델 정확도 향상에 얼마나 기여했는지 나타내는 지표로 기존 모델의 정확도와 특정 변수를 제거한 후 재구축한 변수들로 얻어진 변수 정확도의 차이를 통해 계산된다. MDG는 특정 변수로 인해 모델의 불순도를 감소시키는 정도를 나타내는 지표이다. 두 지표 모두 값이 높을수록 중요한 변수이다(Calle and Urrea, 2011). RF 모델의 변수 중요도는 Fig. 8과 같다. MDA는 intensity, gray, XY dist., Z dist. 순으로, MDG는 Z dist., n_z, verticality, XY dist. 순으로 높은 결과를 보였다. 본 연구에서 추가한 XY dist., Z dist. 모두 MDG, MDA가 높으며, 이는 도로 설계적 특성을 고려한 변수가 차선을 포함한 여러 클래스 분할에 중요하게 작용하였음을 뜻한다.

Fig. 8. The important variable of RF according to MDA and MDG.​​​​​​​

5. 결론

본 연구는 MMS point cloud 데이터를 정밀도로지도의 필수요소인 차선을 포함한 도로, 연석, 보도, 중앙분리대, 기타 클래스로 분할 하기위해 point cloud의 기하학적 특성, 색상 특성, 강도 특성과 도로 설계적 특성을 추가로 고려하여 11개의 변수를 선정하였다. 선정된 11개 변수와 RF, SVM, GBM, KNN 모델을 이용하여 MMS point cloud를 분할하고, 모델 간 성능을 비교 및 평가하였다. 모델 평가에는 데이터 셋이 불균형 하기 때문에 F1 score를 평가지표로 사용하였다. 분할 결과 평균 F1 score가 RF 95.43%, SVM 92.1%, GBM 91.05%, KNN 82.63%로 나타났다. RF 모델의 클래스 별 F1 score는 도로 99.3%, 보도 95.5%, 중앙분리대 94.5%, 연석 93.5%, 차선 90.1%로 중앙분리대를 제외한 모든 클래스에서 가장 높게 나타났다. 차선과 중앙분리대는 MMS 주변의 주행 차량으로 인한 point cloud 오류로 분할 정확도가 감소 하였지만 선행연구와 비교하여 모든 클래스의 정확도는 유사하였다. RF 모델의 변수 중요도 판별을 통해 사용된 변수 중 도로 설계적 특성을 고려한 추가 변수 XY dist., Z dist.가 분할에 중요하게 작용함을 확인하였다. 연구 결과를 바탕으로 차선을 포함한 MMS point cloud 분할에 머신러닝 모델의 적용 가능성을 확인하였다. 정밀도로지도의 필수 요소인 차선을 포함한 의미론적인 분할을 통해 정밀도로지도 작성 시 수작업으로 인한 비용과 시간 소모를 줄이는데 도움이 될 것으로 판단된다. 향후 연구에서 MMS point cloud의 색상과 폐색으로 인한 오류 해결 방안과 분할 클래스에 포함되지 못한 표지판, 신호등과 같은 클래스 분할을 위해 point cloud 데이터의 특성에 관한 추가적인 연구와 도로의 유형은 다양하기 때문에 구축된 학습 모델을 다른 유형의 도로에 적용시켜 범용성 확인이 필요할 것으로 사료된다.