A Study on Automatically Information Collection of Underground Facility Using R-CNN Techniques

R-CNN 기법을 이용한 지중매설물 제원 정보 자동 추출 연구

Abstract

Purpose: The purpose of this study is to automatically extract information on underground facilities using a general-purpose smartphone in the process of applying the mini-trenching method. Method: Data sets for image learning were collected under various conditions such as day and night, height, and angle, and the object detection algorithm used the R-CNN algorithm. Result: As a result of the study, F1-Score was applied as a performance evaluation index that can consider the average of accurate predictions and reproduction rates at the same time, and F1-Score was 0.76. Conclusion: The results of this study showed that it was possible to extract information on underground buried materials based on smartphones, but it is necessary to improve the precision and accuracy of the algorithm through additional securing of learning data and on-site demonstration.

연구목적: 본 연구는 미니트렌칭 공법 적용 과정에서 범용 스마트폰을 이용하여 지중매설물의 정보를 자동 추출하는데 목적이 있다. 연구방법:이미지 학습을 위한 데이터 셋은 주야간, 높이, 각도 등의 다양한 조건에서 수집하였으며, 객체 검지알고리즘은 R-CNN 알고리즘을 이용하였다. 연구결과: 성능평가지표는 정확한 예측과 재현율의 평균을 동시에 고려할 수 있는 F1-Score를 적용하였으며, 학습결과 F1-Score는 0.76으로 나타났다. 결론: 본 연구의 결과는 스마트폰 기반의 지중매설물 정보 추출이 가능한 것으로 나타났으나, 학습데이터의 추가적인 확보와 현장 실증 등을 통해 알고리즘의 정밀성 및 정확성을 향상시킬 필요가 있을 것으로 판단된다.

서론

도시 지역 내 설치된 통신선, 전력선 등과 같은 공중선은 도시의 미관 저하와 화재 및 감전, 도로이용자 위협 등 안전 문제를 발생시키고 있다. 이에 2008년~2011년 사업자 중심의 자율정비를 추진하였으나 효과가 미흡하여 중앙정부에서는 공중 케이블 정비효율화 및 지중화 강화로 국민생활 안전과 도시미관을 개선하고 신기술 적용과 투자확대로 통신기반 시설 확충 및 네트워크 기반 고도화 추진을 위해 2021년 2차 공중케이블 정비 중장기 종합계획(2021년~2025년)을 수립하였다.

공중선 지중화 사업은 도시 기능에 필요한 상하수도관, 가스, 난방용 열 수송관이 매설되어 있는 주변 도로 하부에 통신선 등을 매설하므로 매설물의 정확한 제원 및 위치 정보 파악을 위한 기술이 요구된다(Park et al., 2019). 이를 위해 국내에서는 지중 매설물의 이력 관리에 대한 연구가 수행되고 있으며, 도로 표면의 표지병에 NFC 태그를 이용하는 방안(Kim, 2017), UHF RFID 태그를 활용하는 방안(Jung, 2022), UHF와 NFC 태그를 혼합하는 방안(Lee&Kim, 2012) 등 다양한 방법이 제안되고 있다.

한편 시공 기법과 관련하여 타 시설물에 비해 빈번한 공사 소요로 시민불편과 비용의 효율성 제고를 위해 근래 도로굴착 정도가 폭 30cm 이하, 깊이 60cm이상으로 현저히 낮은 미니트렌칭공법이 개발 및 적용되고 있다(Press release. 2021, KICT, 2020). 그러나, 공사의 신속성 증가로 실제 지중 매설물 데이터 구축 시간은 충분하지 못한 실정으로 공중선 지중화 공사는 Fig. 1과 같이 통상 9단계 공정으로 진행되는데, 관로 설치 후 모르타르 타설 전인 약 20분 내외 시간에 지중매설물에 대한 데이터를 구축하여야 한다.

Fig. 1. Undergrounding process

즉, 지중매설물의 이력 관리를 위해서는 공사시 매설되는 시설물의 정확한 정보를 수집하고 이를 갱신 또는 신규 정보로 구축되어야 하는 것이 중요하다. 따라서 본 연구에서는 신속한 미니트렌칭 공사 매설물의 데이터 구축을 위해 현장에서 짧은 시간 안에 지중매설물 정보 수집이 가능한 범용스마트폰 촬영 이미지 기반의 지중매설물 제원 정보 자동 추출 기술을 개발하는데 목적이 있다.

본 연구에서 추출하고자 하는 제원 정보는 통신관리의 재질 및 수량으로 범용스마트폰 활용을 통한 정보 수집 방식을 적용함에 따라 별도의 전용 단말기가 요구되지 않으며, 공사 후 유지관리 차원에서 제원 정보의 증빙자료 활용 및 신속한 위치정보 수집 기술의 입력 정보로도 병행 활용이 가능할 것으로 기대된다.

객체 탐지 알고리즘

객체탐지는 수집된 영상(이미지)에서 특정 객체를 확인하는 것으로 딥러닝 기반의 객체 검출 기법은 Table 1과 같이 One-stage detector와 Two-stage detector로 구분할 수 있다. One-stage detector는 객체 탐지와 분류가 동시에 진행됨에 따라 추론 속도가 빠르고 Two-stage detector에 비해 빠르다는 장점이 있으며 대표적인 모델로는 YOLO 및 SSD가 있다. Two-stage detector는 객체 탐지 후 분류를 진행하는 모델로 정확한 위치 탐색과 분할이 가능하다는 장점이 있으며, 대표적으로는 CNN 계열(R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등)이 있다(Kim, 2020).

Table 1. Object detection algorithm

본 연구는 스마트폰에서 촬영된 영상 이미지에서 매설물의 재질 및 수량 정보를 수집하는 것으로 통신관로에 대한 정확한 분할(Segmentation)이 요구됨에 따라 R-CNN 알고리즘이 적용하였다.

R-CNN은 이미지 내에서 객체가 존재하는 영역 제안(Region proposal)을 계산하고 객체의 클래스를 분류하는 과정으로 회귀학습을 통해 보정된다. Fig. 2는 R-CNN 알고리즘에 대한 개요로 하나의 이미지에서 다수의 객체 탐지가 가능하며, 개별 객체에 대하여 CNN을 적용한다(Girshick et al., 2014).

Fig. 2. R-CNN algorithm (Girshick et al., 2014)

실증 분석

본 연구의 기술 적용을 위한 학습데이터 셋은 한국건설기술연구원의 연천센터에 시범으로 구축된 통신관로를 이용하였으며, 스마트폰 영상찰영을 통해 구축하였다. 통신관로는 Fig. 3과 같이 연장 16m, 폭 15cm, 깊이 35cm로 COD관과 FC관을 매설하였다. Table 2는 스마트폰 영상촬영 조건으로 광량, 촬영높이 및 각도 등 다양한 조건하에 데이터를 수집하였다. 딥러닝의 경우 많은 데이터가 요구되며, 이러한 데이터 수집은 오랜 기간 수행되어야 한다(Mutis et al, 2020).

Fig. 3. Demonstration section

Table 2. Data collection

전체 수집된 데이터 셋에서 촬영 시 흔들림 등으로 객체 식별이 어려운 이미지 등은 필터링하고, 해상도가 상이한 이미지의 경우는 1920×1080으로 이미지 크기를 동일하게 리사이징 하였다. 또한, 수집된 데이터의 효과적인 활용을 위한 방법으로 실제 데이터와 유사한 가상의 데이터를 생성하는 이미지 어그멘테이션(Image augmentation)을 적용할 수 있다. 따라서 본 연구에서는 기존 연구 사례(Kim, 2022)를 참고하여 수집데이터의 크기 및 밝기, 회전 조정을 통해 학습데이터를 증가하였다. 수집 및 가상데이터는 Table 3과 같다.

Table 3. Learning data(sample)

검증데이터는 학습에 이용된 실제데이터 700개(COD관 350개, FC관 350개)를 제외한 200개를 별도로 구축하였다.

분류 모델 학습의 경우, 주어진 데이터를 의도에 맞게 잘 분류하는 것을 목적으로 한다. 따라서 이러한 모델을 평가하는 기준이 필요하며, 이때의 기준은 얼마나 정밀한지, 얼마나 실용적으로 분류하는지, 얼마나 정확한 분류를 했는지로 구분할 수 있다. 오차 행렬(confusion matrix)는 이러한 내용을 모두 포함하고 있다.

오차 행렬은 분류 모델이 두 개 이상의 클래스를 구분하는 경우, 모델이 얼마나 잘못된 클래스를 예측하였는지 ‘혼동’이나 ‘오차’를 행렬로 나타낸 것으로 Fig. 4와 같이 confusion matrix에는 4가지 항목으로 구성된다(Maria Navin et al., 2016).

Fig. 4. Confusion matrix (Maria Navin et al., 2016)

• TP (True Positive) : 실제값이 Positive이고, 모델이 예측한 값이 Positive인 경우

• FP (False Positive) : 실제값이 Negative이고, 모델이 예측한 값이 Positive인 경우

• TN (True Negative) : 실제값이 Negative이고, 모델이 예측한 값이 Negative인 경우

• FN (False Negative) : 실제값이 Positive이고, 모델이 예측한 값이 Negative인 경우

여기서 정확도(Accuracy)는 모델이 예측한 결과와 실제 결과가 얼마나 일치하는지 평가하는 지표로 아래의 수식과 같이 산정할 수 있다.

\(\begin{aligned}Accuracy=\frac{T P+T N}{T P+T N+F P+F N}\end{aligned}\)       (1)

그러나, 분류 문제에서 데이터의 클래스 분포가 불균형하게 분포되는 경우, 모델의 성능이 왜곡될 수 있어 정확도(Accuracy)만으로 성능을 평가하기에는 한계가 있다. 따라서 정밀도(Precision) , 재현율(Recall), F1-Score등을 함께 고려하여 모델의 성능을 평가하는 것이 적절하다.

정밀도(Precision)는 분류 모델의 성능을 평가하기 위한 지표 중 하나로 모델이 예측을 Positive로 한 대상 중에서, 실제 값이 Positive인 데이터의 비율을 의미한다. 재현율(Recall)은 분류 모델의 성능을 평가하기 위한 지표 중 하나로 실제 정답값이 Positive인 대상 중에서, 모델이 Positive로 예측한 데이터의 비율을 의미한다. F1-Score는 분류 모델에서 사용하는 평가 지표로서 F1-Score는 Recall과 Precision의 조화 평균으로 F1-Score는 0~1 사이의 값을 가진다.

정밀도(Precision) , 재현율(Recall), F1-Score의 산출식은 아래의 Table 4와 같다.

Table 4. Confusion matrix

이 중 F1-Score는 Recall과 Precision을 모두 고려하여 모델의 예측 성능을 평가하기 때문에, 정확한 예측과 재현율의 평균을 동시에 고려할 수 있는 장점이 있다. 조화 평균을 사용하는 이유는 Precision과 Recall 중 더작은 값에 영향을 많이 받기 위함이다.

따라서 본 연구의 학습 결과 성능평가지표는 F1-Score를 적용하였으며, 통신선 기반의 지중매설물 정보 추출에 대한 학습 결과 recall 0.69, precision0.85, F1-Score는 0.76으로 나타났다. 아래의 Table 5는 COD관과 FC관의 실제 데이터에서 객체를 추출한 결과를 나타낸 것으로 매설물의 개수에 따라 수량 정보 추출이 가능한 것으로 나타났다.

Table 5. Results of analysis

그러나, 일부 이미지에서는 아래의 Fig. 5과 같이 잘못된 객체 검지(이미지 내 배경에서의 객체 검지 오류, 수량 오류 등)가 이루어지는 사례가 발생하였으며, 이에 정밀성 및 정확성이 감소한 것으로 나타났다.

Fig. 5. Error of object detection

결론

본 연구는 공중선 지중화사업에서 적용되는 미니트렌칭 공법 과정에서 짧은 시간 내에 지중매설물의 제원 정보를 자동 추출하는 알고리즘 연구를 수행하였으며, 객체 검지 알고리즘 중 정확한 탐색이 가능한 R-CNN 알고리즘을 이용하였다.

학습을 위한 데이터 구축은 한국건설기술연구원의 연천센터에 시범으로 구축된 통신관로를 대상으로 범용 스마트폰의 영상 자료에서 이미지를 추출하였으며, 기존 연구에서 언급된 내용을 참고하여 이미지 어그멘테이션을 통해 학습데이터를 증가하였다. 학습데이터는 매설물의 재질에 따라 COD관, FC관 각각 각 350개의 데이터를 구축하였으며, 검증 데이터는 학습에 이용되지 않은 200개의 데이터를 활용하였다.

학습 결과에 대한 성능지표는 Recall과 Precision의 조화 평균으로 산정되는 F1-Score를 선정하였으며, 학습결과 recall 0.69, precision0.85, F1-Score는 0.76으로 산정됨에 따라 매설물 재질의 구분 및 수량에 대한 자동 정보 수집이 가능한 것으로 나타났으나, 본 연구의 결과는 다음과 같은 한계가 있는 것으로 나타났다.

첫 번째, 본 연구는 실제 공사 과정에서 이루어진 것이 아님에 따라 현장 적용 가능성을 위해서는 추가적인 실증 환경하에 데이터 수집 및 분석을 수행할 필요가 있다.

두 번째, 알고리즘 학습 및 검증을 위한 데이터의 양적인 측면에서 보다 많은 데이터 확보가 필요할 것으로 판단된다.