3D Reconstruction of Pipe-type Underground Facility Based on Stereo Images and Reference Data

스테레오 영상과 기준데이터를 활용한 관로형 지하시설물 3차원 형상 복원

Abstract

Image-based 3D reconstruction is to restore the shape and color of real-world objects, and image sensors mounted on mobile platforms are used for positioning and mapping purposes in indoor and outdoor environments. Due to the increase in accidents in underground space, the location accuracy problem of underground spatial information has been raised. Image-based location estimation studies have been conducted with the advantage of being able to determine the 3D location and simultaneously identify internal damage from image data acquired from the inside of pipeline-type underground facilities. In this study, we studied 3D reconstruction based on the images acquired inside the pipe-type underground facility and reference data. An unmanned mobile system equipped with a stereo camera was used to acquire data and image data within a pipe-type underground facility where reference data were placed at the entrance and exit. Using the acquired image and reference data, the pipe-type underground facility is reconstructed to a geo-referenced 3D shape. The accuracy of the 3D reconstruction result was verified by location and length. It was confirmed that the location was determined with an accuracy of 20 to 60 cm and the length was estimated with an accuracy of about 20 cm. Using the image-based 3D reconstruction method, the position and line-shape of the pipe-type underground facility will be effectively updated.

영상 기반 3차원 복원은 실세계 객체의 형태와 색상을 복원하는 것이며, 실내외 환경과 목적에 맞게 영상 센서를 이동플랫폼에 탑재하여 측위 및 매핑의 목적으로 활용한다. 지하공간 사고 발생의 증가로 지하공간 정보의 위치 정확도 문제가 제기되고 있으며, 관로형 지하시설물 내부에서 취득된 영상데이터로부터 3차원 위치 결정과 동시에 내부 손상 등을 파악할 수 있다는 장점으로 영상 기반의 위치 추정 연구가 수행되어오고 있다. 본 연구에서는 관로형 지하시설물 내부에서 취득한 영상과 기준데이터를 함께 사용하여 영상 기반으로 시설물의 3차원 형상을 복원하는 연구를 수행하였다. 스테레오 카메라를 탑재한 무인이동체 시스템을 구성하고, 입구와 출구에 기준데이터가 배치된 관로형 지하시설물 내에서 데이터를 영상 데이터를 취득한다. 취득한 데이터와 기준데이터를 함께 사용하여 지오레퍼런싱 된 3차원 형상으로 복원한다. 복원된 결과의 정확도를 위치와 길이를 통해 검증하였으며, 위치는 20-60 cm의 정확도로 결정되었고 길이는 약 20 cm의 정확도로 추정된 것을 확인하였다. 영상 기반 3차원 복원 방법을 통해 관로형 지하시설물의 위치, 선형을 효과적으로 갱신할 수 있을 것으로 판단된다.

1. 서론

3차원 복원은 실세계 객체의 3차원 형상과 표면의 색상을 디지털화하는 기술로, 이미지기반의 3차원 복원은 여러 위치와 방향에서 대상을 촬영한 영상을 사용하여 카메라의 움직임을 추정해 3차원으로 복원한다. 컴퓨터 비전 또는 사진측량 분야에서 많이 활용되는 Structure from Motion (SfM)이나 Visual SLAM(V-SLAM)과 같은 기술은 3차원 복원에 활용되는 대표적인 방법이다(Chu et al., 2007). 3차원 복원 과정은 복원하고자 하는 객체 또는 지역에서 취득된 2장 이상을 영상을 이용하여 영상 간의 관계를 파악하고 삼각법을 통해 영상에 포함되는 지점들의 3차원 점을 계산한다. 이를 위해서는 다양한 위치와 방향에서 취득된 영상이 필요하며, 이러한 영상들은 일반적으로 이동플랫폼을 통해 취득된다. 3차원으로 복원하고자 하는 목적과 환경에 적합한 플랫폼과 센서를 선정하여 실내외 환경과 목적에 맞는 적합한 이동플랫폼에 탑재되어 측위 및 매핑의 목적으로 3차원으로 복원된다.

지하공간 사고 발생으로 지하공간정보의 정확도 문제가 지속적으로 제기되고 있다. 새로운 관로형 지하시설물을 매설하거나 기존의 지하시설물의 관리함에 있어 지하시설물의 위치는 중요한 요소이며, 실제 공간에서 시설물의 정확한 3차원 위치를 파악하는 것은 시설물의 관리에 있어 중요하다. 관로형 지하시설물의 위치는 관로형 지하시설물이 매설되기 전 영상과 측량 데이터를 이용하여 3차원 위치를 결정한다. 관로형 지하시설물이 매설된 이후에는 매설된 시설물의 3차윈 위치를 확인할 수 있는 다양한 방법이 존재하지만, 최근에는 관로형 지하시설물 내부에서 취득된 영상 데이터로부터 3차원 위치를 결정하며 동시에 시설물 내부의 손상 등을 동시에 파악할 수 있다는 장점으로 영상 기반으로 위치를 측정하는 연구가 수행되고 있다.

Hansen et al. (2011)은 스테레오 카메라를 이용하여 가스관 내부에서 데이터를 취득하여 3차원 형상으로 복원하는 연구를 수행하였다. 가스관 내부에서 카메라를 탑재한 무인이동체 시스템을 구성하여 가스관 내부에서 데이터를 취득하였다. 가스관 내부는 텍스쳐가 단순한 환경이므로 영상 매칭에서 오차가 발생하였으며, 영상 매칭에서의 정확도를 높이기 위해 Zero Mean Normalized Cross-Correlation (ZNCC) 값을 이용해 영상간 정확한 공액점을 추정하였다. 번들조정을 통해 3차원의 위치를 추정하였으며 길이를 이용하여 추정된 결과의 정확도를 확인하였다. Kannala et al. (2008)은 수도관 내부에서 어안렌즈로 취득된 비디오 데이터를 이용하여 SfM 방법을 통해 관의 3차원 형상을 복원하였다. 텍스쳐가 적은 환경에서 영상 간의 신뢰도 높은 매칭점만을 이용하여 3차원으로 복원하였다. 실린더 모델을 정의하고, 3차원으로 복원된 소수의 데이터를 이용하여 해당 모델에 적합한 튜브 형태의 3차원 모델을 생성하였다. El Kahi et al. (2011)은 단안 카메라로 취득한 파이프 내부 영상을 이용하여 SfM을 통해 3차원 형상으로 복원하였다. 3종의 관에서 실험을 수행하였으며, 상대적인 길이를 통해 정확도를 평가하였다. Hansen et al. (2014)는 어안렌즈 카메라를 탑재한 무인이동체를 이용하여 가스관 내부에서 데이터를 취득하여 3차원 형상으로 복원하였다. 관로형 지하시설물이 직선구간과 T자형 구간으로 구분되어 있어, 영상에서 보여지는 기하학적 형태에 따라 구분할 수 있는 방법론을 적용하였으며, 3차원 형상으로 복원된 결과로부터 관로형 지하시설물은 3차원 모델을 생성하였다.

선행된 연구에서 관로형 지하시설물 내에서 촬영된 영상을 이용하여 3차원 형상으로 복원하기 위해서는 영상 간의 관계를 추정하는 것이 중요한 것을 확인하였다. 영상 간의 관계는 영상매칭을 통해 계산된 매칭점에 의해 결정된다. 관로형 지하시설물은 외부 환경에 비해 시설물 내부 환경은 빛이 적고 단조로운 색상을 띄고 있어 영상매칭에 불리하게 작용한다. 또한, 데이터 취득 방식에서 다양한 경로로 데이터를 취득하기 어려워 영상 매칭 발생하는 문제를 데이터 취득 방식의 개선으로 해결하기 어렵다. 따라서 관로형 지하시설물 내부의 환경에서 영상매칭의 방법을 개선하려는 연구나 카메라 파라미터를 정확하게 추정하는 방법에 관한 연구가 진행되었다.

Summan et al. (2017)은 관의 내부에서 촬영된 영상 간의 영상매칭에서 매칭점 간의 분포에 따라 영상 간의 관계 추정의 불확실성을 실험적으로 확인하였다. 관로형 지하시설물 내부의 환경은 일반적으로 동일한 색상이 반복되는 환경이므로 이를 극복하기 위한 연구를 수행하였다. Shang and Shen (2022)는 뎁스카메라를 이용하여 파이프 내부에서 데이터를 취득하고, 취득한 데이터를 이용하여 파이프 3차원 모형을 생성하였다. 카메라 캘리브레이션을 통해 정밀한 카메라 파라미터를 추정하였으며, 파이프 내부에 마커를 부착하여 정확도를 평가하였다.

영상 간의 관계 추정을 개선하기 위한 연구가 수행되었지만, 영상 간의 정합 오차가 줄어들더라도 3차원 복원 시 관의 길이가 길어짐에 따라 작은 오차들이 누적되어 최종적으로 복원되는 3차원 위치가 부정확하게 된다. 이를 개선하기 위하여 여러 연구에서는 다른 센서를 추가적으로 탑재하여 영상 기반으로 3차원 형상을 복원하는데 도움을 주도록 하는 연구가 수행되었다. Gunatilake et al. (2019)는 스테레오 카메라와 적외선 레이져를 이용하여 3차원 형상을 복원하는 연구를 수행하였다. 영상만으로는 누적되는 오차를 해결하기 어렵기 때문에 시작지점에서부터 길이를 측정하는 인코더를 함께 활용하여 실시간으로 3차원 맵을 생성하였다. 관의 지름과 인공적인 결함의 길이를 통해 매핑 오차를 확인하였을 때 1 mm 정도에 오차가 나오는 것을 확인하였다.

선행연구를 통해 영상을 이용하여 3차원 형상을 복원할 때 영상 간 정합과 시설물의 길이가 길어짐에 따라 오차가 누적되는 문제가 있음을 확인하였다. 누적되는 관측오차를 제거할 수 있는 데이터가 필요하며, 측량 분야에서는 기준데이터를 이용하여 관측오차를 제거한다. 사진측량 분야에서 기준데이터로써 기준점을 주로 활용하며, 지상기준점 정보를 통해 항공사진이나 드론사진의 정밀한 지오레퍼런싱(Georeferencing)을 수행한다. 지상기준점은 측량기기를 통해 정확하고 정밀한 위치 정보이며 지상기준점을 이용하여 번들조정을 수행하는 경우에 절대좌표를 갖는 위치정확도가 높은 결과를 생성할 수 있다. 본 연구에서도 누적되는 오차를 조정하고 생성되는 결과를 지오레퍼런싱 할 수 있는 추가적인 정보로 기준점 정보를 사용하고자 한다.

본 연구에서는 관로형 지하시설물 내에서 취득한 스테레오 영상과 입/출구의 기준데이터를 함께 활용하여 관로형 지하시설물의 3차원 형상을 복원하는 것을 목적으로 한다. 스테레오 카메라를 탑재한 무인이동체 시스템을 구성하고, 관로형 지하시설물 내에서 영상 데이터를 취득한다. 관로형 지하시설물 입구와 출구에 기준데이터가 확보되어 있는 것으로 가정한다. 기준데이터는 절대좌표를 참조하는 기준점 정보이며, 100 m 길이의 3종 관로형 지하시설물에 적용하여 무인이동체 시스템에 탑재한 스테레오 카메라로 입/출구의 기준데이터가 포함된 영상을 취득한다. SfM 방법을 통해 3차원 형상으로 복원하는 과정에서 기준데이터와 영상정보를 함께 사용하여 관로형 지하시설물을 절대좌표를 참조하는 3차원 형상으로 복원한다.

2. 방법론

본 연구에서는 2대의 스테레오 카메라를 탑재한 무인이동체를 관로형 지하시설물 내부에서 운용하여 데이터를 취득하고, 취득한 영상정보로부터 관로형 지하시설물의 3차원 형상을 복원하고자 한다. 3차원 복원 시 관로형 지하시설물 내부에서 취득된 영상과 입출구에 배치된 기준데이터로부터 지오레퍼런싱 된 관로형 지하시설물의 3차원 형상을 복원한다.

1) 관로형 지하시설물 내부 영상 취득을 위한 무인이동체 시스템 구축

무인이동체 시스템은 관로형 지하시설물 내부에서 운용되면서 내부의 영상정보를 취득하는 기능을 한다. 해당 시스템은 시설물 유지관리 점검용 무인이동체인 ROBOCAM1에 스테레오 카메라와 카메라를 제어할 수 있는 보드를 함께 탑재하여 구성한다. 시설물 내에서 무인이동체 시스템은 직선 주행으로 운용되므로, 2개의 스트립으로 데이터가 취득되도록 ZED2 스테레오 카메라를 선정하였다. 선정한 카메라의 사양은 Table 1과 같다. ZED2 카메라는 FHD(1920 × 1080) 크기의 스테레오 영상을 초당 30프레임으로 취득할 수 있다. 또한, 스테레오 카메라를 구성하는 2개의 카메라 간격을 통해 스케일을 결정할 수 있는 장점을 활용할 수 있다. 3차원 형상 복원에 활용되는 기준데이터가 관로형 지하시설물 입구와 출구에 배치되어 있으므로 이를 관측할 수 있도록 스테레오 카메라는 2대를 탑재하였다. 한 대의 카메라는 무인이동체의 전방으로 바라보는 방향으로 탑재하며, 다른 카메라는 후방을 바라보는 방향으로 탑재하였다. 제어보드는 NVIDIA Jetson Nano를 사용하였으며, 센서제어와 취득되는 데이터를 저장한다. 시설물 내부는 빛이 없는 환경이므로 빛을 공급하기 위해 전/후방 카메라 상단에 LED 패널을 함께 탑재한다. 무인이동체 시스템의 전체적인 형태는 Fig. 1과 같다.

Table 1. Specification of stereo camera

Fig. 1. In-pipe unmanned system.

2) 관로형 지하시설물 기준데이터 배치

3차원 형상 복원 과정에서 기준데이터는 복원되는 결과의 정확도를 향상할 수 있는 데이터로 사용된다. 관로형 지하시설물 내부는 색상이나 형태의 변화가 적어 영상 간 관계를 추정하는데 오차가 발생할 확률이 높고, 길이가 길어짐에 따라 오차가 누적될 확률이 높다. 입구와 출구에 배치된 기준데이터는 누적되는 오차를 제거해 줄 수 있으며, 정밀한 데이터이므로 오차를 최소화하는 조정과정에서도 효과적이다. 또한, 관로형 지하시설물 내부에서 취득한 영상만으로 3차원 형상을 복원하면 결과는 상대적인 위치를 갖는 결과가 생성되지만, 절대좌표를 참조하는 기준데이터를 사용함으로써 3차원 형상을 복원함과 동시에 지오레퍼런싱 과정이 함께 수행된다. 다른 관로형 지하시설물과의 3차원 위치를 비교하기 위해서는 같은 좌표계를 참조하는 것이 요구되므로 조정과정에서 지오레퍼런싱이 되는 것은 3차원 매핑에서도 효과적이다.

본 연구에서는 관로형 지하시설물의 입구와 출구에 절대좌표를 참조하는 기준데이터를 사용한다. 매설된 지하시설물의 입구와 출구 주변에 고정밀 3차원 위치정보가 배치되어 있다는 것을 가정하였으며, 3차원 위치정보는 절대좌표를 참조한다. 기준데이터로 활용될 수 있는 정보의 유형은 다양하지만 본 연구에서는 기준점 형태로 정의하였다. 항공영상 분야에서 많이 활용되는 방법으로 기준점의 위치를 측량하고, 이를 2차원 영상에서 측점하여 사용한다. 기준데이터는 높은 위치정확도를 가지고 있으므로 카메라 내부 파라미터를 함께 추정하는데도 활용될 수 있다. 기준점 데이터는 Fig. 2(A)와 같으며, 관로형 지하시설물 내에서 취득한 영상에 포함된 기준데이터의 형태는 Fig. 2(B)와 같다. 관로형 지하시설물의 입출구에 배치된 기준점은 시설물 주변의 고정밀 3차원 위치정보이며, Global Navigation Satellite System (GNSS)와 측량장비를 이용하여 정밀하게 측량한 정보이다. Fig. 2(A)의 각 패치의 중심점의 위치를 측량하였다.

Fig. 2. Reference point: (A) artificial marker structure and (B) image including reference points

3) 관로형 지하시설물 3차원 형상 복원

본 연구에서는 관로형 지하시설물의 입구에서 무인이동체 시스템을 운용하여 출구까지의 영상을 확보하고, 이를 관로형 지하시설물의 3차원 형상을 SfM 방법을 통해 복원한다. 취득되는 시설물 내부 영상은 출구 방향의 전방영상과 입구 방향의 후방영상이 취득된다. 전방영상과 후방영상을 정합하는 과정에서 기하학적인 제약에 따라 영상이 정합되지 않는 문제가 있었으며, 전방영상과 후방영상 간의 공액점을 찾더라도 번들조정 과정에서 공액점이 이상치로 제거되었다. 따라서 한 쪽 방향의 영상과 해당 방향에 있는 기준데이터만을 이용하여 결과를 생성한 후에 결과를 조합하였다. 전방영상과 출구에 있는 기준데이터 그리고 후방영상과 입구에 있는 기준데이터로 나누어 3차원 형상을 복원하며, 2개의 3차원 형상 복원 결과를 결합하여 최종적인 관로형 지하시설물의 3차원 형상을 복원한다. 관로형 지하시설물을 복원하는 과정은 Fig. 3와 같다.

Fig. 3. Workflow of 3D reconstruction from in-pipe images and reference data.

(1) 카메라 내부 파라미터 추정

실세계의 정보를 사진으로 담아내는 과정은 3차원의 정보를 2차원으로 표현하는 것이며, 3차원의 정보를 2차원으로 기록할 때 카메라에 포함된 오차가 반영된다. 이미지 기반의 3차원 복원 과정은 2차원의 영상정보를 통해 객체의 3차원 형상을 복원하는 것이며, 이를 위해서는 카메라 파라미터를 정확히 구하는 과정이 필요하다. 카메라 캘리브레이션은 카메라 내부 파라미터는 추정하는 과정으로, 영상을 취득하였을 때의 카메라의 내부파라미터를 정확히 추정하여야 올바른 3차원 정보를 생성할 수 있다. ZED2 카메라는 제조사에서 카메라 캘리브레이션 기능을 제공하고 있으며, 격자보드를 여러 위치와 방향에서 촬영하여 카메라 내부 파라미터를 추정한다. 추정하는 파라미터는 초점거리, 주점, 왜곡계수, 카메라 간격이며, 추정된 결과는 Table 2와 같다.

Table 2. Camera parameter

(2) 새로운 기준데이터 생성 및 3차원 복원

SfM 과정에서는 다수의 영상으로부터 카메라의 움직임을 파악하기 위해서는 영상 간의 대응관계를 알아야 한다. 영상의 대응 관계는 주로 코너와 같이 영상에서 추출이 용이한 특징점을 이용한다. 2장 이상의 영상에서 영상 간 대응 관계인 매칭점이 파악되면, 매칭점에 대해 3차원 좌표를 결정한다. 3차원 좌표는 공선방정식에 따른 삼각측량법을 통해 결정되며, 번들조정에 의해 관측에 포함되는 오차를 최소화한다. 번들조정은 카메라의 위치/자세와 삼각측량법을 통해 결정되는 3차원 좌표에 포함되는 오차를 최소화하는 과정이며, 결정된 3차원 점을 다시 영상으로 역투영 했을 때의 오차를 줄이는 방식으로 조정한다. 번들조정 과정에서 기준점 데이터은 3차원 복원에 있어 제약조건으로 사용된다. 전방영상을 사용하는 경우에는 출구 쪽에 배치된 기준점 데이터가 함께 사용되며, 후방영상을 사용하는 경우에는 입구 쪽에 배치된 기준점 데이터가 사용된다. 이를 이용하여 관로형 지하시설물을 3차원으로 복원하면 절대좌표를 갖는 데이터가 생성되지만, 기준데이터와 가까운 쪽의 3차원 위치는 정확하지만 최적화를 진행하면서 오차가 누적되어 기준데이터와 멀어지는 경우에는 위치정확도가 낮은 결과가 생성된다. 일차적으로 생성된 결과는 한쪽의 기준데이터만 사용되어 있으므로, 3차원으로 복원된 2개의 결과를 결합하여 입구와 출구 지역 모두 위치정확도가 높은 결과를 생성한다. 후방영상으로부터 생성한 결과에서 입구에 가까운 곳의 특정지점을 측점하여 새로운 기준데이터를 생성한다. Fig. 4는 새로운 기준데이터를 측점하는 과정을 나타낸 것이며, 첫 번째 이음새 부분에서 3점 이상을 측점하여 결과를 생성한다. 관로형 지하시설물 내부 영상에서 영상점을 측점하면, 번들조정의 결과로 생성된 조정된 3차원 위치정보를 계산할 수 있다. 생성한 기준데이터를 전방영상과 출구 기준데이터를 사용한 결과에 반영하여 입구와 출구에 기준데이터를 모두 사용하도록 결과를 생성한다.

Fig. 4. Measurement of new reference data.

3. 실험 및 결과

본 연구는 관로형 지하시설물을 재현한 실험현장에서 진행하였으며, 실험현장은 관로형 지하시설물은 3개의 관종으로 구성하였다. 각 관로형 지하시설물에서 데이터를 취득하고 시설물의 3차원 형상을 복원하여 정확도를 평가하였다.

1) 실험장소

실험장소는 한국건설기술연구원 하천실험센터에 3개의 관종으로 된 관로형 지하시설물을 설치하여 테스트 현장을 구성하였다. 흑관은 길이가 100 m이며, 재질은 철로 구성되어 있다. 종단면 경사를 5도 범위에서 높낮이를 조절하여 제작하였다. 이중벽관은 길이가 100 m이며, 횡단면을 11.5도 범위에서 S자의 형태로 제작하였다. 흄관은 길이가 50 m이고 1도의 경사구배로 제작하였다. 3종의 관로형 지하시설물은 지하공간에 매설하지 않고 지상에 구성되어 있다. 실험현장은 Fig. 5와 같이 구성하였으며, 왼쪽부터 강관, 이중벽관, 흄관 순이다.

Fig. 5. Test site: (A) pipe-type structure construction and (B) orthophoto from drone image.

2) 관로형 지하시설물 내부 영상 취득

관로형 지하시설물 내에 무인이동체 시스템을 배치하고 스테레오 영상 데이터를 확보하였다. 0.1 m/s의 속도로 무인이동체를 움직이며 초당 30프레임으로 데이터를 취득하였다. 각 관에서는 11,546(강관), 12,502(이중벽관), 3,466(흄관)장의 영상을 취득하였다.

Table 3에서 제시된 영상은 시설물 내부에서 취득된 데이터의 예시이다. 정확도 평가에서 사용되는 이음새부분의 영상도 함께 첨부하였다. 강관은 붉은 색을 띄고 있는 관으로 내부에 녹이 쓴 부분이 있어 텍스쳐가 부족하지 않았다. 이중벽관은 강관과는 다르게 부식이 되지 않았지만 검은색으로 되어있고 내부에 스크레치가 있으며, 일정간격으로 홈이 파여져 있어 데이터 취득 시 무인이동체에 떨림이 있었다. 흄관은 밝은 회색으로 되어있으며 약간씩 홈이 파여져 있는 부분들이 있었다.

Table 3. In-pipe images

3) 3차원 형상 복원 결과

관로형 지하시설물의 3차원 형상 복원을 위해 전방영상과 출구 기준데이터, 후방영상과 입구 기준데이터로 나누어 3차원 형상을 복원하였다. 카메라 캘리브레이션을 통해 결정된 카메라 파라미터와 관로형 지하시설물 내부에서 취득한 영상 데이터, 그리고 기준데이터를 입력으로 하여 데이터를 처리하였다. 후방영상과 입구 기준데이터를 이용하는 것은 새로운 기준점 데이터를 생성하기 위한 것이므로 시설물에 전체를 촬영한 데이터를 사용하는 것이 아니라 이음새 2개만큼을 포함한 데이터만을 사용하였다. 생성된 3차원 형상으로부터 첫 번째 이음새에 새로운 기준점을 생성하였다.

새로운 기준데이터를 적용하지 않고 데이터를 처리하였을 때, 오차가 누적되어 기준데이터와 거리가 멀어짐에 따라 위치가 부정확하게 3차원으로 복원된다. Fig. 6는는 드론으로 생성한 3차원 형상(흑색)과 관로형 지하시설물 내부에서 취득한 영상으로 복원한 3차원 형상(붉은색)을 겹쳐서 가시화한 것이다. 기준데이터에 가까운 출구 부근에서는 복원된 2개의 결과가 일치하는 것을 확인할 수 있지만, 기준데이터와 먼 입구 부근에서는 복원된 결과가 차이나는 것을 확인할 수 있다. 3개의 시설물에서 확인하였을 때 기준데이터가 멀어진쪽에서는 약 3-5 m의 오차가 발생하였다.

Fig. 6. Overlap of 3D reconstruction result: (A) near exit and (B) near entrance.

새롭게 생성한 기준점을 전방영상과 출구 기준데이터와 함께 이용하여 관로형 지하시설물의 3차원 형상을 복원하였다. 관로형 지하시설물의 거리에 따라 누적되는 오차를 줄여주고, 양 끝 지점에서 3차원으로 결정되는 위치를 보정할 수 있도록 하였다. Table 4는 관로형 지하시설물을 3차원 형상으로 복원한 결과이다.

Table 4. 3D reconstruction result

4) 정확도 검증

정확도 평가용 데이터는 관로형 지하시설물이 매설이 되어있지 않고 지상에 있어 드론 촬영을 통해 평가하였다. 관로형 지하시설물이 설치된 실험현장에서 드론 영상을 취득하여 절대좌표를 갖는 3차원 모델을 생성하였다. 드론은 DJI사의 Phantom4를 사용하였다. 영상은 1,171장을 취득하였으며, 다양한 위치와 각도에서 촬영하였다. 정확한 좌표값을 추정하기 위해 실험현장에서 분포를 고려하여 13개 지상기준점을 확보하였다. 13개의 지상기준점 중 3개는 검사점으로 사용하였으며, 10개는 지상기준점으로 번들조정에 사용되었다. 검사점으로 하였을 때 X축으로는 3.7 cm, Y축으로는 1.1 cm, Z축으로는 7 cm의 오차가 있는 것으로 결과가 생성되었다. 항공삼각측량을 통해 3차원 모델을 생성하였으며 관에 이음새마다 표기를 하여 해당 지점의 위치좌표를 계산하였다. 표기한 형태는 Fig. 7과 같다. 관로형 지하시설물 내부에서 취득한 영상으로 생성된 3차원 복원 결과와 해당 지점을 비교하여 각 위치마다의 정확도를 평가하였다. 강관과 흄관은 이음새 부분이 육안으로 구분이 가능하여 해당 지점을 정확하게 표기할 수 있었지만, 이중벽관은 이음새 부분이 다른 구조물로 가려져 있어 위치를 기록하지 못하였다.

Fig. 7. Measurement of the point for accuracy test from drone image.

정확도 평가는 이음새 부분의 위치를 비교하여 절대 위치를 평가하는 방법과 관로형 지하시설물의 길이를 이용하여 상대적인 크기를 평가하는 방법으로 구분하여 정확도를 검증하였다. 관로형 지하시설물 내부에서 취득한 영상에서도 Fig. 8과 같이 측점하여 이음새 부분에서의 위치를 측정한다. 관로형 지하시설물 내부에서 측정한 결과와 드론 영상을 통해 측정한 결과를 비교하여 각 위치에서의 정확도를 확인한다.

Fig. 8. Measurement of the point for accuracy test from in-pipe image.

지점별 위치 오차를 비교한 결과는 Table 5와 같다. 강관의 입구와 출구에서는 기준데이터와 가까운 위치로 드론 영상에서 측점한 결과와 비교하였을 때 오차가 약 20 cm로 나타난 것을 확인하였다. 기준데이터에서 멀어질수록 오차가 늘어나서 최대 약 60 cm로 증가하였다. 흄관은 강관과는 다르게 출구 쪽에서는 위치 오차가 13 cm였지만, 입구 쪽으로 갈수록 약 60 cm로 증가한 것으로 나타났다. 새롭게 생성한 기준데이터의 정확도가 실제 측량한 결과에 비해 부정확하여 입구와 출구의 오차가 증가한 것으로 판단된다.

Table 5. Position accuracy by check point

길이는 각 지점에서의 영상의 위치를 이용하여 길이를 측정하였다. 시설물의 이음새 부근의 영상을 사용하였으며, 그 결과는 Table 6와 같다. 실제 거리는 드론영상과 지상기준점 사용한 측량한 결과로부터 측정하였다. 강관과 이중벽관의 경우 약 0.2 m의 차이를 보였으며, 흄관의 경우는 0.056 m로 오차가 가장 적은 것을 확인할 수 있었다. 누적되는 오차가 시설물의 길이에 따라 누적되므로 상대적으로 길이가 짧은 경우에 오차가 적게 나오는 것을 확인하였다.

Table 6. Distance accuracy

5. 결론

본 연구에서는 스테레오 카메라를 탑재한 무인이동체 시스템으로부터 취득된 관로형 지하시설물 내부 영상과 기준데이터를 이용하여 관로형 지하시설물의 지오레퍼런싱 된 3차원 형상을 복원하는 연구를 수행하였다.

시설물 내부의 영상 데이터를 취득할 수 있는 무인이동체 시스템과 3개 관종의 관로형 지하시설물을 구축한 실험장소를 구성하였다. 3개의 관로형 지하시설물 입출구에 기준데이터를 배치하고, 측량장비를 통해 기준데이터의 정밀한 3차원 위치정보를 취득하였다. 시설물 내부에서 시스템을 운용하여 전후방 스테레오 영상을 확보하였다. 시설물 내부에서 후방을 바라보는 영상을 이용하여 3차원 형상으로 복원하고, 전방영상에서 확인할 수 있는 새로운 기준데이터를 생성하였다. 새로운 기준데이터와 출구의 기준데이터, 내부 영상 데이터를 이용하여 SfM 방법을 통해 3차원 형상으로 복원하여 지오레퍼런싱 된 3차원 형상을 복원하였다.

복원된 결과를 위치와 길이에 대하여 정확도 평가를 수행하였으며, 정량적 평가를 위해 실험환경에서 드론과 측량장비를 이용해 검증 데이터를 확보하였다. 시설물 외부에서 촬영된 드론 영상과 측량 정보를 이용해 생성한 정밀한 측량 결과와 시설물 내부에서 취득한 영상으로부터 생성된 3차원 복원 결과를 정량적으로 비교하였다. 정량적 평가는 시설물의 위치를 기준으로 평가하는 방법과 상대적인 값인 길이를 기준으로 하는 2가지 방법으로 나누어 진행하였다. 강관의 경우, 입출구에서는 약 20 cm의 위치 오차를 확인하였으며, 기준데이터와 거리가 먼 시설물 중간에서는 위치 오차가 60 cm로 증가하였다. 흄관은 강관과는 다르게 출구 쪽에서는 위치 오차가 13 cm였지만, 입구 쪽으로 갈수록 약 60cm로 증가한 것으로 나타났다. 새롭게 생성한 기준데이터의 정확도가 실제 측량한 결과에 비해 부정확하여 입구와 출구의 오차가 증가한 것으로 판단된다. 강관과 이중벽관의 경우 약 0.2 m, 흄관의 경우는 0.056 m 차이가 있는 것을 확인하였다. 절대위치에 대한 차이가 있더라도 상대적인 길이는 차이가 적게 나타났다.

본 연구를 통해 영상 기반으로 관로형 지하시설물의 3차원 형상을 복원하고, 지오레퍼런싱된 시설물의 3차원 위치를 추정 가능한 것을 확인하였다. 100 m 길이의 2개의 관과 50 m길이의 1개에 관에서 적용하였을 때 실제 위치와 20–60 cm의 오차로 결정될 수 있어 매설된 지하시설물의 위치를 영상 기반으로 정밀하게 결정할 수 있을 것으로 판단한다.