무인항공기 영상을 위한 영상 매칭 기반 생성 포인트 클라우드의 후처리 방안 연구

Post-processing Method of Point Cloud Extracted Based on Image Matching for Unmanned Aerial Vehicle Image

Abstract

본 논문에서는 건물의 포인트 클라우드를 추출할 때 발생하는 홀 영역의 보간을 통한 후처리 방안을 제안한다. 스테레오 영상 데이터에서 영상 매칭을 수행할 경우 차폐 및 건물 벽면 등의 영향으로 홀이 발생한다. 이런 영역은 추후 포인트 클라우드를 기반으로 하는 부가 산출물의 생성에 장애 요인이 될 수 있으므로, 이에 대한 효과적인 처리 기법의 적용이 필요하다. 먼저 영상 매칭을 적용하여 생성된 시차맵을 기반으로 초기 포인트 클라우드를 추출한다. 포인트 클라우드를 격자화 시키면 차폐영역 및 건물 벽면의 영향으로 발생하는 홀 영역을 확인할 수 있다. 홀 영역에 삼각망을 생성하고 삼각망 내부 값을 영역의 최소값으로 처리하는 과정을 반복하는 것으로 건물 주변의 지표면과 건물 간에 어색함 없는 보간의 수행이 가능하다. 격자화 된 데이터에서 보간 된 영역에 해당하는 위치정보를 포인트로 추가하여 새로운 포인트 클라우드를 생성한다. 보간과정 중 불필요한 점의 추가를 최소화하기 위해 초기 포인트 클라우드 영역에서 벗어나는 영역으로 보간 된 데이터는 처리하지 않았으며, 보간 된 포인트 클라우드에 적용되는 RGB 밝기값은 매칭에 사용된 스테레오 영상 중 촬영중심과 해당 픽셀이 가장 근접한 영상으로 설정하여 처리하였다. 실험 결과 제안 기법을 통해 대상영역의 포인트 클라우드 생성 후 발생하는 음영 영역이 효과적으로 처리되는 것을 확인할 수 있었다.

In this paper, we propose a post-processing method through interpolation of hole regions that occur when extracting point clouds. When image matching is performed on stereo image data, holes occur due to occlusion and building façade area. This area may become an obstacle to the creation of additional products based on the point cloud in the future, so an effective processing technique is required. First, an initial point cloud is extracted based on the disparity map generated by applying stereo image matching. We transform the point cloud into a grid. Then a hole area is extracted due to occlusion and building façade area. By repeating the process of creating Triangulated Irregular Network (TIN) triangle in the hall area and processing the inner value of the triangle as the minimum height value of the area, it is possible to perform interpolation without awkwardness between the building and the ground surface around the building. A new point cloud is created by adding the location information corresponding to the interpolated area from the grid data as a point. To minimize the addition of unnecessary points during the interpolation process, the interpolated data to an area outside the initial point cloud area was not processed. The RGB brightness value applied to the interpolated point cloud was processed by setting the image with the closest pixel distance to the shooting center among the stereo images used for matching. It was confirmed that the shielded area generated after generating the point cloud of the target area was effectively processed through the proposed technique.

1. 서론

메타버스와 같은 키워드가 일상화되면서 가상 공간상에 3차원 도시모델을 효과적으로 개발하고자 하는 연구들이 수행되고 있다. 3차원 건물모델과 같은 공간 객체의 획득을 위해서 Light DetectionAnd Ranging (LiDAR)와 같은 센서에서 획득된 포인트 클라우드 정보들이 사용되어 왔으며, 무인항공기 프레임카메라 센서의 성능 향상과 다수의 영상의 획득이 가능하게 되면서 스테레오 영상 매칭을 기반으로 포인트 클라우드를 추출하는 방식 또한 3D 건물 정보 구축 및 갱신과 같은 분야에 주로 사용되게 되었다.

영상 매칭은 동일 영역을 다른 기하환경에서 촬영된 두 장 이상의 영상을 입력자료로 사용하며, 주로 에피폴라 영상 도메인에서의 매칭이 주를 이룬다. 에피폴라 영상은 두 영상 사이에 Y-시차가 존재하지 않는 영상을 의미하며, 이러한 특징 때문에 에피폴라 공간에서의 영상 매칭을 수행할 경우 탐색 범위의 설정에 따른 효율과 처리 속도 측면에서 강점이 있다. 컴퓨터 비전과 같은 분야에서도 영상 매칭을 수행할 경우 에피폴라 영상 도메인에서의 매칭을 기반으로 보고된다. 대표적인 에피폴라 영상 도메인 기반의 매칭 기법의 경우 Semi-global Matching (SGM)과 Multi-dimensional Relaxation (MDR)과 같은 영상 매칭 기법들이 보고되었으며(Hirschmuller and Scharstein, 2008; Gehrke et al., 2010; Rhee and Kim, 2016), MDR 기법의 경우 스테레오 매칭을 통해서도 건물의 난간, 벽면 등이 선명하게 표현되는 수준의 포인트 클라우드의 추출이 가능함을 보고하였다(Rhee and Kim, 2016).

이렇듯 매칭 기법이 발달되면서 복잡한 객체의 구조까지도 추출이 가능해졌으나, 영상 기반의 3차원 정보 추출의 경우 두 장의 영상에서 동시에 촬영되지 않은 영역, 즉 차폐(occlusion area)나 건물의 벽면(façade)과 같은 음영지역에서의 좌표 획득이 어렵다는 한계는 여전히 존재한다. 이러한 지점은 null 값으로 처리되어 홀(hole)이 발생하게 된다. 이를 해결하기 위한 근본적인 방안은 영상 획득 시 이러한 음영지역이 최소화되도록 촬영하는 것이나(Kim et al., 2019), 데이터의 획득량이 부족하거나 촬영지역의 외곽에 존재하는 건물, 혹은 고층 건물의 경우 이를 고려하며 촬영하기는 쉽지 않다.

이러한 영상 매칭 기법의 한계를 보완하고자 하는 시도들이 있었다. Qin (2019)은 영상 매칭의 성능을 높이기 위해 보간 된 DSM 및 LiDAR 데이터를 보조자료로 하여 이를 co-registration하여 결과물의 향상을 시도하였다. Cournet et al. (2020) 은 위성영상 스테레오 매칭 결과를 LiDAR 데이터를 실측 입력자료로 하여 딥러닝 네트워크를 훈련하여 성능향상을 시도하였다. Albanwan and Qin (2022)은 SGM의 성능을 향상시키기 위해 에너지맵과 같이 SGM 적용 시 산출 가능한 데이터를 입력 자료로 하여 딥러닝 기법을 이용한 파라메터의 조정 방안을 제시했고 그 결과 기존 SGM보다 높은 선명도를 가지는 매칭 후처리가 가능함을 보고하였다. 이렇듯 매칭의 한계점을 극복하기 위한 방안으로 부가자료를 이용한 스테레오 영상 처리 분야에서의 딥러닝을 이용한 연구가 SGM 기법을 중심으로 진행되고 있다. SGM은 다른 매칭 기법으로도 변경이 가능하기 때문에 딥러닝을 활용한 매칭 기법의 성능향상 및 보완 연구는 추가적으로도 계속 진행될 것으로 예상된다. 그러나 이러한 딥러닝 기반 방식은 훈련을 위한 엄청난 양의 ground truth를 요구하기 때문에, 기술의 완성 및 검증에도 많은 시간을 소요하게 되며, 학습이 되지 않는 영역이나 참값이 없는 지역에서는 활용이 어렵다는 한계점이 있다.

이에 본 논문에서는 무인항공기 촬영 데이터를 대상으로 영상 외의 다른 외부 데이터 없이 스테레오 영상 매칭 수행 결과에서 발생하는 홀을 보정하고 이를 포인트 클라우드에 적용하여 더 높은 품질의 포인트 클라우드를 생성할 수 있는 방안을 제안한다.

2. 데이터셋

연구를 위해 DJI사의 팬텀(Phantom)4 기체를 이용하여 대한민국 인천시 연수구 송도의 다양한 건물이 밀집되어 있는 지역을 대상으로 데이터를 획득했다. 팬텀 4에서 획득된 영상센서의 사양은 Table 1과 같다. 총 50장의 영상을 실험 데이터로 획득했으며, 각 영상은 약 5cm 수준의 Ground Sample Distance (GSD)를 가지도록 촬영되었다(Fig. 1).

Table 1. Sensor properties of Phantom4 imagery

Fig. 1. Test dataset.

제안기법의 실험 및 검증은 Fig. 2와 같이 건물이 및 차폐영역이 잘 드러난 연속된 두 장의 영상을 선별하여 수행했다.

Fig. 2. Stereo image sample dataset.

3. 연구 방법

높이맵(height map)에서의 홀 보간기법이 포함된 스테레오 영상 매칭 기반 포인트 클라우드 생성 및 업데이트의 흐름도는 Fig. 3과 같다.

Fig. 3. Flow chart for proposed method.

무인항공기에서의 시차맵의 생성은 에피폴라 이미지 도메인에서 생성되므로 스테레오 영상을 이용한 에피폴라 영상이 생성되어야 한다. 이를 위해서는 영상의 전처리, 즉 렌즈왜곡 보정 및 센서모델의 번들조정이 선행되어야 한다. 본 논문에서는 상용 소프트웨어인 Pix4D Mapper를 이용해 영상의 렌즈왜곡 보정을 수행하고 번들 조정을 수행하여 나온 렌즈왜곡 보정 영상과 내부표정 및 외부표정 정보를 사용했다. 무인항공기 데이터에서 스테레오 영상은 60% 이상의 중첩률을 가지는 인접한 영상으로 선정했다. 생성된 에피폴라 영상의 예시는 Fig. 4와 같다. 영상 내 각 객체들이 동일한 Y축 상에 존재하는 것을 확인할 수 있다

Fig. 4. Extracted epipolar images.

본 연구에서는 MDR기법을 적용하여 영상매칭을 수행했다. MDR기법은 영역기반의 스테레오 영상 매칭 기법으로 에피폴라 라인상에서 좌우 두 영상의 매칭 후보 영역을 설정하고, 후보 영역에서 가장신뢰성이 높은 데이터부터 순차적으로 추출하는 릴렉세이션 기법을 적용하여 매칭을 수행한다. 이 기법은 가장 높은 유사도, 즉 신뢰성을 가지는 대응점이 선정될 때, 기 대응점을 기준으로 탐색 영역을 재설정하여 불필요한 연산을 줄이고 속도 및 정확도의 향상을 시도한다는 특징이 있다. MDR기법의 경우 하나의 점에서의 매칭을 위해 다수의 탐색창 연산을 수행하므로 영역기반 기법의 특징인 상관도의 임계값을 설정할 수 있으며, 본 실험에서는 상관도 평가 방식으로 Normalized Cross Correlation (NCC) 기법을 설정하고 상관계수 임계값은 노이즈의 추출을 방지하기 위해 0.5로 설정하여 처리했다. 매칭 결과는 스테레오 에피폴라 각 영 상의 시차맵으로 출력된다. Fig. 5는 Fig. 4의 각 에피폴라 영상에 대응되는 시차맵으로, 좌우 영상의 공통영역에서 생성되고, 건물과 같은 객체들은 지표면보다 더 높은 값 즉, 큰 시차를 가지고 있음을 확인할 수 있다. 해당 샘플의 경우 고층 건물 등의 영향으로 시차맵 내에 null값이 설정된 검은색 영역이 존재하는 것을 확인할 수 있다. 이후 포인트 클라우드의 생성은 시차맵에서 구해지는 타이포인트 간의 space intersection을 통해 이루어진다.

Fig. 5. Extracted disparity maps.

시차맵에 존재하는 홀은 건물의 벽면이나 차폐영역에서 발생한다. 별도의 외부 데이터 없이 시차맵 상에서 벽면과 차폐영역을 구분하는 것은 어렵다. 그러나 시차맵을 이용하여 포인트 클라우드를 생성하고 이를 기반으로 Digital Surface Model (DSM)과 같은 높이맵을 생성할 경우, 시차맵에 존재하는 홀 영역은 그대로 높이맵에 영향을 주게 되며 높이맵에서 발생하는 홀은 Fig. 6의 검은 영역을 통해 확인할 수 있듯이 대체로 건물과 지표면 사이의 차폐로 인해 추출되지 못한 지표 정보로 제한된다. 즉 높이맵에서 건물 주변에 발생하는 홀 정보는 높은 확률로 지표 높이를 가진다고 할 수 있다.

Fig. 6. Extracted height map.

높이맵에서의 보간은 Inverse Distance Weight (IDW) 기법이나 Triangulated Irregular Network (TIN)기반의 보간법이 주로 사용된다. Fig. 5의 예와 같이 매칭되지 않은 영역의 면적이 큰 경우 주변의 셀 값을 사용하여 높이값을 보간하는 것은 간단하지 않다. 이를 보완하기 위해 3D 메시 모델을 사용하는 보간 방법 등도 제시되었다(Kim et al., 2018). 그러나 높이맵에서의 홀은 건물의 브레이크 라인 영역에서 주로 발생하므로, 기존 보간기법을 그대로 적용할 경우 브레이크 라인의 경계가 모호해질 우려가 있다. 이에 건물의 브레이크 라인을 유지한 상태로 홀을 제거하여 최대한 지표 정보를 확보하기 위한 보간 기법을 고안하였다. 해당 알고리즘의 개념 예시는 Fig. 7과 같다.

Fig. 7. Height map interpolation method.

제안 기법은 높이맵 내에서 발생한 홀 주변의 점 정보를 수집하여 홀에 대응되는 삼각망을 만든다. 삼각망의 구축이 완료되면 세 꼭지점 중 가장 높이가 작은 점을 선정하여 삼각망의 내부 중심에 추가하고 추가된 점으로 다시 삼각망을 구축하여 개선된 삼각망을 생성한다. 이렇게 삼각망의 구성, 삼각형 내부 점 추가의 과정을 반복하면 브레이크라인을 최대한 유지한 형태의 지표면 보간이 가능하다.

삼각망에 점을 추가하는 조건은 영상의 GSD를 계산하여 삼각망의 크기가 GSD로 생성할 수 있는 가장 작은 크기의 삼각망보다 큰 삼각형이 존재할 경우 점을 추가하는 것으로 설정했으며, 더 이상 점이 추가되지 않을 경우 반복 종료되도록 했다. 단순히 점의 개수 조건만을 설정할 경우, 처리시간이 오래 걸릴 우려가 있으므로 최대 반복 회수를 추가 조건으로 설정했다. 해당 조건을 모두 만족할 경우 삼각망의 구축이 완료된다.

삼각망을 이용한 보간기법의 특성상 외곽 부분에서 불필요한 보간들이 발생한다. 이러한 현상을 방지하기 위해서는 매칭된 영역의 경계를 명확히 설정해야 할 필요가 있다. 이에 홀 영역을 라벨링하여 최외곽에 존재하는 라벨을 바운더리 마스크로 설정했다. 높이맵에서의 라벨링을 통한 바운더리 마스크 샘플은 Fig. 8과 같으며, 검은색 부분이 바운더리로 설정된 마스크 영역이다.

Fig. 8. Boundary mask on height map.

본 논문에서는 높이맵에서의 보간을 수행한 후 수행 결과를 다시 포인트 클라우드로 변환하는 방식으로 포인트 클라우드 정보의 업데이트를 시도하였다. 포인트 클라우드의 업데이트는 바운더리 마스크 영역을 제외하고 수행된다. 무인항공기 기반의 포인트 클라우드 업데이트를 수행하기 위해서는 보간 된 점에 해당하는 영상에서의 밝기값을 가져와야 한다. 보간 영역은 스테레오 영상 매칭에서 매칭 실패가 원인이 되어 발생한 영역이므로, 매칭에 사용된 두 영상에서 상대적으로 지표면정보가 많이 포함되는 영상을 선정해야 한다. 이에, 업데이트 할 점을 좌우 각 영상에 투영시켜 촬영중심과 해당 픽셀이 가장 근접한 영상을 선정하여 포인트 클라우드에 RGB 밝기값을 부여하였다. 보간 영역에서 생성된 포인트 클라우드를 매칭 결과로 추출된 포인트 클라우드와 결합하여 갱신하는 것으로 최종 포인트 클라우드의 생성이 마무리된다.

4. 실험 결과

본 논문에서는 스테레오 영상 매칭 결과로 생성된 높이맵에서 삼각망을 이용하여 홀 영역을 보간하고, 보간된 영역의 위치정보와 색상정보를 이용하여 포인트 클라우드를 갱신하는 기법을 제안하였다. 각 단계별로 적용된 기법의 검증을 위해 유사 기법을 선정하여 결과 비교를 수행했다.

먼저 높이맵에서의 보간 방식을 TIN 보간을 중심으로 비교검증을 수행했다. 제안된 반복적인 점 추가를 통한 홀 보간 기법 외에, 삼각망의 세점중 최소값으로 삼각망 내부를 채우는 방법, 그리고 홀 영역을 기본적인 TIN 보간 기법을 추가 적용해 보았다. 적용한 결과는 Fig. 9와 같다.

Fig. 9. Height map interpolation results: (a) epipolar image, (b) height map without interpolation, (c) TIN, (d) TIN Min, and (e) proposed method.

Fig. 9(c)는 기본적인 TIN 보간을 적용한 경우로 건물의 옆면이 뭉개지는 현상이 발생했으며, TIN 기반의 보간 중 삼각망의 최소점 만을 사용하여 처리했을 경우는 DSM의 형태가 삼각망의 경계 부분에서 어색하게 구현되는 것을 확인할 수 있었다(Fig. 9(d)). 제안된 기법의 경우 브레이크 라인이 유지되는 상태로 보간되었고 지형의 형태 또한 상대적으로 자연스럽게 보간 된 것을 확인할 수 있었다(Fig. 9(e)).

Fig. 10은 보간된 포인트 클라우드 영역에 RGB 밝기 값이 부여된 결과이다. 단일 영상만을 이용하여 밝기값을 부여한 경우, 보간된 영역에서 건물의 지붕이 겹쳐져 나타나는 더블 매핑 현상이 두드러지게 나타났다(Fig. 10(b) and (c)). 제안 기법의 경우 타 결과에 비해 가장 많은 수의 지표면 밝기값이 부여되었으며, 상대적으로 건물의 밝기값 또한 자연스럽게 적용된 것을 확인할 수 있었다(Fig. 10(d)).

Fig. 10. Updated point cloud results: (a) initial point cloud, (b) point cloud with left RB image, (c) point cloud with right RGB image, and (d) proposed method.

제안 기법을 50장의 무인항공기 영상에 적용해 보았다. 50장의 영상에서 연속된 2장씩의 영상을 설정하고, 각 조합에서 영상의 매칭, 높이맵 보간 그리고 포인트 클라우드의 업데이트를 수행하여 통합된 결과를 제작하였다. Fig. 11은 생성된 높이맵 결과이며, Fig. 12는 보간된 포인트 클라우드들의 통합결과를 보여준다.

Fig. 11. Height map results: (a) height map without interpolation and (b) proposed method.

Fig. 12. Updated point cloud results: (a) initial point cloud and (b) proposed method.

높은 건물에서의 음영지역 외에도 낮은 건물이나 나무 주변의 홀, 텍스처가 부족하여 매칭이 잘 되지 않았던 건물의 옥상이나 지표면 영역에서도 성공적인 보간 및 밝기값 부여가 된 것을 확인할 수 있다.

제안 기법으로 갱신된 포인트 클라우드의 정량적 검증을 위해 항공 LiDAR 데이터와의 정확도 비교를 수행했다. 사용된 LiDAR 데이터는 2 pts/m²의 점밀도로 취득된 데이터이며, 해당 데이터를 20 cm GSD의 높이맵으로 변환하여 제안기법을 이용하여 처리된 높이맵과 비교했다. 정확도 검증은 변환된 각 높이맵의 동일 수평 좌표 상에서 Null값을 제외한 모든 높이값의 오차를 구하는 방식으로 수행했다. Fig. 13에서 점선 영역은 검증을 수행한 공통 영역이다

Fig. 13. Reference height map from LiDAR data.

높이맵 간의 오차는 Mean Absolute Error(MAE)와 Root Mean Square Error (RMSE)로 측정하였다. 측정 결과는 Table 2와 같으며, RMSE95는 노이즈로 추정되는 5%의 포인트들을 제외하고 측정한 RMSE 수치를 의미한다.

Table 2. Height map errors (in meter) before and after interpolation

정확도 검증결과 제안된 기법에서 포인트 수가 늘었음에도 불구하고 MAE와 RMSE95수치가 보간 전 보다 더 낮게 계산되었다. 이는 기복 변화가 거의 없으나, 음영지역으로 인해 손실된 지표면의 포인트 정보가 보간되어 높은 정확도의 지표면 점이 추가된 것이 원인으로 분석되며, 이 결과는 제안 기법으로 업데이트 된 포인트 클라우드의 값들이 정성적, 정량적으로도 신뢰할 수 있음을 의미한다.

5. 결론 및 고찰

Nadir 방향에서 촬영된 영상에는 기복 변위 등의 영향으로 음영지역이 발생하게 된다. 음영지역은 촬영되어 영상정보가 있음에도 불구하고, 스테레오 영상 매칭이 되지 않아 위치정보의 획득이 되지 않는다. 본 연구에서는 이러한 음영지역을 효과적으로 제거하기 위해 높이맵에서의 보간을 기반으로 한 포인트 클라우드의 갱신기법을 적용하고 그 효용성을 분석하고자 하였다. 높이맵에서의 보간은 반복적인 삼각망을 생성하여 브레이크 라인의 형태를 유지하는 방안이 적용되었으며, 높이맵에서의 라벨링을 수행하여 초기 바운더리 마스크를 생성하여 매칭영역 바운더리에서 발생할 수 있는 노이즈를 효과적으로 제거할 수 있었다. 높이맵에서 보간된 영역을 다시 포인트 클라우드로 변환하여 갱신을 수행했으며, 각 점에서 가장 연직 촬영에 가까운 영상을 선정하여 밝기값을 부여했다. 그 결과로 음영 지역중 지표면에 해당하는 부분에서의 포인트 클라우드의 추가 및 밝기값 적용이 성공적으로 이루어진 것을 확인할 수 있었다.

제안 기법은 다수의 학습데이터와 머신러닝을 이용하여 시차맵에서 음영지역을 추정하는 방법, LiDAR데이터와 같은 외부자료를 이용하여 브레이크 라인을 보완하는 기존 방식들에 비해 별도의 외부자료 없이 무인항공기 영상데이터 만을 활용하여 음영지역을 보간할 수 있다는 장점이 있다. 이 기법은 지형의 자연스러운 보간보다는 건물과 지표면의 분리에 중점을 둔 방식으로 건물과 인접한 지표면 부분에서의 활용도가 높다. 그러나 복잡한 구조의 건물이나지표면 정보가 추출되지 않은 데이터에서는 처리의 한계가 있다. 이를 보완하기 위해, 이후 머신러닝과의 성능검증 및 상호보완을 위한 추가 연구가 이루어져야 할 것이다.

또한밝기값부여과정에서필연적으로발생하는더블 매핑 현상의 개선을 위한 더 많은 영상의 활용과 적절한 영상의 선정 연구가 추가적으로 이루어진다면 고정밀의 영상지도를 생성하기 위해 필요한 정밀 정사영상의 생성에서도 해당 기법이 기여할 수 있을 것으로 기대한다.