Post-processing Method of Point Cloud Extracted Based on Image Matching for Unmanned Aerial Vehicle Image

In this paper, we propose a post-processing method through interpolation of hole regions that occur when extracting point clouds. When image matching is performed on stereo image data, holes occur due to occlusion and building façade area. This area may become an obstacle to the creation of additional products based on the point cloud in the future, so an effective processing technique is required. First, an initial point cloud is extracted based on the disparity map generated by applying stereo image matching. We transform the point cloud into a grid. Then a hole area is extracted due to occlusion and building façade area. By repeating the process of creating Triangulated Irregular Network (TIN) triangle in the hall area and processing the inner value of the triangle as the minimum height value of the area, it is possible to perform interpolation without awkwardness between the building and the ground surface around the building. A new point cloud is created by adding the location information corresponding to the interpolated area from the grid data as a point. To minimize the addition of unnecessary points during the interpolation process, the interpolated data to an area outside the initial point cloud area was not processed. The RGB brightness value applied to the interpolated point cloud was processed by setting the image with the closest pixel distance to the shooting center among the stereo images used for matching. It was confirmed that the shielded area generated after generating the point cloud of the target area was effectively processed through the proposed technique.

무인항공기 영상을 위한 영상 매칭 기반 생성 포인트 클라우드의 후처리 방안 연구

본 논문에서는 건물의 포인트 클라우드를 추출할 때 발생하는 홀 영역의 보간을 통한 후처리 방안을 제안한다. 스테레오 영상 데이터에서 영상 매칭을 수행할 경우 차폐 및 건물 벽면 등의 영향으로 홀이 발생한다. 이런 영역은 추후 포인트 클라우드를 기반으로 하는 부가 산출물의 생성에 장애 요인이 될 수 있으므로, 이에 대한 효과적인 처리 기법의 적용이 필요하다. 먼저 영상 매칭을 적용하여 생성된 시차맵을 기반으로 초기 포인트 클라우드를 추출한다. 포인트 클라우드를 격자화 시키면 차폐영역 및 건물 벽면의 영향으로 발생하는 홀 영역을 확인할 수 있다. 홀 영역에 삼각망을 생성하고 삼각망 내부 값을 영역의 최소값으로 처리하는 과정을 반복하는 것으로 건물 주변의 지표면과 건물 간에 어색함 없는 보간의 수행이 가능하다. 격자화 된 데이터에서 보간 된 영역에 해당하는 위치정보를 포인트로 추가하여 새로운 포인트 클라우드를 생성한다. 보간과정 중 불필요한 점의 추가를 최소화하기 위해 초기 포인트 클라우드 영역에서 벗어나는 영역으로 보간 된 데이터는 처리하지 않았으며, 보간 된 포인트 클라우드에 적용되는 RGB 밝기값은 매칭에 사용된 스테레오 영상 중 촬영중심과 해당 픽셀이 가장 근접한 영상으로 설정하여 처리하였다. 실험 결과 제안 기법을 통해 대상영역의 포인트 클라우드 생성 후 발생하는 음영 영역이 효과적으로 처리되는 것을 확인할 수 있었다.