Multi Point Cloud Integration based on Observation Vectors between Stereo Images

스테레오 영상 간 관측 벡터에 기반한 다중 포인트 클라우드 통합

Abstract

In this paper, we present how to create a point cloud for a target area using multiple unmanned aerial vehicle images and to remove the gaps and overlapping points between datasets. For this purpose, first, IBA (Incremental Bundle Adjustment) technique was applied to correct the position and attitude of UAV platform. We generate a point cloud by using MDR (Multi-Dimensional Relaxation) matching technique. Next, we register point clouds based on observation vectors between stereo images by doing this we remove gaps between point clouds which are generated from different stereo pairs. Finally, we applied an occupancy grids based integration algorithm to remove duplicated points to create an integrated point cloud. The experiments were performed using UAV images, and our experiments show that it is possible to remove gaps and duplicate points between point clouds generated from different stereo pairs.

본 연구에서는 여러 장의 무인항공기 영상을 사용하여 대상지역에 대한 포인트 클라우드를 생성하고, 데이터 세트 간 발생하는 이격과 중복점을 제거하는 방안에 대한 연구를 수행하였다. 이를 위해 사진 측량 기반의 IBA(Incremental Bundle Adjustment)기법을 적용하여 무인기의 위치/자세를 보정하고 스테레오 페어를 구성했다. 각각의 스테레오 영상으로부터 에피폴라 영상을 생성하고 MDR(Multi-Dimensional Relaxation) 정합 기법을 적용하여 포인트 클라우드를 생성하였다. 다음으로 스테레오 영상 간 관측 벡터에 기반한 포인트 클라우드 등록을 통해 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드 간 이격을 제거하였다. 마지막으로 점유격자(Occupancy grid) 기반 통합 알고리즘을 적용하여 중복점이 제거된 하나의 포인트 클라우드를 생성하였다. 실험은 무인항공기에서 취득된 연직 촬영 영상을 사용하였으며, 실험을 통해 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드 간 이격 및 중복점 제거가 가능함을 확인하였다.

1. 서론

최근 정보통신 기술의 급격한 발전으로 사용자에게 몰입감과 현실감을 제공하는 실감형 콘텐츠에 대한 수요가 증가함에 따라 실감형 콘테츠 제작의 기반이 되는 건물 모델 등과 같은 3차원 도시모델 개발 기술에 대한 수요가 점차 증가하고 있다. 제공되는 3차원 공간정보는 일반적으로 3차원 메시 모델(Mesh model), 솔리드 모델(Solid model) 등의 형태로 제공되고 있으며, 위와 같은 모델들을 생성하기 위해서는 3차원 포인트 클라우드 정보가 필요하다.

정밀한 3차원 포인트 클라우드를 생성하기 위한 대표적인 방식으로는 항공 사진 측량(Aerial photogrammetry)과 항공 라이다(Aerial LiDAR)를 이용한 데이터 구축이 있다. 이중 항공 사진측량 방식의 경우, 대상 지형에 대한 포인트 클라우드 뿐 아니라 항공 영상으로부터 색상정보의 취득이 가능하여 실감형 3차원 건물 및 도시 모델의 생성에 적합하다.

유인항공기를 이용한 항공 사진측량은 현재 국내외 기본도 및 고정밀 공간정보 생산에 주로 사용되고 있으나, 데이터 생성을 위해 항공기를 비롯한 고가의 장비와 전문인력의 투입이 불가피하고 정보 갱신 주기가 길다는 단점이 있다. 이에 반해 무인항공기(Unmanned Aerial Vehicle, UAV) 영상을 활용한 사진측량 기술의 경우, 좁은 지역에 대하여 상대적으로 소수의 인력과 비용으로 관심 영역에 대한 최신 3차원 공간정보 생성이 가능하다(Remondino et al., 2011; Rhee et al., 2015). 그러나 무인항공기로부터 취득된 데이터의 경우, 데이터 취득 당시 기체 자세가 불안정하여, 취득된 위치 및 자세정보의 신뢰도가 낮다. 따라서 무인항공기 영상을 이용한 고정밀 3차원 정보 생성을 위해서는 무인항공기의 불안정한 자세/위치 정보를 개선하는 정밀 센서모델링 과정이 필요하다.

무인항공기 영상의 정밀 센서모델 수립을 위한 기법으로는 SfM(Structure from Motion)이 주로 사용되며, 대부분의 상용 SW 및 오픈 소스에 적용되고 있다(Turner et al., 2012). 한편 Rhee et al.(2017)은 영상 간의 화소값 정보만을 사용하여 영상정렬을 수행하는 SfM 방식을 보완하여, 사진측량의 공선방정식을 기반으로 무인항공기의 센서모델 보정이 가능 한 IBA(Incremental Bundle Adjustment) 기법을 제안하였으며, 해당 기법 적용을 통해 입체 도화가 가능한 수준의 정밀 센서모델링이 가능함을 보였으나, 동일 대상지역에 대하여 서로 다른 스테레오 페어로부터 생성된 포트 클라우드들을 단순 통합하는 방식을 사용하여, 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드 간 이격과 다수의 불필요한 중복점들을 포함하고 있다는 단점이 있다.

이에 본 연구에서는 이를 보완하여 더 높은 품질의 포인트 클라우드를 생성하기 위해포인트 클라우드 생성에 사용된 영상 화소 추적을 통해, 서로 다른 스테레오 페어에서 생성된 포인트 클라우드 간 이격을 제거하였다. 또한 Robotics 분야에서 주로 사용되는 점유 격자기반 매핑(Occupancy grid mapping) 방식을 적용하여, 중복되는 데이터 제거를 통해 통합된 3차원 포인트 클라우드를 생성하였으며 그 결과를 보고한다.

2. 배경 이론

1) 무인항공기 센서모델링

무인항공기를 통해 취득된 영상을 이용하여, 정밀한 3차원 정보를 생성하기 위해서는 영상 간 기하 추정을 통해 무인기의 정확한 위치 및 자세를 결정하는 과정이 선행되어야 한다. 본 연구에서는 무인항공기로부터 취득된 초기 위치 및 자세정보 보정을 위해 Rhee et al. (2017)에서제시한사진측량기반IBM(IncrementalBundle Adjustment) 기법을 적용하였으며, 전체적인 흐름은 Fig.1과 같다.

Fig. 1. Flowchart of UAV sensor modeling which includesphotogrammetric incremental bundle adjustment.

먼저 입력 받은 영상들로부터 구성 가능한 모든 스테레오 영상에 대하여 타이포인트(Tiepoint)를 추출한다. 두 번째 글로벌 최적화 프로세스(Global optimization) 단계에서는 입력 받은 모든 영상들 중에서 촬영 대상 영역을 나타낼 수 있는 최적의 스테레오 영상들을 결정한다. 이때, 앞선 단계에서 추출된 각 스테레오 영상이 포함하고 있는 타이포인트의 수뿐 아니라 두 스테레오영상의 관측 벡터가 이루는 수렴각(Convergence Angle)등의 기하학적 요소들도 고려하여 최적 스테레오 영상을 산출한다.

다음으로 추출된 타이포인트들 중 여러 영상에서 관측된 삼중점(Triplet)을 추출하고, 삼중점을 가장 많이 포함하고 있는 영상을 기준 영상으로 설정하여, 사진 측량 기반 IBA를 수행 한다. IBA 기법은 사진측량 기반의 다중 프레임카메라 센서모델 보정으로, SfM에서 적용하는DLT(Direct Linear Transformation)와 달리 각 영상에 대한 내부표정 요소(Interior Orientation Parameters) 및 외부표정 요소(Exterior Orientation Parameters)를 포함한 공선방정식을 적용하기 때문에 높은 정확도의 센서모델링을 기대할 수 있다.

2) 스테레오 영상 정합 기법

본 연구에서는 스테레오 영상으로부터 3차원 포인트 클라우드 생성을 위해 MDR(Multi Dimension Relaxation)정합 기법을 적용하였다. MDR 정합 기법은 스테레오 에피폴라 영상 기반의 정합기법으로 여러 크기의 윈도우를 하나의 대상 점에 동시에 적용하는 다중 윈도우 탐색 방식을 사용하여, 대상에 대한 적정 수준의 세부 표현이 가능함과 동시에 작은 크기의 정합 윈도우에서 발생할 수 있는 잡음 문제를 완화하는 것이 가능하다. 또한 상위 피라미드 영상에서의 정합결과를 바탕으로 정합점 탐색 대상 영역을 축소하는 릴렉세이션(Relaxation)기법을 적용하여, 빠른 포인트 클라우드 생성이 가능하다(Rhee and Kim, 2018).

3) 관측 벡터 기반 포인트 클라우드 등록

일반적으로 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드 간에는 데이터 세트간 이격이 발생하게 된다. 이와 같이 동일지역에 대하여 서로 다른 데이터 간 발생하는 이격을 제거하기 위한 방법으로 ICP (Iterative Closest Points) 방식이 주로 사용된다. ICP는 두 포인트 클라우드 집합에 포함되는 임의의 점들간 최소거리를 기반으로 두 집합 간 대응되는 포인트 쌍을 구성하고, 최소제곱과 반복연산을 통해 두 데이터 세트사이의 3차원 회전(ω, φ, κ), 이동량(T_x, T_y, T_z) 그리고 축척(λ) 변화량을 계산하는 방법으로 컴퓨터 비전 및 Robotics 분야에서 널리 사용되는 방법이다(Gruen and Akca, 2005; Han, 2007; Wang and Zhao, 2017). 그러나 ICP 기법의 경우 데이터 세트에 지형적 패턴이 거의 존재하지 않는 밋밋한 형태의 평면이거나 두 데이터 세트 간 중복도가 떨어지는 경우, Fig. 2와 같이 데이터 세트 간 회전 및 변화량이 잘못 추정되는 경우가 발생할 수 있다. 또한 ICP 알고리즘은 대응점을 찾기 위한 반복연산 시간이 많이 걸린다는 단점이 존재한다.

Fig. 2. Result of point cloud registration by applying ICP algorithm, (a) Reference point cloud, (b) Target point cloud, (c) ICP result.

ICP의 단점을 개선하기 위해 본 연구에서는 스테레오 영상 간 관측 벡터에 기반한 포인트 클라우드 등록기법을 제안한다. 본 연구에서 생성된 포인트 클라우드의 경우, 포인트 클라우드 생성 시 사용된 좌, 우 관측 벡터 정보를 알 수 있다. 따라서 Fig. 3과 같이, 기준 영상 (image_b)이 중복되는 서로 다른 스테레오 페어(image_b – image_m1 , image_b – image_m2 )로부터 생성된 포인트 클라우드(P^k _{b, m1} , P^k _{b, m2} ) 간 별도의 대응점 탐색을 거치지 않고, 각 포인트에 대응하는 관측 벡터\((\vec{P_b^k}\vec{ P_{b,m_1}^k} ,\vec{P_b^k}\vec{P_{b,m_2}^k})\)  비교를 통해 두 포인트 클라우드 간 대응점 구성이 가능하다.

Fig. 3. Correspondence points configuration between stereo pairs by observation vector tracking.

대응점 구성이 완료된 후, 두 데이터 셋 간의 3차원 변환 관계는 식 (1)을 통해 계산된다.

\(\begin{bmatrix} X^r_i \\Y^r_i \\Z^r_i\end{bmatrix} = \lambda \cdot R_{\omega \varphi K} \begin{bmatrix} X^t_i \\Y^t_i \\Z^t_i\end{bmatrix} + \begin{bmatrix} T_x\\T_y \\T_z\end{bmatrix}\)        (1)

여기서 X_i^r , Y_i^r , Z_i^r 는 기준 데이터 셋에 포함된 i번째 포인트 클라우드를 나타내며, X_i^t , Y_i^t , Z_i^t 는 조정 대상 데이 터 세트에서 기준 데이터 셋에 대응하는 점을 나타낸다.

R_{ω, φ, κ}는 3차원 공간 각 축에 대응되는 회전량(ω, φ, κ) 으로부터 생성된 3차원 회전 행렬을 나타내며 그 식은 수식 (2)와 같다.

\(R_{\omega \varphi K} = \begin{bmatrix} \cos\varphi \cdot \cos K&&-\cos\varphi \cdot \sin K && \sin \varphi \\ \cos \omega \cdot \sin K + \sin \omega \cdot \sin \varphi \cdot \cos K && \cos \omega \cdot \cos K - \sin \omega \cdot \sin \varphi \cdot \sin K && -\sin \omega \cdot \cos \varphi \\ \sin \omega \cdot \sin K - \cos \omega \cdot \sin \varphi \cdot \cos K && \sin \omega \cdot \cos K + \cos \omega \cdot \sin \varphi \cdot \sin K && \cos \omega \cdot \cos \varphi \end{bmatrix} \)

     (2)

4) 점유 격자 기반 포인트 클라우드 통합

포인트 클라우드를 이용하여 3D 모델 생성 등의 작업을 수행하기 위해서는 중복되는 포인트를 제거하는 과정이 필요하다. 또한 영상정합으로부터 생성되는 포인트 클라우드의 경우, 스테레오 영상의 기하, 대상지역에 포함된 객체 등의 요인에 의해 노이즈가 발생하게 된다. 따라서 포인트 클라우드를 이용한 3차원 모델링 등을 효과적으로 수행하기 위해서는 동일 대상지역에 대하여 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드를 통합하는 과정이 선행되어야 한다. 이를 위해 본 연구에서는 Kuhn et al.(2015)에서 사용한 점유 격자(Occupancy grid) 기반 포인트 클라우드 통합을 수행하였으며, 그 처리과정은 아래와 같다.

가) 통합 대상영역을 3차원 옥트리(Octree)로 분할한다.

나) 분할된 공간에 해당하는 포인트 클라우드들을 옥트리의 각 voxel에 할당한다.

다) 포인트 클라우드 삽입이 완료된 후, Octree에 포함된 임의의 i번째 voxel(voxeli )에 대한 점유 확률(Pr(voxeli ))을 아래 수식 (3)과 (4)를 통해 계산한다. 여기서 Pr(pointk)는 voxeli 에 해당하는 각 포인트 클라우드가 inlier일 확률이다.

\(\ln(Pr(voxel_i)) =\sum^n_{k=1} \ln {Pr(point_k) \over 1-Pr(point_k)}\)        (3)

\(Pr(voxel_i) = 1- {1 \over {1+e^{\ln(pr(voxel))}}}\)        (4)

라) 계산된 점유 확률이 1인 경우, voxel에 포함된 포인트 클라우드의 3차원 좌표

값 평균을 계산하여, 해당 voxel의 대표점을 결정한다.
  

3. 연구 방법

1) 실험 데이터

실험은 아래 Fig. 4에 나타난 것과 같이 여의도 중학교 일대를 대상으로 수행했다. 대상지역을 촬영한 무인 항공기로, Sony ILCE-6000 카메라가 부착되어 있는 SISTECH의 K-Mapper 기체를 사용했다. 영상은 약 160 m 상공에서 촬영되었다. 획득된 데이터는 147 장의 연직 촬영(Nadir) 영상이며, 사용 영상의 내부표정 요소 정보 및 촬영 주요 정보는 Table 1과 같다.

Fig. 4. Study area and sample UAV images.

Table 1. IO Parameters for test images

2) 실험 과정

무인항공기 영상으로부터 포인트 클라우드를 생성하기 위한 과정은 아래 Fig. 5와 같다.

Fig. 5. Flow chart for generating point cloud form UAV images.

무인항공기 영상의 정밀 센서모델링을 위해 먼저 영상 간의 타이포인트 추출을 수행하였다. 본 실험에서는 자동 타이포인트의 추출을 위해 FAST(Features from Accelerated SegmentTest)와BRISK(BinaryRobustInvariant Scalable Keypoints) 알고리즘(FAST-BRISK 알고리즘)을 사용했다(Ulusel et al., 2016). 다음으로 추출된 타이포인트와 입력한 영상의 위치/자세정보 초기값으로 하여 IBA 기법을 적용한 센서모델링을 수행하였다.

IBA를 통해 추출된 최적 영상 페어 정보에 MDR을 이용한 스테레오 영상 정합을 수행하여 포인트 클라우드를 추출한다. 다음으로 각 스테레오 페어로부터 생성된 포인트 클라우드의 관측 벡터에 기반하여 데이터 셋 간등록을 수행한다. 마지막으로 전체 공간 분할하여, 점유격자 기반 통합을 통해 중복점을 제거, 대상 영역에 대한 최종 포인트 클라우드를 생성하였다.

4. 실험 결과

IBA 기법을 적용한 센서모델링을 수행하여 추출된 영상 페어의 상호 신뢰도를 판단하기 위해서, 스테레오페어를 구성하고 타이포인트를 추출하여 영상 간의 Y시차를 산출해 보았다. 대상 영상에서 추출된 총 3,583,880 개의 타이포인트에서 평균 0.9748 픽셀의 Y-시차가 발생함을 확인했으며, 이를 통해 1픽셀 이내로 높은 정확도의 센서모델의 수립이 되었음을 확인할 수 있었다.

영상의 정합 성능은 다중 윈도우의 크기, 상관계수 임계값 등의 파라미터에 큰 영향을 받으므로, 영상 정합 시 적절한 파라미터 설정이 매우 중요하다. 본 연구에서는 Rhee et al.(2018)에서 수행한 선행 연구 결과를 참고하여 탐색 윈도우의 크기는 15×15, 상관계수 임계값은 0.7을 적용하였다

에피폴라 영상 정합의 특성상 먼저 영상 페어를 구성하고, 에피폴라 영상의 시차맵(Disparity map)을 구하는 것으로 영상 정합을 수행했다. Fig. 6은 스테레오 페어로 구성된 영상 을 이용하여 생성된 에피폴라 영상과 좌, 우 영상 시차맵의 예시이다. Fig. 6(a)는 에피폴라 영상으로, 두 영상에 포함된 동일 객체가 동일한 Y축 상에 존재하는 것을 확인할 수 있다. Fig. 6(b)는 에피폴라 영상에 대응하는 좌, 우 시차맵으로 두 영상의 공통영역에서 생성되고, 건물과 같은 객체의 경우 지표면보다 더 큰 시차를 가짐을 확인할 수 있다.

Fig. 6. Extracted epipolar images and corresponding left and right disparity images

에피폴라 영상에서 추출된 시차맵이 구성되면, 에피폴라 영상 상에서의 타이포인트들은 원본영상 좌표로 변환하는 과정을 통해 원본영상에서의 타이포인트 정보로의 변환이 가능하다. 이렇게 생성된 타이포인트들은 센서모델식을 이용하여 Space intersection을 통해 포인트 클라우드로 변환된다. Fig. 7은 위의 Fig. 6의 스테레오 페어에서 생성된 포인트 클라우드의 예시이다. Fig. 7에 나타난 것과 같이, Fig. 6(b)에 대응되는 영역의 3차원 정보가 추출된 것을 확인할 수 있으며, 영상에서 거의 관측되지 않는 건물 벽면부분에 대한 포인트 클라우드도 일부 생성된 것을 확인할 수 있다.

Fig. 7. Point cloud generated from a stereo pair in Fig. 6

다음으로 각 스테레오 페어로부터 생성된 포인트 클라우드 간 이격을 제거하기 위하여, 관측 벡터 기반 포인트 클라우드 등록을 수행하였고, 등록 이전과 이후의 차이를 정량적으로 평가하기 위해 포인트 클라우드로부터 DSM을 생성하고, 동일한 수평위치(x, y)에서의 높이 방향 편차에 대한 평균 제곱근 오차(Root Mean Square Error, RMSE)를 Table 2와 같이 산출하였다. Table 2의 결과를 살펴보면, 전반적으로 등록 이전에 비하여 등록 이후 높이방향으로의 오차가 감소한 것을 확인할 수 있으나, 등록 이후에도 데이터 세트 간 오차가 존재하는데, 이는 동일한 기준 영상을 공유하는 스테레오 쌍의 기하학적 조건, 추출된 타이포인트의 수 및 추출된 영역 등의 요인으로 인하여, 스테레오 페어 간 정합 성능이 다르기 때문으로 판단된다.

Table 2. Height errors before and after registration

Fig. 8은 각 스테레오 페어로부터 생성된 포인트 클라우드들의 등록 이전/이후 결과이다. Fig. 8(a), Fig. 8(c) 그리고 Fig. 8(e)는 포인트 클라우드 등록 이전 결과이고, Fig. 8(b), Fig. 8(d) 그리고 Fig. 8(f)는 서로 다른 데이터 셋에서 영상 관측 벡터 추적을 통해 구성한 대응점들로 포인트 클라우드 간 등록을 수행한 결과이다. 그림에서 나타난 것과 같이 포인트 클라우드 등록 이전에 발생하던 데이터 세트 간 이격이 등록 이후에는 사라진 것을 확인할 수 있다.

Fig. 8. Examples of before and after point cloud registration, (a) Rooftop, (b) Same region as (a) after registration, (c) APT, (d) Same object as (c) after registration, (e) Parking lot, (f) Same area as (e) after registration.

포인트 클라우드 등록이 완료된 후, 대상영역에 대한 중복점 제거를 위해 점유 격자 기반 포인트 클라우드 통합을 수행하였다. 이를 위해 먼저 해당 영역을 옥트리로 분할하였다. 이때 공간 분할 최소 크기를 0.1 m로 설정하였다.

Fig. 9는 포인트 클라우드 통합 결과 예시이다. Fig. 9(a) 와 Fig. 9(c)는 통합 이전의 포인트 클라우드이고, Fig. 9(b)와 Fig. 9(d)는 포인트 클라우드 통합 결과이다. 점유 격자 기반 통합을 통해 통합 이전 보다 포인트 클라우드의 밀도가 감소한 것을 확인할 수 있다. 전체 영역에 대하여 통합 이전 총 27,915,129개 포인트에서 통합 이후3,534,023개로 감소한 것을 확인하였다.

Fig. 9. Before and after integration by occupancy grids, (a) Area-1 before integration, (b) Area-1 after integration, (c) Area-2 before integration, (d) Area-2 after integration.

다음으로 점유 격자 기반 통합 기법을 적용했을 때, 객체 형상의 큰 손실 없이 중복점이 제거되는지의 여부를 확인하기 위하여, 전체 영역 중 건물에 해당하는 일부 포인트 클라우드에 대한 육안 분석을 실시하였다. Fig. 10은 점유 격자 기반 통합 전, 후 건물에 대한 포인트 클라우드 예시이다. Fig. 10(a)와 Fig. 10(b)에서 확인할 수 있듯이, 통합 이후에도 건물에 대한 형상이 유지됨을 확인할 수 있다. 또한 Fig. 10(c)와 Fig. 10(d)를 통해, 점유 격자기반 통합을 통해 지붕면에서 발생하는 노이즈들이 감소한 것을 확인하였다.

Fig. 10. Point cloud for buildings before and after integration, (a) APT before integration, (b) APT after integration, (c) Building with dome before integration, (d) Same building as (c) after integration.

5. 결론 및 고찰

본 연구에서는 3차원 건물 모델의 생성기술 개발을 위한 선행 과정으로, 관측 벡터에 기반한 포인트 클라우드의 등록과 통합을 수행하였다. 실험은 연직촬영으로 획득한 무인항공기 영상을 사용하여 수행했으며, 무인항공기의 위치/자세 정보의 획득이 불안정한 특성을 고려한 센서모델 보정을 수행하였다. 이후, 스테레오 에피폴라 영상 기반의 정합기법을 적용하여 포인트 클라우드를 생성하였다. 다음으로 서로 다른 데이터 세트로부터 추출된 포인트 클라우드 간 이격을 제거하기 위해, 각 점에 대한 관측 벡터에 기반하여 대응점을 구성하고 두 데이터 세트간 3차원 변환 파라미터를 추정 및 적용하여 포인트 클라우드 간 이격이 제거됨을 확인하였다. 마지막으로 등록이 완료된 포인트 클라우드들로부터 점유 격자 기반 통합 기법을 적용하여 중복점이 제거된 포인트 클라우드를 생성하였다. 실험 결과 통합 이전 총 27,915,129개 포인트를 객체 형상에 큰 손실 없이 원본 데이터의 약 12% 수준인 3,534,023개 포인트로 감소시키는 것이 가능함을 확인하였다. 본 연구는 무인기 영상에서 자동으로 3차원 모델을 생성하기 위한 선행 연구로 수행되었으며, 향후 연구에서는 본 과정을 통해 생성된 포인트 클라우드로부터 건물 영역을 자동으로 추출하고 3차원 모델을 생성할 예정이다.