Semi-automatic Extraction of 3D Building Boundary Using DSM from Stereo Images Matching

영상 매칭으로 생성된 DSM을 이용한 반자동 3차원 건물 외곽선 추출 기법 개발

Abstract

In a study for LiDAR data based building boundary extraction, usually dense point cloud was used to cluster building rooftop area and extract building outline. However, when we used DSM generated from stereo image matching to extract building boundary, it is not trivial to cluster building roof top area automatically due to outliers and large holes of point cloud. Thus, we propose a technique to extract building boundary semi-automatically from the DSM created from stereo images. The technique consists of watershed segmentation for using user input as markers and recursive MBR algorithm. Since the proposed method only inputs simple marker information that represents building areas within the DSM, it can create building boundary efficiently by minimizing user input.

기존의 LiDAR 자료 기반의 건물 외곽선 추출 연구에서는 고정밀 포인트클라우드를 사용하여 자동으로 건물 지붕 영역을 분류하고 이를 입력자료로 하여 건물 외곽선을 추출했다. 반면에 스테레오 영상 정합을 통해 생성된 DSM은 고정밀 포인트클라우드 자료와 달리 원시 자료인 포인트클라우드에 잡음과 비어있는 격자가 존재하기 때문에 완전한 자동으로 건물 지붕 영역을 분류하는데 어려움이 있다. 따라서 본 논문에서는 스테레오 영상 정합을 통해 생성된 DSM에 사용자 입력을 통한 watershed segmentation 기법을 적용하여 반자동으로 건물의 3차원 외곽선을 추출하는 기법을 제안한다. 제안된 기법은 DSM 내 건물 영역을 표시하는 단순한 마커 정보만을 입력하기 때문에 사용자 입력을 최소화한 방식으로 건물의 3차원 외곽선을 생성할 수 있다.

1. 서론

3차원 도심지 모델에서 3차원 건물모델은 가장 중요한 요소이기 때문에 LiDAR(Light Detection And Ranging,이후 라이다) 자료 또는 항공사진이나 위성영상 자료로부터 건물의 3차원 정보를 추출하기 위한 다양한 연구들이 시도되고 있다. 이 중에서 많은 연구들이 라이다 자료를 이용하여 DSM(Digital Surface Model)을 생성하고, 생성한 DSM을 이용하여 3차원 건물 정보를 자동으로 추출했다(Cho et al., 2003; Song et al., 2007; Lee et al., 2007a;Lee et al., 2007b, Lee and Lee, 2018). 라이다로 취득되는 고정밀 포인트클라우드는 건물의 경계가 선명하고 잡음이 거의 없기 때문에 평면성을 갖는 건물을 자동으로 분류하는데 적합하다. 그러나 데이터 취득 비용이 높고 영상 정보를 함께 제공하지 않는다는 단점이 있다. 반면에 고해상도 위성영상이나 항공사진은 하드웨어와 영상 정합 기술의 발전으로 자료 취득의 경제성과 자료 보급률이 증가하고 있고, 라이다 자료와 달리 3차원 정보뿐만 아니라 영상 정보를 함께 활용할 수 있다. 따라서 스테레오 영상을 이용하여 DSM을 생성한 뒤 3차원 건물 정보를 추출하는 연구도 이루어지고 있다(Weidner,1996; Weidner, 1997; Brunn and Weidner, 1997; Hongjian and Shukai, 2003; Li et al., 2010; Shaker et al., 2011; Yan andLi, 2014).

라이다 및 영상 매칭을 통해 생성된 DSM에서 건물정보를 추출하기 위한 가장 중요한 과정은 입력된 3차원 자료에서 비지면점을 분리한 뒤 건물 영역을 추출하고 건물 지붕의 외곽선을 추출하는 것이다(Ma, 2005;Meng and Currit, 2009). 그러나 영상 매칭으로 생성된 DSM은 라이다와 달리 잡음이 많고 매칭 실패나 폐색영역으로 인한 빈격자 정보가 존재하기 때문에 건물 영역을 자동으로 추출하는데 어려움이 있다(Cho et al.,2004). 기존의 연구들에서는 slope filtering이나 watershed segmentation과 같은 영역 분류 기법을 통해서 자동으로DSM 내 건물 영역을 분류했다. Li et al.(2010)와 Yan andLi(2014)는 마커 기반의 watershed segmentation을 통해 자동으로 건물 영역의 추출을 시도했다. 그러나 건물이 아닌 객체에 마커가 생성될 경우 잘못된 건물 영역이 추출되는 한계점이 발견되었으며, 건물의 3차원 외곽선이 아닌 건물의 영역 정보를 추출하는데 그쳤다. 영상매칭을 통해 생성된 DSM만으로 건물의 3차원 외곽선을 생성하는데 어려움이 따르기 때문에 건물에 대한 보조 자료 또는 사용자가 입력한 건물의 기초위상 정보 등으로부터 3차원 건물 모델을 생성하는 반자동 건물 모델링에 관한 연구가 수행되어 왔다. 항공사진과 보조자료를 이용한 건물의 반자동 모델링에 관한 구로 Ru and Chen(2001)은 Split-Merge-Shape 방법을 이용했다. Tseng and Wang(2003)은 건물을 구성하는 기본 템플릿모형을 기반으로 하는 CSG(Constructive Solid Geometry) 기법을 이용하여 건물 모델링을 수행했다. Wang andTseng(2004)은 다중 시점에서 촬영된 항공사진과 CAD 자료를 통해 취득된 건물 모델의 에지를 조정하여 최적화하는 연구를 수행했다. Cho et al.(2004)은 스테레오 영상에서 사용자가 입력한 가장 기초적인 위상요소인 점 정보만으로 건물 전체에 대한 3차원 와이어 프레임을 생성하는 기법을 제시했으며 이 과정에서 점, 선, 면 간의 위상구조를 자동으로 생성했다. 이처럼 DSM을 이용하여 건물 영역을 추출하는 연구가 다수 수행되었으나,watershed segmentation과 같은 영역 분류 기법을 적용하는 자동 영역 추출 과정의 경우, 잘못된 건물 영역이 추출되는 한계점이 존재했다. 또한 반자동으로 3차원 건물 외곽선을 추출하는 연구는 보조자료를 필요로 하거나 영상 내 건물의 기초 위상 요소(점, 선, 면)의 입력이 필수적이기 때문에 건물의 수가 많거나 지붕의 형태가 복잡할수록 사용자의 작업량이 증가한다는 한계가 있었다.

따라서, 본 연구에서는 최소화된 사용자 입력을 통해 스테레오 영상으로부터 생성된 DSM에서 건물 영역을 추출한 뒤 3차원 건물 외곽선을 자동으로 생성하는 기법을 제시한다. 반자동의 건물 영역 추출 기법은watershed segmentation 알고리즘을 기반으로 하기 때문에 건물에 대한 위상 요소들을 사용자가 직접 입력하지 않고, 대략적인 건물 지붕 영역을 사용자가 입력하면 건물영역이 추출된다. 추출된건물영역은MBR(Minimum Boundary Rectangle) 기반의 외곽선 정제 알고리즘의 적용을 통해 직선화된 3차원 건물 외곽선으로 생성된다.

2장의 기본 이론에서는 스테레오 영상 매칭을 통해 생성된 DSM에서 건물 영역을 추출하기 위해서 우선 적용되는 모폴로지 필터링(Morphological Filtering), DSM내 건물 영역을 추출하는 Watershed Segmentation 기법, 그리고 건물의 외곽선을 정제하는데 사용하는 MBR 기법에대해서기술한다. 3장에서는 본 연구에서 제안한 반자동 건물 추출 기법에 대해서 단계별로 기술하고 4장에서 연구대상지역의 실험을 통해 제안한 건물추출기법에 대한 적용성 평가 결과를 기술한다.

2. 기본 이론

1) 모폴로지 필터링

스테레오 영상 매칭으로 생성된 DSM에서 건물 지붕의 평면 영역의 고도값에는 노이즈가 포함되어 있기 때문에 원시 자료에 대해 그대로 영상 분할을 적용하면 수많은 미소(微小) 영역이 발생한다. 따라서, 입력 자료 내에 존재하는 경계 성분들을 보존하면서 미세 정보들을 제거하는 단순화 과정을 거침으로써 영상 분할을 용이하게 할 수 있는데, 최근에는 모폴로지 필터링을 이용한 단순화방법이 많이 사용되고 있(Kang et al., 1997). 모폴로지 필터링에 이용되는 기본 연산자로는 아래와 같은 식으로 나타나는 dilation 연산과 erosion 연산이 있다.

Dilation: δ(f(x)) = Max{f(x - k), k ∈ B = f ⊕ B       (1)

Erosion: ε(f(x)) = Min{f(x + k), k ∈ B = f ⊖ B       (2)

여기서 B는 구조적 요소를 나타내고, f(x)는 입력 신호를 의미한다. 이두 연산을 이용한 opening과 closing 등의 모폴로지 연산을 다음과 같이 정의된다.

Opening: r(f) = δ(ε(f)) = (f ⊖ B) ⊕ B       (3)

Closing: φ(f) = ε(δ(f)) = (f ⊕ B) ⊖ B       (4)

위와 같은 모폴로지 연산을 적용한 영상의 단순화는 경계를 보존하면서 잡음과 같은 미세 정보들을 제거하고 평면 영역을 평활화 시키는 효과를 보인다.

2) Watershed segmentation

일반적으로 경계에 기반한 영상 분할 방법은 불연속적인 에지 성분으로 인해서 에지 연결(edge linking) 알고리즘이 필요하다. 이에 비해 watershed 알고리즘에 의한 방법은 폐곡선으로 구성된 분할 영상을 얻을 수 있기 때문에 별도의 에지 연결 알고리즘이 필요하지 않다는 장점이 있다. Watershed 기법을 이용한 DSM의 영역 분할은 고도값이 최소인 화소에서부터 점차 고도값을 높이며,고도값이 최대값에 이르면 인접한 영역이 만났다고 간주하여 두 영역을 분할하는 기법이다(Kang et al., 1997). Watershed 알고리즘을 이용하여 DSM의 영역을 분할하기 위해서는 높이값을 0으로부터 조금씩 증가시키면서 지역적인 최소치가 존재하는지를 확인하고, 지역적인 최소치가 존재하면, 그 위치에 새로운 레이블을 할당시킨다. 지역적인 최소치가 나타나는 위치에 레이블이 할당되면, 높이값을 증가시키면서 그 위치를 둘러싸고 있는 화소들의 위치에 동일한 레이블을 할당한다. 높이값이 지역적 최대치에 이르면, 다른 영역과의 경계에 도달한 것으로 해당 레이블에 의한 분할과정이 끝나게 되는데, 같은 레이블을 갖는 화소들이 하나의 영역을 이루게 된다. 하지만 DSM 자료는 지역적인 최소값이 무수히 많이 존재하기 때문에 Fig. 1과 같이 과다분할(Over Sementation)이 발생한다(ee and Lee, 2018).

Fig. 1.  Result of over separation by watershed algorithm.

Marker-controlled Watershed Segmentation은 마커(marker)를 이용하여 과다분할을 최소화했으며, 마커는 분리하고자 하는 객체의 영역을 지정하는 FGM (Foreground Marker)와 배경영역을 지정하는 BGM(Background Marker)으로 구분된다. 이 기법은 마커들 중 고도값이 가장 낮은 마커를 BGM으로 설정하고 나머지 마커를 FGM으로 설정한다. 그 다음 각각의 FGM에 가장 인접한 경계점들을 댐(dam)으로 설정한 뒤watershed segmentation 알고리즘을 적용하는데 이때 댐이 제대로 구성되지 않은 화소에 대해서는 BGM으로부터 채워진 유역과 만나는 지점을 경계점으로 설정한다(Kang et al., 1997).

3) Minimum boundary rectangle

MBR은 영역 내에 존재하는 모든 정점을 포함하는 임의 방향의 직사각형 중 최소 면적이 있는 직사각형을 의미한다(Freeman and Shapira, 1975; Chaudhuri and Samal, 2007). 단순 직사각형 건물의 MBR 생성은 Habib et al.(2011)에 의해 설명되었다. 여러 개의 직사각형으로 구성된 복합 건물의 경우 MBR 알고리즘을 반복적으로 적용함으로써 외곽선을 추출할 수 있으며 그 과정은 다음과 같다. 우선, MBR 알고리즘이 초기 포인트클라우드의 경계점에 적용되고 1레벨 MBR이 생성된다. 다음으로, 초기 경계점 중에서 1레벨 MBR과 겹치지 않는 경계점을 1레벨 MBR의 측면에 투영시킨다. 겹치지 않는 경계점과 투영된 경계점을 이용하여 MBR 알고리즘을 다시 적용하면 2레벨 MBR이 생성된다. 경계점이 남지 않을 때까지 동일한 과정을 반복하면 여러 레벨의 MBR로 생성된 건물 외곽선이 생성된다(Kwak et al., 2012). Fig. 2는 MBR을 2레벨 까지 반복하여 건물 외곽선을 추출하는 과정을 보여준다. Fig. 2(b)의 파란색 사각형은 Fig. 2(a)의 초기 경계점들로 생성된 1레벨 MBR이다. Fig. 2(c)의 검은색 점은 1레벨 MBR에 중첩되지 않은 경계점이며 Fig. 2(d)에서 1레벨 MBR 측면에 투영된 점을 생성한 다음 2레벨 MBR을 생성한다. Fig. 2(e)에서볼수있듯이 두 개의 2레벨 MBR이 생성되며 1레벨 MBR과중첩되는 직선 영역에 대해 빼기 연산을 적용하여 Fig. 2(f)에 보이는 것과 같은 건물 외곽선을 생성한다. 3레벨 이상의 MBR이 추출될 경우, 이전 레벨 MBR에서 현재레벨 MBR이 중첩되는 직선 영역을 차연산 함으로써 최종 외곽선을 생성할 수 있다(Kwak et al., 2012).

Fig. 2.  Recursive BR procedure of the first buildig (Kwak et al., 2012).

3. 건물 외곽선 반자동 추출 기법

Fig. 3은 스테레오 영상으로 생성된 DSM으로부터건물 외곽선을 반자동으로 추출하는 과정을 보여준다. 우선 모폴로지 필터링 단계에서는 입력된 DSM 자료의 잡음을 제거하고 건물의 경계를 선명하게 하며 지붕의 높이값을 평탄하게 만든다. 다음으로 watershed segmentation을 통해 건물 영역 외곽선을 추출하는데 이때 사용자의 입력을 통해 시드 마커(seed marker)를 생성한다. 다음 단계에서는 watershed segmentation 단계에서 추출된 건물 영역 외곽선에 Recursive MBR을 기법을 적용하여 직각 요소로만 구성된 건물 외곽선을 생성한다. 마지막으로 건물 외곽선 내 DSM 격자 높이정보를 이용하여 건물 높이를 추정하고 3차원 건물 외곽선을 생성한다.

Fig. 3.  Workflow of proposed method.

1) Morphological Filtering

본 연구에서는 DSM 자료에 대해 모폴로지 필터링으로 Opening 연산을 적용한다. Opening 연산은 원시자료에 대해 침식(Erosion)을 연산을 수행하여 잡음을 제거하고, 그 결과에 팽창(Dilation) 연산을 적용하여 크기가 줄어든 영역을 다시 키움으로써 원래의 형태를 유지한다. 침식 연산을 수행할 때 마스크(mask) 크기에 따라형태가 유지 되지 않을 정도로 침식된 객체는 팽창연산으로 복원될 수 없으므로 적절한 마스크 크기를 설정하는 것이 중요하다. 도심지역의 DSM자료는GSD(Ground Sampling Distance)를 통해 건물의 형태를 유지시킬 수 있는 마스크의 크기를 설정하는 것이 가능하다. 본 연구에서는 DSM의 공간해상도가 1미터이므로 최소 건물의 크기는 한 변의 크기가 10미터 이상인 건물로 정의했다. 따라서 마스크 크기를 9 ×9 픽셀로 설정하여 모폴로지 필터링을 수행했다. Fig. 4는 DSM 자료에 침식연산과 팽창연산을 적용했을 때의 과정을 보여준다. Fig. 4(c)의 빨간색 원은 건물 경계 부분의 잡음이 제거된 것을 보여주고 파란색 테두리는 건물의 형태가 유지된 것을 보여준다. 또한 건물 높이가 평탄해진 것을 볼 수 있다.

Fig. 4.  Procedure of morphological filtering.

2) Watershed segmentation

모폴로지 필터링이 적용된 DSM으로부터 건물 영역을 추출하기 위해 마커(marker) 기반의 watershed segmentation을 수행한다. 이 때, 마커는 사용자 입력을 통해 생성된다. 사용자는 Fig. 5(a)와 같이 DSM 뷰어에서 마우스 드래그를 통해 건물 영역의 마커를 그린다. 이 때마커는 최소 2개 이상 추출되어야 하며, 고도값이 가장 낮은 마커는 BGM으로 사용되고 나지는 FGM으로 사용된다. 마커를 입력한 뒤 Watershed Segmentation을 수행하면 Fig. 5(b)와 같은 영역 분할 결과를 얻게 된다. 입력된 마커를 포함하는 건물 영역 분할 정보는 폐합된 외곽점의 형태로 추출되기 때문에 별도의 연결성 분석 없이 건물 영역 외곽선의 생성이 가능하다.

Fig. 5. Drawing markers for watershed segmentation by user.

본 연구에서 사용한 스테레오 매칭을 통해 생성된 DSM은 정합 실패나 폐색 영역으로 인해 발생하는 빈격자를 보간하는 과정에서 건물 경계 부분에 잡음이 발생하게 된다. Fig. 6(a)는 watershed segmentation을 수행하여 건물 영역을 분할했을 때 경계부분에 노이즈가 포함된 것을 보여준다. 이러한 노이즈는 건물의 MBR을 추출할 때 큰 오차요인으로 작용한다. 따라서 건물 영역과 배경영역으로 분리된 이진 영상에 모폴로지 필터링을 적용하여 잡음 영역을 제거해야 한다. 하지만 Opening 필터링이 반복될수록 원본 형상의 왜곡이 발생하므로 필터링 대상 영역에 최적화된 마스크 사이즈를 설정하는 것이 중요하다. 본 연구에서는 Opening연산을 위한 마스크 사이즈를 실험적으로 측정하여 5 ×5픽셀로 설정한다.

Fig. 6. Filtering noise of the building boundary.

Fig. 6(b)는 Watershed Segmentation으로 추출한 초기건물 영역에 대해 Opening 연산을 적용하여 잡음 영역을 제거하는 과정을 보여준다. Fig. 6(a)는 건물 경계에 잡음이 포함된 초기 건물 영역이며 Fig. 6(b)는 초기 건물 영역에 Opening 필터를 적용한 결과이다.

3) Recursive MBR Extraction

Watershed segmenation 단계에서 추출된 건물 영역외곽선은 폐합된 외곽점을 연결했기 때문에 단순화 및 직선화를 통해 선형성을 지닌 건물 외곽선으로 정제할 필요가 있다. 본 연구에서는 반복적인 MBR 추출 기법을 통해 건물 영역 외곽선을 정제하여 건물 외곽선을 생성한다. 반복적으로MBR 추출하기 위해선 특정 조건을 만족하지 않으면 반복 추출을 중단하고 생성된 여러 레벨의 MBR을 중첩 분석하여 건물 외곽선을 생성해야 한다. 따라서 현재 레벨의 MBR에 중첩되지 않는 경계점으로 생성되는 MBR의 형태 또는 면적을 확인하여 다음 레벨의 MBR 추출 여부를 결정해야 한다. 본 연구에서는 MBR을 구성하는 짧은 변의 길이가 3픽셀 이하일 경우 MBR 생성의 반복을 중단하도록 설정했다. 또한 MBR의 레벨이 5이상으로 생성될 경우, 해당 건물은 직각 요소로 구성된 건물이 아닐 가능성이 높기 때문에 외곽선을 추출하지 않았다.

ig. 7은 Watershed Segmentation을 통해 추출된 초기 건물 영역 외곽선을 이용하여 3벨의 MBR을 생성하는 과정을 보여준다. Fig. 7(a)는 건물 영역 외곽선을 통해 생성된 1레벨 MBR을 나타낸다. Fig. 7(b)는 1레벨 MBR에 중첩되지 않는 점들로 생성된 2레벨 MBR을 보여준다. 건물 영역 외곽점 중 1레벨 MBR에 중첩되는 점은 노란색으로 표시되고 중첩되지 않는 점은 빨간색으로 표시된다. 중첩되지 않는 점은 맞은편에 존재하는 1레벨 MBR의 직선에 투영되어 2레벨 MBR을 생성하는데 사용된다. Fig. 7(b)에서 2레벨  MBR은 초록색으로 표시된다. 앞의 과정을 반복하며 다음 레벨의 MBR을 생성하고, 더 이상 MBR을 추출할 수 없을 때까지 반복한다. Fig. 7(c)는 모든 레벨의 MBR을 중첩하여 보여준다.

Fig. 7. Extraction of Multi-level MBR.

반복적으로 추출된 모든 레벨의 MBR을 분석하여 건물 외곽선을 생성하기 위해서는 다중 레벨의 MBR을 구성하는 인접한 경계선들은 중첩되어야 한다. 하지만 Fig. 8(a)에서 볼 수 있듯이, 초기의 다중 레벨 MBR의 경계선들은 정확히 중첩되지 않는다. 따라서 하위 레벨 MBR의 경계선을 상위 레벨 MBR의 경계선에 일치하도록 조정하는 과정이 필요하다. 이 과정은 하위 레벨 MBR의 회전각을 상위 레벨 MBR의 회전각과 동일하도록 조정하는 단계와 회전 조정된 하위 레벨 MBR의 모서리 또는 경계선을 인접한 상위 레벨 MBR의 모서리 또는 경계선으로 위치 이동시키는 단계로 구성된다. Fig. 8은 2레벨 MBR이 1레벨 MBR에 일치하도록 조정하는 과정을 보준다. Fig. 8(a)는 초기 MBR이고 Fig.8(b)는 하위 레벨 MBR의 회전각을 상위 레벨 MBR의 회전각으로 조정한 결과이다. Fig. 8(c)는 회전 조정된 MBR의 모서리점 중 상위 레벨 MBR의 모서리점에 가장 가까운 모서리점을 위치 이동시켜서 MBR의 직선 성분을 중첩한 결과이다.

Fig. 8. Adjustment of MBR boundary.

Fig. 9는 3레벨까지 추출된 건물의 MBR을 조정하는 과정을 보여준다. Fig. 9(a)와 Fig. 9(b)는 회전 조정 과정이고 Fig. 9(c)와 Fig. 9(d)는 위치 이동 과정을 나타낸다. 회전 조정은 모든 하위 레벨 MBR에 대해 동시에 이뤄질 수 있지만 위치 이동 과정은 순차적으로 이루어져야 한다. 따라서 Fig. 9(c)에서 3레벨 MBR의 위치를 2레벨 MBR의 경계선과 중첩되도록 이동시킨 다음 Fig. 9(d)에서처럼 2레벨과 3레벨의 MBR의 위치를 1레벨 MBR의 경계선과 중첩되도록 이동시킨다.

Fig. 9. Adjustment of multi-level MBR boundary.

Fig. 10은 다중 레벨 MBR의 중첩되는 경계선을 분석하여 건물 외곽선을 생성하는 과정을 보여준다. 중첩되는 경계선은 제거하고 중첩되지 않는 경계선은 유지하면서 건물의 외곽선을 생성한다. Fig. 10(a)와 Fig. 10(b)는 파란색의 1레벨 MBR과 초록색의 2레벨 MBR의 경계선을 중첩 분석하여 건물 외곽선을 생성하는 과정을 보여주고, Fig. 10(c)와 Fig. 10(d)는 앞서 생성된 흰색의 건물 외곽선과 빨간색의 3레벨 MBR의 경계선을 중첩 분석하여 생성된 건물 외곽선을 보여준다.

Fig. 10. Adjustment of multi-level MBR boundary.

4) Building Height Estimation

Recursive MBR을 통해 생성된 건물 외곽선을 구성하는 모서리점은 DSM의 격자에 대응되기 때문에 3차원 좌표를 추출할 수 있지만 실제 건물의 모서리점 위치와 다를 수 있다. 또한 추출된 건물 외곽선은 수평면의 건물 지붕 외곽선을 의미하기 때문에 동일한 높이값으로 설정해야 한다. 따라서 본 연구에서는 추출된 건물 외곽선 내에 존재하는 격자들의 높이값을 이용하여 건물의 높이를 추정한다.

건물 높이의 추정 과정은 다음과 같다. 우선 건물 외곽선 내 존재하는 격자들의 높이값의 최대값과 최소값을 추출한다. 다음으로 건물 외곽선의 X, Y좌표와 최소값을 이용하여 3차원 건물 지붕 평면을 생성하고 건물외곽선 내 격자들과의 거리를 계산하여 임계치 내에 존재하는 격자의 비율을 계산한다. 3차원 건물 지붕 평면의 높이를 최소값으로부터 최대값까지 일정한 간격으로 조정하면서 수직거리가 임계치 내에 존재하는 격자의 비율을 반복적으로 계산한다. 마지막으로 비율이 가장 높은 높이값을 건물의 높이로 결정한다. 이때 3차원 건물 지붕 평면과 격자 사이의 거리 임계치는 0.25 m로 설정했고, 평면의 높이 조정 간격은 0.5 m로 설정했다.

4. 실험 결과

본 연구에서는 스테레오 영상 매칭을 통해 포인트클라우드를 생성하고 격자화를 통해 DSM을 생성했다. 이를 위해 2008년 가을에 촬영된 Worldview-1 스테레오 영상(L1B)를 이용했다. 한 개의 영상은 연직(-1.3°) 촬영된 영상이고 나머지 영상은 경사(33.9°) 촬영된 영상이다. 각 영상의 GSD는 0.5미터와 0.76미터이다. Fig. 11은 스테레오 영상을 보여준다. Fig. 11(a)는 스테레오 페어(pair)의 좌측 영상이고 Fig. 11(b)는 우측 영상이다. 두 영상은 크기는 모두 10,000 × 10,000 픽셀로 같지만, 서로 다른 GSD를 갖고 있기 때문에 영상의 공간 해상도(scale)에 차이가 있다.

Fig. 11. Stereo Worldview-1 images.

원본 영상 내 포인트클라우드 생성을 위한 실험 대상은 지역은 1 km × 1 km 면적 도심지로 선정했다. Fig.12(a)는 좌측 영상에서 실험 대상지역의 영역을 보여주고 Fig. 12(b)는 추출된 시험대상지역의 영상을 확대하여 보여준다.

Fig. 12. Test area and image.

영상 매칭 알고리즘은 Rhee and Kim(2016)이 제안한 다중 윈도우 기반의 포인트클라우드 생성 기법을 적용했다. 포인트클라우드로 DSM을 생성하기 위해서는 비구조적인 포인트클라우드를 일정한 간격의 격자에 배치하고 고도값을 결정한 뒤 포인트클라우드가 포함되지 않는 빈 격자를 주변 격자의 고도값으로 보간하는 과정이 수행되어야 한다. 포인트클라우드가 포함되는 격자의 고도값은 IDW(inverse distance weight) 보간 기법을 적용하여 계산되었다. 이를 통해 초기 DSM이 생성되면, 빈 격자의 고도값 또한 IDW 보간 기법을 적용하여 주변 격자의 높이값을 이용하여 보간한다. 이때 빈격자가 군집하여 큰 홀(large hole)이 형성될 경우 주변격자를 탐색하는 거리를 조정하여 빈 격자를 채울 수 있다(Kim and Kim, 2018). 실험에서 사용된 IDW 보간 기법은 TIN(Triangulated IrregularNetwork) 또는 Kriging보간 기법보다 건물의 경계를 더 선명하게 표현할 수 있기 때문에 도심지에 대한 DSM을 생성할 때 주로 사용된다(Choi and Hong, 2007). Fig. 13(a)는 스테레오 영상을 통해 생성된 포인트클라우드로 생성한 DSM을 보여준다. 생성된 DSM에 대해 IDW 보간을 적용했기 때문에 빈 격자는 모두 보간됐지만 과대오차나 건물 경계의 잡음 현상은 여전히 남아있다. 따라서 모폴로지 필터링을 적용하여 DSM 내 과대오차와 잡음을 제거했다. 9픽셀의 정사각형 모양의 마스크를 이용하여 Opening 연산을 적용했고 Fig. 13(b)와 같은 결과를 얻었다. 과대오차와 잡음이 제거된 것을 확인할 수 있다.

Fig. 13. Original DSM and filtered DSM.

본 연구에서 제안하는 Watershed Segmentation 기법은 마커 정보를 사용자가 직접 입력하기 때문에 화면 기반 인터페이스가 필요하다. 따라서 Microsoft Visual Studio C++ 2017 개발 도구와 OpenCV 3.0 라이브러리를 이용하여 DSM을 화면으로 출력하고 사용자의 마우스 컨트롤을 통해 마커를 생성하는 프로그램을 직접 구현했다. Fig. 14는 프로그램 구동 화면을 보여준다. 사용자는 DSM 출력 화면에 마우스를 이용하여 빨간색의 마커를 생성할 수 있고, 새로운 창을 통해 결과를 확인할 수 있다.

Fig. 14. Main window of program.

본 연구에서는 시험 대상 지역의 DSM 내에서 직각 성분으로만 구성된 건물 9개를 선정하여 건물 외곽선 정보를 추출했다. 9개 중 1개 1레벨의 MBR이 추출됐고 5개는 2레벨의 MBR, 3개는 3레벨의 MBR까지 추출됐다. Fig. 15(a)는 DSM 출력 화면서 사용자가 9개의 건물 마커와 1개의 배경 마커를 표시한 것을 나타낸다. Fig. 15(b)는 마커 기반 watershed segmentation 처리가 완료되어 건물 영역 외곽선과 MBR이 추출된 결과를 중첩하여 출력한 화면을 나타낸다. Fig. 15(c)는 다중 레벨 MBR이 조정된 결과를 보여준다. 파란색 외곽선은 1레벨이고 초록색은 2레벨, 빨간색은 3레벨, 노란색은 4레벨의 MBR을 표현한다. Fig. 15(d)는 입력 DSM에 추출된 건물 외곽선을 중첩하여 보여준다. DSM 내 건물 영역에 맞게 외곽선이 추출된 것을 확인할 수 있다.

Fig. 15. Result of building boundary by using proposed method.

본 연구에서는 제안된 기법으로 생성된 3차원 건물 외곽선의 적용성을 평가하기 위해서 LiDAR로 생성된 DSM에 생성된 외곽선을 중첩하여 건물의 형상을 잘 표현하는지 확인하는 실험과 3차원 건물 외곽선을 영상에 투영하여 건물 지붕 외곽선과의 일치 여부를 확인하는 실험을 수행했다.

LiDAR 데이터는 항공 레이저 스캐닝을 통해 취득된 포인트클라우드 자료로 1평방미터당 0.3개 포인트의 밀도를 갖는 고밀도 포인트클라우드 자료이다. 실험 대상지역에 대한 포인트클라우드만 추출하여 DSM 생성에 사용했다. LiDAR로 생성된 DSM은 IDW 보간을 통해 생성됐으며 1미터의 GSD를 갖는다. LiDAR DSM 또한 모폴로지 필터링을 적용하여 과대오차나 잡음을 제거했다. Fig. 16은 실험 대상지역에 대한 LiDAR 포인트 클라우드와 모폴로지 필터링까지 처리된 LiDAR DSM을 보여준다.

Fig. 16. Reference data.

영상 정합을 통해 생성된 DSM은 건물 경계부분에서 왜곡이 발생할 수 있기 때문에 추출된 3차원 건물 외곽선의 형상이 실제 건물과 큰 차이가 발생할 수 있다. 따라서 참값에 가까운 LiDARDSM에 영상 매칭으로 생성된 DSM을 통해 생성된 3차원 건물 외곽선을 중첩하여 형상에 왜곡이 존재하는지 확인했다. Table 1는 스테레오 영상을 이용하여 생성한 DSM으로부터 추출된 건물 외곽선을 LiDAR DSM에 외곽선을 중첩한 결과를 보여준다.

Table 1. Building boundaries extracted with DSM and overlapped boundaries on the LiDAR DSM

우선 건물 외곽선을 LiDAR DSM에 중첩하여 비교분석한 결과에서, 1~3번 건물의 경우 외곽선의 형태와 위치가 거의 일치했다. 반면에 4, 5번 건물의 경우 스테레오 영상 정합의 특성으로 인해 건물 경계가 과다하게 정합되어 발생하는 번짐(bulge)현상 때문에 외곽선의 형태가 불일치했다. 따라서 이러한 번짐 현상을 완화하기 위해 번짐 영역에 마커를 추가하여 건물 영역 내의 번짐영역을 분리하는 실험을 추가적으로 수행했다.

Table 2는 4, 5번 건물의 번짐 영역 분리 전과 후의 건물 외곽선 추출 결과를 비교하여 보여준다. 번짐 영역 분리 전의 건물 번호는 뒤에 A를 붙이고 분리 후의 건물 번호는 뒤에 B를 붙인다. Marker 그림에서 건물 경계의 번짐 영역은 노란색 원으로 표시되었다. 또한 Boundary overlap 그림에서 노란색 외곽선은 스테레오 영상으로 생성된 DSM으로부터 생성된 건물 외곽선이고 파란색 외곽선은 LiDAR DSM으로부터 생성된 건물 외곽선이다. 4번 건물에 대해 번짐 영역에 마커를 추가할 경우 번짐 영역이 제거되어 형태가 개선되는 것을 볼 수 있다. 5번 건물의 경우 번짐 영역을 제거함으로써 LiDAR DSM으로부터 추출된 건물 외곽선의 형태에 일치하게 되는 것을 확인할 수 있다. 결과적으로 부분적인 번짐 현상은 마커를 추가함으로써 제거할 수 있지만, 4번 건물의 하단과 같이 전체적인 번짐으로 이해 건물 영역과 분리가 어려운 경우도 존재한다는 것을 확인했다.

Table 2. Result of removing bulge area

6~9번 건물은 위치와 형태가 부분적으로 일치한다. 6, 7번 건물의 경우, 영상 정합이 제대로 이루어지지 않은 큰 홀 영역이 보간되는 과정에서 건물 지붕 영역의 높이값의 영향을 받게 되어 왜곡된 형상을 나타내고 이로 인해 일부 건물 외곽선의 형태에 큰 차이가 발생한다. 8번 건물의 경우 스테레오 영상 매칭으로 생성된 DSM의 경우 좌 상단에 존재하는 지형 지물이 건물 경계와 연결되며 건물 외곽선의 형태에 왜곡이 발생했다. 9번 건물은 건물 경계 하단에서 영상 정합이 제대로 이루어지지 않아 번짐 현상이 크게 발생하고 DSM 보간 과정에서 좌측의 건물 지붕과 연결이 되며 지붕 형태에 큰 차이가 발생했다.

본 연구에서는 DSM을 통해 추출된 건물 외곽선을 이용해서 건물 높이를 추정하고 3차원 건물 외곽선을 생성한 뒤, 해당 외곽선을 좌측 영상에 투영하여 실제 건물 외곽선과의 차이를 육안으로 분석했다. 기준 건물 외곽선은 영상 내 대상 건물의 지붕 외곽선을 수동으로 직접 추출했다. Table 3에서DSM내 건물 외곽선은 노란색으로 표시했고 영상에 투영된 3차원 건물 외곽선은 빨간색, 수동으로 추출한 건물 지붕의 외곽선은 파란색으로 표시했다. 우리는 제안된 기법으로 생성된 3차원 건물 외곽선이 실제 건물 외곽선으로의 활용이 가능한지 판단하기 위해 기준 건물 외곽선과의 형태 및 정렬, 단위 모서리의 일치 여부를 확인했다. 1, 2, 4, 5번 건물은 형태가 일치했고 정렬된 상태를 보여줬다. 하지만 부분적으로 위치가 일치하지 않는 단위 모서리가 존재했다. 6, 7, 8, 9번 건물의 경우 형태가 불일치했지만 정렬된 상태를 보였다. 또한 형태 왜곡을 받 않는 단위 모서리에서는 대부분 기준 외곽선의 모서리와 일치하는 결과를 보여줬다. 3번 건의 경우 형태의 불일치 정도가 커지면서 정렬 상태에서 많은 차이가 발생했다. 그 결과 거의 모든 단위 모서리가 불일치한 것을 확인했다.

Table 3. 3D Building boundaries and overlapped boundaries on the original image

5. 결론

본 논문은 스테레오 영상 정합을 통해 생성된 DSM에서 반자동으로 3차원 건물 외곽선을 추출하는 방법을 제안했다. LiDAR 자료와 같이 고정밀 포인트클라우드를 통한 건물 외곽선 추출은 자동화의 가능성이 높지만 스테레오 영상 정합을 통해 생성된 DSM은 잡음과 빈 격자의 문제가 있기 때문에 자동으로 3차원 건물 외곽선을 추출하는데 어려움이 존재했다. 따라서 본 연구에서는 스테레오 영상 정합으로 생성된 DSM에서 간단한 사용자 입력을 통해 반자동으로 3차원 건물 외곽선을 추출하고, LiDAR DSM에 중첩하여 DSM 내 건물의 형상에 맞게 외곽선이 추출됐는지 확인했다. 또한 3차원 건물 외곽선을 원본 영상에 투영하여 실제 건물 지붕 외곽선과의 일치 여부를 분석함으로써 제안된 기법으로 추출된 건물 외곽선의 활용성을 확인하고자 했다.

제안 기법의 처리 과정은 다음과 같다. 먼저 스테레오 매칭으로 생성된 DSM에 대해 모폴로지 필터링을 적용하여 잡음을 제거하고 건물 경계를 선명하게 하며 높이값을 평활화했다. 다음으로 사용자가 입력한 건물 영역 마커를 기반으로 watershed segmentation 을 수행하여 건물 영역을 분류한 뒤 건물 영역 외곽선을 생성했다. 이 때 건물 경계의 번짐 현상으로 인한 건물 외곽선 왜곡을 최소화하기 위해 번짐 영역에 마커를 추가하는 방식을 적용했다. 그리고, watershed segmentation으로 생성된 건물 영역 외곽선에 대해 RecursiveMBR 알고리즘을 적용하여 정제된 건물 외곽선을 생성했다. 다중 MBR을 생성한 뒤 정제하여 건물 외곽선을 생성했으며, 입력된 DSM 자료와 LiDAR DSM에 중첩하여 확인한 결과 DSM 내 건물의 경계를 잘 표현하는 건물 외곽선의 생성이 가능한 것을 확인했다. 또한 3차원 건물 외곽선을 생성하여 원본 영상에 투영한 뒤 실제 건물 지붕 외곽선과의 일치 여부를 육안으로 분석했다. 결과적으로 9개 중 4개의 건물은 형태와 정렬 상태가 거의 일치했지만 건물 모서리가 부분적으로 일치하지 않았다. 다른 4개의 건물은 형태가 부분적으로 불일치 했지만 정렬상태가 거의 일치했고, 형태 불일치로 인해 실제 건물의 모서리와 일치하는 모서리가 2~3개 정도밖에 없었다. 나머지 한 개의 건물은 형태의 불일치 정도가 커지면서 정렬상태에서 많은 차이가 발생했고, 이로 인해 모든 건물 모서리가 대부분 불일치했다. 실험을 통해 제안 기법이 DSM 내 건물 영역 및 외곽선을 올바르게 추출하는 것을 확인했지만 3차원 건물 외곽선과 제 건물 외곽선의 일치 여부를 비교하는 실험 결과에서는 대부분의 건물 외곽선이 좋은 결과를 보이지 않다. 하지만 대부분의 3차원 건물 외곽선의 형태와 정렬 상태는 실제 건물 외곽선과 큰 차이가 없었기 때문에 3차원 건물 외곽선을 조정하는 단계를 추가적으로 수행하여 불일치하는 모서리를 조정함으로써 제안 기법을 향상시킬 수 있을 것으로 판단된다. 스테레오 영상으로 생성된 DSM은 3차원 정보뿐만 아니라 영상 정보도 활용할 수 있기 때문에, 제안 기법을 통해 추출된 3차원 건물 외곽선을 영상에 투영한 뒤 영상 내 존재하는 건물 경계선 정보 등과 융합하여 보다 정확한 건물의 외곽선을 추출하는 것이 가능할 것으로 기대된다. 따라서 향후에 3차원 건물 외곽선과 영상의 라인 성분을 매칭하여 3차원 건물 외곽선을 보정하는 연구를 수행할 계획이다.