Object-based Building Change Detection Using Azimuth and Elevation Angles of Sun and Platform in the Multi-sensor Images

태양과 플랫폼의 방위각 및 고도각을 이용한 이종 센서 영상에서의 객체기반 건물 변화탐지

Abstract

Building change monitoring based on building detection is one of the most important fields in terms of monitoring artificial structures using high-resolution multi-temporal images such as CAS500-1 and 2, which are scheduled to be launched. However, not only the various shapes and sizes of buildings located on the surface of the Earth, but also the shadows or trees around them make it difficult to detect the buildings accurately. Also, a large number of misdetection are caused by relief displacement according to the azimuth and elevation angles of the platform. In this study, object-based building detection was performed using the azimuth angle of the Sun and the corresponding main direction of shadows to improve the results of building change detection. After that, the platform's azimuth and elevation angles were used to detect changed buildings. The object-based segmentation was performed on a high-resolution imagery, and then shadow objects were classified through the shadow intensity, and feature information such as rectangular fit, Gray-Level Co-occurrence Matrix (GLCM) homogeneity and area of each object were calculated for building candidate detection. Then, the final buildings were detected using the direction and distance relationship between the center of building candidate object and its shadow according to the azimuth angle of the Sun. A total of three methods were proposed for the building change detection between building objects detected in each image: simple overlay between objects, comparison of the object sizes according to the elevation angle of the platform, and consideration of direction between objects according to the azimuth angle of the platform. In this study, residential area was selected as study area using high-resolution imagery acquired from KOMPSAT-3 and Unmanned Aerial Vehicle (UAV). Experimental results have shown that F1-scores of building detection results detected using feature information were 0.488 and 0.696 respectively in KOMPSAT-3 image and UAV image, whereas F1-scores of building detection results considering shadows were 0.876 and 0.867, respectively, indicating that the accuracy of building detection method considering shadows is higher. Also among the three proposed building change detection methods, the F1-score of the consideration of direction between objects according to the azimuth angles was the highest at 0.891.

건물탐지 기반의 건물 변화 모니터링은 발사예정인 차세대 중형위성 1, 2호와 같은 고해상도 다시기 광학 위성영상을 이용한 인공 구조물 모니터링 측면에서 가장 중요한 분야 중 하나이다. 하지만 지표면에 위치하는 건물들의 형태와 크기는 다양하며, 이들 주변에 존재하는 그림자 또는 나무 등에 의해 정확한 건물탐지에 어려움이 따른다. 또한, 영상 촬영 당시의 플랫폼의 방위각(Azimuth angle)과 고도각(Elevation angle)에 따라 생기는 기복 변위로 인해 건물 변화탐지 수행 시 다수의 변화 오탐지가 발생하게 된다. 이에 본 연구에서는 건물 변화탐지 결과 향상을 위해 다시기 영상 취득 당시의 태양의 방위각과 그에 따른 그림자의 주방향(Main direction)을 이용한 객체기반 건물탐지를 수행하였으며, 이후 플랫폼의 방위각과 고도각을 이용한 건물 변화탐지를 수행하였다. 고해상도 영상에 객체 분할 기법을 적용한 후, Shadow intensity를 통해 그림자 객체만을 분류하였으며, 건물 후보군 탐지를 위해 각 객체의 Rectangular fit, GLCM(Gray-Level Co-occurrence Matrix) homogeneity 그리고 면적(Area)과 같은 특징(Feature) 정보들을 이용하였다. 그 후, 건물 후보군으로 탐지된 객체들의 중심과 태양의 방위각에 따른 건물 그림자 사이의 방향과 거리를 이용하여 최종 건물을 탐지하였다. 각 영상에서 탐지된 건물 객체 간 변화탐지를 위해 객체들 간의 단순 중첩, 플랫폼의 고도각에 따른 객체의 크기 비교, 그리고 플랫폼의 방위각에 따른 객체 간의 방향 비교 총 3가지의 방법을 제안하였다. 본 연구에서는 주거 밀집 지역을 연구지역으로 선정하였으며, KOMPSAT-3와 무인항공기(Unmanned Aerial Vehicle, UAV)의 이종 센서에서 취득된 고해상도 영상을 이용하여 실험 데이터를 생성하였다. 실험 결과, 특징 정보를 이용해 탐지한 건물탐지 결과의 F1-score는 KOMPSAT-3 영상과 무인항공기 영상에서 각각 0.488 그리고 0.696인 반면, 그림자를 고려한 건물탐지 결과의 F1-score는 0.876 그리고 0.867로 그림자를 고려한 건물탐지 기법의 정확도가 더 높은 것을 확인할 수 있었다. 또한, 그림자를 이용한 건물탐지 결과를 바탕으로 제안한 3가지의 건물 변화탐지 제안기법 중 플랫폼의 방위각에 따른 객체 간의 방향을 고려한 방법의 F1-score가 0.891로 가장 높은 정확도를 보이는 것을 확인할 수 있었다.

요약

건물탐지 기반의 건물 변화 모니터링은 발사예정인 차세대 중형위성 1, 2호와 같은 고해상도 다시기 광학 위성영상을 이용한 인공 구조물 모니터링 측면에서 가장 중요한 분야 중 하나이다. 하지만 지표면에 위치하는 건물들의 형태와 크기는 다양하며, 이들 주변에 존재하는 그림자 또는 나무 등에 의해 정확한 건물탐지에 어려움이 따른다. 또한, 영상 촬영 당시의 플랫폼의 방위각(Azimuth angle)과 고도각(Elevation angle)에 따라 생기는 기복 변위로 인해 건물 변화탐지 수행 시 다수의 변화 오탐지가 발생하게 된다. 이에 본 연구에서는 건물 변화 탐지 결과 향상을 위해 다시기 영상 취득 당시의 태양의 방위각과 그에 따른 그림자의 주방향(Main direction)을 이용한 객체기반 건물탐지를 수행하였으며, 이후 플랫폼의 방위각과 고도각을 이용한 건물 변화탐지를 수행하였다. 고해상도 영상에 객체 분할 기법을 적용한 후, Shadow intensity를 통해 그림자 객체만을 분류하였으며, 건물 후보군 탐지를 위해 각 객체의 Rectangular fit, GLCM(Gray-Level Co-occurrence Matrix) homogeneity 그리고 면적(Area)과 같은 특징(Feature) 정보들을 이용하였다. 그 후, 건물 후보군으로 탐지된 객체들의 중심과 태양의 방위각에 따른 건물 그림자 사이의 방향과 거리를 이용하여 최종 건물을 탐지하였다. 각 영상에서 탐지된 건물 객체 간 변화탐지를 위해 객체들 간의 단순 중첩, 플랫폼의 고도각에 따른 객체의 크기 비교, 그리고 플랫폼의 방위각에 따른 객체 간의 방향 비교 총 3가지의 방법을 제안하였다. 본 연구에서는 주거 밀집 지역을 연구지역으로 선정하였으며, KOMPSAT-3와 무인항공기(Unmanned Aerial Vehicle, UAV)의 이종 센서에서 취득된 고해상도 영상을 이용하여 실험 데이터를 생성하였다. 실험 결과, 특징 정보를 이용해 탐지한 건물탐지 결과의 F1-score는 KOMPSAT-3 영상과 무인항공기 영상에서 각각 0.488 그리고 0.696인 반면, 그림자를 고려한 건물탐지 결과의 F1-score는 0.876 그리고 0.867로 그림자를 고려한 건물탐지 기법의 정확도가 더 높은 것을 확인할 수 있었다. 또한, 그림자를 이용한 건물탐지 결과를 바탕으로 제안한 3가지의 건물 변화탐지 제안기법 중 플랫폼의 방위각에 따른 객체 간의 방향을 고려한 방법의 F1-score가 0.891로 가장 높은 정확도를 보이는 것을 확인할 수 있었다.

1. 서론

고해상도 위성영상은 객체탐지, 변화탐지, 재난 및 재해 모니터링 등 다양한 활용분야에서 고부가 가치를 창출하게 해준다. 이에 전 세계적으로 WorldView, GeoEye, QuickBird 등과 같은 고해상도 센서를 장착한 위성을 운용 중에 있으며, 이로부터 취득된 고해상도의 빅데이터는 다양한 공공분야에서 활용되고 있다. 우리나라 또한 이러한 흐름에 발맞추어 국토지리정보원에서 보유하고 있는 기준점, 정사영상 등의 공간정보를 활용해 구축한 한반도 지역 정밀 위성기준점 데이터베이스 기반의 지상정밀 관측을 위한 차세대 중형위성의 개발 및 운용이 계획되어 있다. 이처럼 고해상도 위성영상의 활용가치는 높아지고 있으며 특히 국토 모니터링을 위한 객체탐지 및 변화탐지는 시계열 다중센서 고해상도 영상취득이 용이해짐에 따라 활용범위가 넓어지고 있다. 그 중에서도 건물탐지는 객체탐지 분야에 있어 가장 활발히 진행되고 있는 연구 중 하나이며, 특히 우리나라처럼 고층건물이 밀집해 있는 지역이 많을수록 그 중요성은 높아진다.

고해상도 영상에서의 건물탐지를 위한 다양한 방법이 연구되어 왔으며, 가장 보편적인 건물탐지 방법에는 위성영상의 분광 정보, 형태학적 건물지수(Morphological Building Index, MBI)와 같은 특징(Feature) 정보를 이용한 방법, LiDAR 데이터를 이용한 방법, 딥러닝(Deep Learning) 그리고 융합영상 생성을 통한 건물탐지 등이 있다(Attarzadeh and Momeni, 2018; Du et al., 2017; Ghanea et al., 2016; Huang and Zhang, 2011; Mongus et al., 2014; Xiao et al., 2016; Zarea and Mohammadzadeh, 2016). 다양한 방법을 통해 탐지된 건물 데이터는 수치지도 생성, 3차원 도시모델링, 도시 확장 분석, 도시 환경 조사 등 여러 분야에서 활용된다(Huang and Zhang, 2011; Noronha and Nevatia, 2001). 하지만 건물탐지에 대한 다양한 알고리즘이 발달되어 왔음에도 불구하고 도심지역에서 취득된 고해상도 영상의 경우 건물들의 다양한 형태와 크기 및 영상의 복잡한 분광정보로 인해 정확한 건물탐지에 장애물이 되고 있다(Alshehhi et al., 2017; Liu et al., 2018). 건물이 가지고 있는 그림자가 대표적인 장애요인 중 하나이며, 특히 그림자 정보를 이용한 건물탐지를 수행할 때, 건물의 그림자가 인접한 건물에 가려지는 경우가 발생하며 이는 탐지 정확도를 떨어뜨리는 요인이 된다(Hu et al., 2011; Lee and Kim, 2013). 하지만 그림자는 건물과 직접적인 인접성이 높아 Lee and Kim(2013)의 연구와 같이 그림자를 이용해 건물의 높이를 추정하는 연구도 진행되어 왔으며, 이를 바탕으로 건물의 3D 복원을 진행하는 연구 또한 진행되고 있다(Gao et al., 2018; Liasis and Stavrou, 2016; Zhou and Sha, 2020).

단순히 건물에 대한 탐지 뿐만 아니라 도심 또는 인공구조물 변화 모니터링 정보의 신속한 업데이트를 위해 빠르고 정확한 변화된 건물 탐지 관련 연구 또한 요구된다. 하지만 고해상도 다시기 위성영상을 이용한 건물 변화탐지의 경우 건물의 고도가 높을수록 플랫폼의 방위각(Azimuth angle)과 고도각(Elevation angle)에 따른 기복 변위의 영향을 크게 받아 동일한 건물이 일정한 크기와 형태를 유지한 채로 촬영되지 않는 문제가 발생하게 된다. 이로 인해 화소 기반 변화탐지에서는 물론 객체기반 변화탐지 수행 시 같은 건물 객체들이 서로 다른 건물로 오탐지 되는 경우가 발생하며, 이는 변화탐지 정확도를 떨어뜨리는 요인이 된다(Park et al., 2018; Jung et al., 2019). 이를 해결하기 위해 LiDAR를 통해 취득한 다시기 DSM(Digital surface Model) 데이터를 이용한 건물 변화탐지 연구가 진행되어왔으며, 최근에는 고해상도의 SAR(Synthetic Aperture Radar) 영상을 이용한 건물 변화탐지 또한 수행되고 있다(Choi and Lee, 2008; Saha et al., 2020). 하지만 다시기 DSM 데이터의 경우 취득이 번거롭다는 단점이 있으며, SAR 영상을 이용한 건물 변화탐지 시에는 광학 영상을 함께 이용해야 한다는 문제점을 가지고 있다. 또한, 보편적인 객체기반 변화탐지는 고해상도 영상에 대해 분할 영상 생성 후 다양한 Texture features들을 종합해 융합영상을 생성한 후 변화탐지 결과를 도출하거나(Wang et al., 2018), 화소기반 변화탐지 결과를 객체기반 변화탐지 결과로 확장시켜 변화탐지 결과를 도출하게 되는데(Luo et al., 2018) 대부분의 경우 연구지역 전체에 걸친 객체기반 변화탐지를 수행하며, Sadeq and Salih (2020)의 연구와 같이 건물 변화탐지를 수행하더라도 건물탐지를 수행한 후, 화소기반의 변화탐지를 수행하게 된다.

이에 본 연구에서는 고해상도 영상인 KOMPSAT-3 영상과 무인항공기 정사영상을 이용한 객체탐지를 위해 DSM 등과 같은 추가적인 데이터를 사용하지 않더라도 손쉽게 영상에 대한 분석 정보를 제공하는 특징 정보를 이용한 건물탐지를 수행하였다. 이를 위해 고해상도 영상에 객체기반 분할 영상을 생성한 후, 객체의 특징 정보를 계산해 건물 후보군 탐지를 수행하였으며 정확한 건물탐지를 위해 태양의 방위각과 그에 따른 건물의 그림자 정보를 활용하였다.

단일 센서에서 취득된 정사영상에 SVM(Support Vector Machine) 기법을 적용하여 건물을 분류한 후, 건물의 경계와 그림자와 관계를 이용해 건물을 탐지한 Gao et al. (2018)의 연구나 태양과 플랫폼의 방위각의 차인 SLSLA(Shade Line and Shadow Line Angle)을 통해 건물을 탐지한 Hu et al. (2011)와 달리 본 연구에서는 방위각에 따른 그림자 방향과 건물의 무게중심 사이의 관계를 이용해 오탐지된 건물 객체들을 제거하였으며 이를 바탕으로 객체기반 건물 변화탐지를 수행하였다. 이후, 고해상도 다시기 영상에서의 객체기반 건물 변화탐지 정확도 향상을 위해 변화탐지 시 객체의 공간적 특성과 플랫폼의 방위각 및 고도각을 이용한 변화탐지 기법을 제안하였다. 객체 간 단순 중첩을 수행한 방법, 플랫폼의 고도각에 따른 객체의 크기를 비교하는 방법 그리고 플랫폼의 방위각에 따른 객체 방향을 고려한 방법을 제안하였으며, 이들을 이용해 변화탐지 결과를 도출한 후, 참조 자료와의 정량적인 비교평가를 통해 제안기법의 활용 가능성을 확인하였다.

2. 연구지역 및 자료

본 연구에서는 고해상도 위성영상인 KOMPSAT-3와 무인항공기 Inspire 2에 광학센서Zenmuse X4S를 장착해 취득한 영상을 사용하여 연구를 진행하였다. 연구에 사용된 KOMPSAT-3 영상은 Red, Green, Blue 그리고 NIR 밴드를 가지고 있으며, 14 bit의 방사해상도를 가지고 있다(Table 1). 무인항공기 영상의 경우 광학센서가 갖는 보편적 범위의 파장대역의 Red, Green, Blue 밴드로 이루어져 있으며, 8 bit의 방사해상도를 갖는다. 서로 다른 고해상도 센서로 촬영된 영상에서의 객체기반 건물탐지 후 변화탐지를 수행하기 위해 경북대학교 상주 캠퍼스 인근에 위치한 주거 밀집 지역을 연구지역으로 설정하였다(Fig. 1, Table 2). 연구를 수행하기에 앞서 KOMPSAT-3 영상의 공간해상도 향상을 위해 영상융합 기법 중 하나인 Gram-schmidt pan sharpening을 수행하였다. 그 후 영상 간 등록(Image registration) 과정을 통해 2.5 cm의 공간해상도를 가지고 있던 무인항공기 영상의 공간해상도를 Table 2와 같이 KOMPSAT-3 영상에 맞춰 주었다.

Table 1. Specification of KOMPSAT-3

Fig. 1. Images used in study: (a) KOMPSAT-3 and (b) UAV.

Table 2. Information of images used in the study

3. 연구방법

본 연구에서는 객체기반 건물 변화탐지를 위해 KOMPSAT-3 영상과 무인항공기 영상을 이용하였다. 고해상도 영상인 KOMPSAT-3 영상과 무인항공기 영상에 대해 객체기반 분할 영상을 생성한 후, 특징 정보를 이용해 그림자와 건물 후보군을 탐지하였다. 건물 후보군들 중 최종 건물 객체들만을 탐지하기 위해 건물의 무게중심으로부터 그림자로의 방향과 거리 관계를 이용하였으며, 이 과정에서 연구지역을 촬영한 시각의 태양 방위각을 활용하였다. 이후 두 영상에서 탐지된 건물에서의 변화탐지를 위해 본 연구에서는 3가지 방법을 제안하였다. 제안기법은 첫째, 객체 간의 단순 중첩, 둘째, 플랫폼의 고도각에 따른 객체의 크기를 비교한 방법, 셋째, 플랫폼의 방위각에 따른 객체의 방향을 고려한 방법으로 건물 객체 간의 공간적 특성은 물론 태양과 플랫폼의 방위각 및 고도각을 활용하였다(Fig. 2).

Fig. 2. Flow chart of the proposed object-based building change detection approach.

1) 다중해상도 분할 영상 생성

객체기반 분석을 위해 KOMPSAT-3 영상과 무인항공기 영상에 다중해상도 분할(Multi-resolution segmentation)기법을 적용하여 객체 단위의 분할 영상으로 변환하였다. 이 기법은 영상의 공간적 특성과 분광적 특성을 동시에 고려한 분할 객체를 생성하며, 화소들을 상호 연관성이 높은 인접한 화소로 성장시켜 객체를 생성한다. 다중해상도 분할 영상 생성 시 Scale, Shape/Color, Compactness/Smoothness 파라미터 그리고 영상의 밴드 개수에 따른 가중치에 따라 객체의 크기, 수 그리고 형태가 결정되며, 이 중 Scale 파라미터는 객체 크기를 결정하는 파라미터로 객체 동질성의 크기를 정의한다. 따라서 분할 영상생성 시 Scale 파라미터가 커질수록 생성되는 분할 객체의 크기 또한 커지게 된다. Shape/Color 파라미터는 서로 반비례 관계이며 이 둘의 합은 1이 된다. Shape 파라미터가 커질수록 분할 영상생성에 있어 객체의 형태의 영향이 커지며 Color 파라미터가 커질수록 분할 영상생성 시 분광 특성이 미치는 영향이 커진다. 마지막으로 Compactness/Smoothness 파라미터는 분할 객체의 모양에 대한 파라미터로 Shape/Color 파라미터와 마찬가지로 반비례 관계이다. 이들은 Shape 파라미터의 영향을 받는데 Shape과 Compactness 파라미터가 모두 클 경우 조밀한 객체가 형성된다. 고해상도 영상에 대해 최적의 분할 영상을 생성하는 파라미터는 센서의 특성이나 영상의 활용 방향 그리고 관심 객체의 특성 등에 따라 달라진다(Tong et al., 2012).

2) 그림자 탐지

본 연구에서는 건물탐지에 앞서 그림자 탐지를 먼저 수행하였다. 그림자와 건물은 위치적 관점에서 관계성을 가지며, 동시에 그림자의 분광특성이 다른 객체에 비해 비교적 안정적이기 때문에 건물탐지 시 중요한 단서가 된다. 이에 본 연구에서는 광학밴드 중 blue 밴드(B)에서 그림자 지역의 특성이 강하게 나타나는 것을 이용해 blue 밴드와 green 밴드(G)의 비를 이용한 Shadow intensity(φ) 계산을 통해 그림자를 탐지하였으며 계산법은 식 (1)과 같다(Benarchid et al., 2013).

\(\varphi=\frac{4}{\pi} \tan ^{-1}\left(\frac{B-G}{B+G}\right)\)       (1)

3) 건물 후보군 탐지

대부분의 건물들은 육면체 모양이며, 이로 인해 위성이나 무인항공기로 건물을 촬영할 경우 사격형의 형태를 띄게 된다. 이에 본 연구에서는 이러한 형태적 특성을 이용해 건물 후보군을 탐지하였다. 이 과정에서 사용한 Rectangular fit 특징 정보는 분할 객체의 기하학적 특징이 객체와 비슷한 크기와 비율을 가진 직사각형과 얼마나 가까운지 서술하며 객체가 직사각형에 가까울수록 1, 그렇지 않을수록 0에 가까운 값이 할당된다. Fig. 3에서 확인할 수 있듯이 객체 v와 길이, 너비의 비율이 같은 가상의 직사각형(R)을 그린 뒤, 직사각형 내에 존재하는 화소의 개수(n(P_v∩R))를 객체 v 내 존재하는 화소의 개수(n(P_v))로 나누어 계산하였다(식 (2)).

Fig. 3. Rectangular fit of an image object v.

\(\text { Rectangular fit }=\frac{n\left(P_{v} \cap R\right)}{n\left(P_{v}\right)}\)       (2)

Haralick et al. (1973)에 의해 제안된 화소 기반의 Texture 정보를 통계적 정보로 나타내는 GLCM(Gray-Level Cooccurrence Matrix)은 객체 내의 화소들 사이의 관계를 고려해 생성한다. GLCM 기법은 기준 화소와 이웃하는 화소의 밝기 값이나 Gray level의 관계를 상관관계, 평균, 대비 등과 같은 기본적인 통계량을 이용해 계산한다. 본 연구에서는 Rectangular fit과 함께 GLCM homogeneity를 이용하여 건물 후보군들을 분류하였으며, 이는 행렬 내 각 화소들 간의 균일한 정도를 나타내는 개념으로, 건물 등과 같은 인공구조물은 객체 내에서 균질한 화소 값을 갖고 있으며 인접한 객체로의 전환 시 현저한 화소 값 변화가 발생하므로 이를 이용해 건물 후보군을 탐지하였다(식 (3)).

\(\text { homogeneity }=\sum_{i, j=0}^{N-1} \frac{P_{i, j}}{1+(i-j)^{2}}\)       (3)

여기서 i, j는 객체 내 화소 들을 위치를 의미하며 P_{i, j}는 GLCM homogeneity 계산을 위해 정규화된 화소 값을 의미한다. 마지막으로 N은 객체의 행과 열의 수를 의미 한다.

Fig. 4와 같이 통해 Rectangularfit과 GLCM homogeneity 특징 정보를 통해 분류된 건물 후보군들 중 인접한 개체를 모두 병합하는 과정을 수행하였다.

Fig. 4. Merge region.

최종적으로, 객체들의 면적(Area)을 화소 기반으로 계산하였으며, 이를 바탕으로 건물로 오탐지된 객체들 중 일부를 제거하였다(Sheen, 1992).

4) 그림자를 이용한 최종 건물탐지

고해상도 영상에서 대부분의 건물과 그림자는 필연적으로 인접한 관계를 보이며 같은 영상 내에서는 건물을 중심으로 모든 그림자는 같은 방향에 생긴다. 본 연구에서는 이를 이용해 건물 후보군들 중 최종 건물을 탐지하였다. Fig. 5와 같이 그림자의 주방향(Main direction)은 태양의 방위각에 의해 결정되며 식 (4)와 같이 계산된다. 이를 이용해 그림자의 주 방향을 \(\overrightarrow{s d}\)라고 할 때, 건물 후보군 객체의 무게 중심(c(x, y))에서 \(\overrightarrow{s d}\) 방향으로 일정 거리 내(c′ (x′, y′))에 그림자가 존재할 경우 건물로 최종 분류하였다(Fig. 6).

Fig. 5. Basic concepts of elevation and azimuth angles of the Sun and shadow direction according to the azimuth angle.

Fig. 6. The relationship between building and its shadow.

\(\begin{array}\text {shadow direction} = \left\{\begin{array}{l} \text { azimuth angle }+180^{\circ}, \text { if azimuth angle } \leq 180^{\circ} \\ \text { azimuth angle }-180^{\circ}, \text { if azimuth angle }>180^{\circ} \end{array}\right.\end{array}\)       (4)

5) KOMPSAT-3 영상과 무인항공기 영상에서의 건물 변화탐지

본 연구에서는 KOMPSAT-3 영상과 무인항공기 영상 사이의 건물 변화탐지를 위해 탐지된 건물 객체들 중 변화된 건물을 찾는 3가지 방법을 제안하였다. 첫 번째 방법은 객체들 간의 단순 중첩만을 고려한 방법으로 KOMPSAT-3 영상과 무인항공기 영상에서 각각 탐지된 건물 객체에 대해 서로 중첩되는 건물이 있을 경우 이들을 변화하지 않은 건물로 분류하였다. 두 번째 방법은 플랫폼의 고도각에 따른 객체 크기를 비교한 방법으로 본 연구지역을 촬영할 당시의 KOMPSAT-3 영상과 무인항공기 영상의 고도각에 따른 객체 크기를 비교하였다. 촬영 플랫폼의 고도각이 높을수록 촬영된 영상은 정사영상에 가까워지며 고도각이 낮을수록 기복 변위가 커져 촬영된 건물 객체의 크기는 커지게 된다(Suliman and Zhang, 2015). 단순 중첩과는 달리 이 제안기법에서는 두 영상에서 탐지된 건물들 중 같은 건물 객체를 찾는 과정이 필수적이다. 그림자와 마찬가지로 건물의 주 방향 또한 플랫폼의 방위각에 의해 결정되며, 이를 이용해 각 영상에서 동일한 건물들을 탐지하였다(Fig. 7). 본 연구에서는 KOMPSAT-3 영상과 무인항공기 영상에서 촬영된 건물이 동일한 건물일 경우, 건물과 그림자의 관계와 마찬가지로 정사영상인 무인항공기 영상에서 탐지된 건물 객체의 무게중심을 기준으로 KOMPSAT-3 영상 건물 객체의 주 방향으로의 일정 거리 내에 무인항공기 영상의 건물과 동일한 KOMPSAT3 영상의 건물이 위치할 것이라고 판단하였다. 이어서 건물탐지를 위해 플랫폼의 고도각을 고려했으며 같은 건물을 촬영할 때, 플랫폼의 고도각이 낮을수록 건물의 크기는 커지게 되므로 KOMPSAT-3 영상에서의 건물 객체가 무인항공기 영상에서의 건물 객체보다 클 경우 이들을 변화하지 않은 건물로 판단하였다. 세 번째 제안기법은 플랫폼의 방위각에 따른 객체의 방향을 고려한 방법으로 두 번째 방법과 마찬가지로 두 영상에서 같은 건물 객체(b₁, b₂)를 탐지한 후, 이들의 무게중심(X_b1,2, Y_b1,2)을 구하였다. 그 후, 식 (5)와 같이 두 객체 사이의 방향을 구하였으며 이 값이 KOMPSAT-3 영상의 방위각과 비교하여 오차범위 내에서 같을 때 최종 변화 건물로 탐지하였다.

Fig. 7. Building direction according to azimuth angle of platform.

\(\theta=\tan ^{-1}\left(\frac{\left|Y_{b_{2}}-Y_{b_{1}}\right|}{\left|X_{b_{2}}-X_{b_{1}}\right|}\right)\)       (5)

4. 연구결과 및 분석

1) KOMPSAT-3 영상과 무인항공기 영상에서의 건물탐지

본 연구에서는 같은 지역에 대해 다른 시기에 취득한 KOMPSAT-3 영상과 무인항공기 영상을 이용한 객체 기반 건물 변화탐지를 수행하였으며, 이를 위해 다중해상도 분할 기법을 각 영상에 적용하였다(Fig. 8). 분할 영상 생성 시, 8 bit의 방사해상도를 갖는 무인항공기 영상에 비해 KOMPSAT-3의 방사해상도는 14 bit로 두 영상의 방사해상도가 차이가 존재함에 따라 동일한 Scale 파라미터로 분할을 수행할 시 무인항공기 영상에서의 분할 객체가 더 크게 생성된다. 이에 무인항공기 영상의 Scale 파라미터를 KOMPSAT-3 영상에 비해 작은 값인 30으로 설정하였으며, 연구지역에 위치한 건물들의 경계가 명확히 드러날 수 있도록 Compactness 파라미터 값을 크게 설정하였다(Table 3).

Fig. 8. Segmentation results: (a) KOMPSAT-3 and (b) UAV images.

Table 3. Parameter values of multi-resolution segmentation and number of objects

이후 Benarchid et al. (2013)의 연구와 같이 Shadow intensity 값에서 Otsu 임계치를 계산하여 임계치보다 작은 값을 가지는 객체들을 그림자로 분류하였다(Fig. 9). 이 과정에서 KOMPSAT-3 영상의 경우 일부 수계 지역이 그림자로 오탐지되었지만, 본 연구의 목적인 건물탐지에 있어 오탐지된 그림자는 크게 영향을 끼치지 않으므로 제거하지 않았다.

Fig. 9. Shadow detection results in (a) KOMPSAT-3 and (b) UAV images.

선행연구인 Benarchid et al. (2013)의 연구와 같이 연구 지역에 대한 건물 후보군 탐지를 위해 Rectangular fit과 GLCM homogeneity 그리고 면적을 이용하였다(Fig. 10). 각 특징 정보를 생성하여 각 객체에 할당하였으며, 이후 시각적 분석 및 Otsu 알고리즘을 통해 선정된 임계치를 기준으로 건물 후보군 객체와 건물 후보군이 아닌 객체로 분류하였다. 즉, Rectangular fit 값이 각각의 영상에서 0.8 이상이고 GLCM homogeneity 값이 Otsu 알고리즘을 통해 선정된 임계치 이상인 경우 건물 후보군 객체로 분류하였다. GLCM homogeneity 특징 정보에 Otsu 알고리즘을 적용한 결과 KOMPSAT-3 영상에서는 0.628, 무인항공기 영상에서는 0.617이 도출되었다. 이후 Merge region을 이용해 건물로 분류된 객체들 중 인접한 객체들을 하나의 객체로 병합하였다. 이 과정을 통해 건물로 오탐지된 대부분의 지역이 하나의 객체로 병합되었으며 이를 이용해 면적 정보를 이용한 오탐지 제거를 수행하였다. 계산된 면적을 이용해 오탐지된 건물 객체들을 제거하기에 앞서 시각적 판단을 통해 작성한각 영상의 건물에 대한 참조 자료를 이용해 건물들의 넓이를 계산하였으며, 각 영상에서 계산된 건물의 면적 중 최대 면적을 가진 건물보다 면적이 크거나 건물 후보군으로 탐지된 객체 중 분할 객체가 너무 작은 경우 오탐지로 판단해 제거하였다. KOMPSAT-3 영상의 경우 건물로 탐지된 객체 중 면적이 500 m² 이상이거나 25 m² 이하인 경우, 그리고 무인항공기 영상의 경우 588 m² 이상이거나 15 m² 이하의 면적을 가진 경우 건물로 탐지된 지역에서 제거하였다(Fig. 11).

Fig. 10. Extracted feature images: (a) Rectangular fit of KOMPSAT-3, (b) GLCM homogeneity of KOMPSAT-3, (c) area of KOMPSAT-3, (d) rectangular fit of UAV, (e) GLCM homogeneity of UAV and, (f) area of UAV images.

Fig. 11. Building candidates overlaid with shadow detection results in (a) KOMPSAT-3 and (b) UAV images.

Fig. 11에서 확인할 수 있듯이 면적을 이용한 오탐지 제거 과정을 거쳤음에도 불구하고 여전히 건물로 오탐지된 객체들이 남아있는 것을 볼 수 있다. 이에 이들을 추가적으로 제거하기 위해 그림자 객체를 사용하였다.

오탐지된 건물 객체의 제거를 위해 두 영상이 촬영된 시각의 태양 방위각을 이용하였으며 이를 이용해 그림자의 주 방향을 계산하였다. KOMPSAT-3 영상의 경우 메타데이터에서 제공하는 태양의 방위각 정보를 사용했으며, 무인항공기 영상의 경우 한국천문연구원(Korea Astronomy and Space Science Institute, KASI)에서 제공하는 위치와 시간에 따른 태양 방위각 정보를 사용하였다. KOMPSAT-3 영상과 무인항공기 영상이 촬영될 당시 태양의 방위각과 그에 따른 그림자의 주 방향은 Table 4와 같다.

Table 4. Azimuth angle of the Sun and estimated shadow direction

그림자를 이용해 오탐지된 건물 객체를 제거하기 위해 참조 자료에 기반한 각 영상에 위치하는 건물들의 길이와 너비의 평균을 계산하였으며 영상이 촬영된 시기의 태양의 방위각과 센서의 방위각 그리고 고도각을 종합적으로 고려하여 영상 내에 존재하는 건물의 무게중심과 그림자 사이의 거리를 계산하였다. 이를 바탕으로 KOMPSAT-3 영상에서의 경우 건물 후보군으로 탐지된 객체들의 무게중심에서 그림자의 방향으로 15 m 이내, 무인항공기 영상의 경우 10 m 이내에 그림자가 존재할 경우 이를 최종 건물로 분류하였으며, 그 결과는 Fig. 12와 같다.

Fig. 12. Final building detection results in (a) KOMPSAT-3 and (b) UAV images.

Fig. 12에서 확인할 수 있듯이 대부분의 건물들이 완전한 형태를 유지한 채로 탐지된 무인항공기 영상에서의 건물(Fig. 12(b))과 달리 KOMPSAT-3 영상에서는 건물의 가장자리가 명확히 구분되지 않아 건물이 제대로 탐지되지 않은 것을 확인할 수 있다(Fig. 12(a)). 이는 KOMPSAT-3 영상이 무인항공기 영상에 비해 대비가 좋지 않을 뿐만 아니라 건물과 지표면 경계 부분의 화소 값 차이가 크지 않아 분할 영상 생성과정에서 일부인접 건물의 그림자나 도로가 포함되거나 건물 외곽선이 누락된 채로 분할되어 발생한 문제로 보인다.

2) KOMPSAT-3 영상과 무인항공기 영상에서의 건물 변화탐지

본 연구에서는 KOMPSAT-3 영상과 무인항공기 영상에서 객체기반으로 탐지된 건물에 대한 변화탐지를 수행하기 위해 두 영상에서 변화된 건물 객체만을 분류하였으며 이 과정에서 3가지 방법을 제안하였다. 첫 번째 방법은 단순 중첩만을 이용한 방법으로 두 영상에서 탐지된 건물 객체가 서로 중첩될 경우 이들을 같은 건물로 판단하였으며 최종 변화건물 객체에서 제외하였다.

단순 중첩만을 이용해 변화 건물 객체들을 탐지한 결과는 Fig. 13(b)와 같다. 이 기법은 연산이 간단해 변화된 건물에 대한 빠른 판단이 가능하나, 건물이 밀집되어 있는 지역에서 인접한 다른 건물과의 중첩이 함께 발생할 경우 Fig. 14와 같이 주변의 인접 건물 또한 미변화 건물로 간주되어 오탐지가 발생하게 된다.

Fig. 13. (a) Building detection results of KOMPSAT-3 and UAV images and (b) change detection result by simple overlay approach.

Fig. 14. Detailed example of falsely detected building changes using simple overlaid method.

두 번째 방법은 플랫폼의 고도각에 따른 객체 크기를 이용한 방법으로 KOMPSAT-3 영상과 무인항공기 영상의 방위각을 이용해 각 영상에서 탐지된 건물 중 같은 건물들을 우선적으로 탐지하였으며, 이들의 고도각에 따른 크기 비교를 통해 변화 건물을 탐지하였다. 방위각에 따른 KOMPSAT-3 영상에 위치하는 건물들의 주 방향은 Table 5와 같다. 이후, 건물에 대한 참조 자료와 각 플랫폼의 방위각 및 고도각을 이용해 두 영상에 위치한 건물들의 위치관계를 파악하였으며, 무인항공기 영상 내에 위치하는 건물 객체의 무게중심에서 KOMPSAT-3 영상 건물의 주 방향으로 6 m 이내에 건물이 존재할 경우, 이들을 같은 건물로 분류하였다.

Table 5. Azimuth angle ofKOMPSAT-3 image andbuilding direction

이후 고도각에 따른 같은 건물로 추정되는 건물 사이의 면적 비교를 통해 최종 변화 건물을 탐지하였다(Table 6). KOMPSAT-3 영상의 고도각이 정사영상인 무인항공기 영상보다 더 낮아 무인항공기 영상보다 KOMPSAT-3 영상에서 건물 면적이 더 커야 하며 그 결과는 Fig. 15과 같다.

Table 6. Elevation angle of KOMPSAT-3 and UAV images

Fig. 15. (a) Building detection results of KOMPSAT-3 and UAV images and (b) change detection result by considering object sizes according to elevation angle of platforms.

하지만 앞서 언급했듯이 KOMPSAT-3 영상에 위치한 건물들 중 일부 건물의 외곽이 제대로 탐지되지 않아 무인항공기 영상에서 탐지된 동일한 건물보다 면적이 작은 것을 확인할 수 있다(Fig. 16). 이로 인해 변화 객체에 대한 오탐지가 발생하며, 변화탐지 정확도가 낮아지게 된다.

Fig. 16. Detailed example of falsely detected building changes using object size-based methods.

마지막으로 제안한 방법은 두 번째 방법과 마찬가지로 KOMPSAT-3 영상과 무인항공기 영상의 방위각을 이용해 동일한 건물들을 탐지한 후, 각 건물들의 무게중심 좌표를 구해 두 건물 간의 방향을 KOMPSAT-3 영상의 방위각과 비교하였다. 이 과정에서 계산된 두 건물 객체 간의 방향은 KOMPSAT-3 영상의 방위각인 81.429°에 수렴해야 하며 본 연구에서는 건물 사이의 방향이 81.429°±3° 사이의 값을 가질 경우 변화하지 않은 건물로 분류하였다(Fig. 17).

Fig. 17. (a) Building detection results of KOMPSAT-3 and UAV images and (b) change detection result by considering object direction according to azimuth angle of platforms.

이 과정에서 Fig. 18의 무인항공기 영상과 같이 인접한 2개 이상의 건물이 묶여서 함께 분류되는 경우가 발생한다. 이 경우 KOMPSAT-3 영상에서 분류된 두 건물 객체 각각의 무게중심의 평균을 구해 무인항공기 영상에서의 건물과의 방향을 계산하였다.

Fig. 18. Detailed example of falsely detected building changes using object direction-based method.

3) 정확도 평가

본 연구 결과의 참조 자료 재현율 분석 결과는 일반적으로 탐지 정확도 평가를 위해 사용되는 False alarm과 성능 평가지수인 F1-score 그리고 Kappa 계수를 계산하였다(Benarchid et al., 2013; Park et al., 2018). 이 과정에서 건물과 건물이 아닌 지역을 각각 P(Positive)와 N (Negative)으로 나타냈으며, 건물이 제대로 탐지된 경우 TP(True Positive), 건물 이외의 지역이 제대로 탐지된 경우를 TN(True Negative), 건물 이외의 객체가 건물로 탐지된 경우 FP(False Positive) 그리고 건물이 건물로 탐지되지 않은 경우를 FN(False Negative)으로 정의하였다.

\(\text { False alarm }=\frac{F P}{T N+F P}\)       (6)

\(\begin{aligned} P P V &=\frac{T P}{T P+F P} \\ T P R &=\frac{T P}{T P+F N} \end{aligned}\)       (7)

\(\begin{array}{c} F 1-\text { score }=\frac{2 \times P P V \times T P R}{P P V+T P R} \\ P_{0}=\frac{T P+T N}{T P+F N+T N+F P} \\ P_{e}=\frac{T P+F N}{T P+F N+T N+F P}+\frac{T N+F N}{T P+F N+T N+F P} \\ \text { Kappa }=\frac{P_{0}-P_{e}}{1-P_{e}} \end{array}\)       (8)

False alarm은 참조 자료에서 건물이 아닌 지역이 실험 결과에서는 건물로 탐지된 비율을 나낸다(식 (6)). 또한, 식 (7)에서의 PPV 지표는 실험 결과 건물로 탐지된 화소 중 참조 자료에서도 건물로 탐지된 비율을 의미하며, TPR 지표는 참조 자료에서의 건물이 실험 결과에서도 건물로 탐지된 비율을 의미한다. F1-score는이 둘의 조화평균으로, 이 값이 1에 가까울수록 참조자료와의 재현율이 높다고 할 수 있다. 추가적으로 식 (8)의 두 자료 사이의 일치도를 확인하는 지수인 Kappa 계수를 사용하여 정확도 평가를 수행하였으며 이 또한 값이 1에 가까워질수록 참조 자료와의 일치도가 크다고 할 수 있다. 건물 변화탐지 정확도 평가를 수행하기에 앞서 KOMPSAT-3 영상과 무인항공기 영상에서 분류된 건물들에 대한 정확도 평가를 수행하였다(Fig. 19). 각각의 영상에서 분류된 건물 객체에서 그림자 방향을 고려하지 않았을 때와 고려했을 경우로 나누어 정확도 평가를 수행하였으며 그 결과는 Table 7과 같다.

Fig. 19. Building detection results: (a) Reference data of KOMPSAT-3 image, (b) without considering shadows in KOMPSAT-3 image, (c) considering shadows in KOMPSAT-3 image, (d) reference data of UAV image, (e) without considering shadows in UAV image, and (f) considering shadows in UAV image.

Table 7. Accuracy of building detection in KOMPSAT-3 and UAV images

건물탐지에 대한 정확도 평가 결과 KOMPSAT-3 영상과 무인항공기 영상 모두에서 태양의 방위각에 따른 그림자 방향을 고려했을때의 건물탐지 정확도가 그렇지 않은 경우보다 높은 것을 확인할 수 있었다. KOMPSAT-3 영상과 무인항공기 영상에서 그림자를 고려하지 않았을 때의 False alarm은 각각 0.152 그리고 0.065이며, 그림자를 고려했을 때의 False alarm은 0.008 그리고 0.006으로 그림자를 고려했을 때의 건물 오탐지율이 현저히 낮아진 것을 확인하였다. 뿐만 아니라, Landis and Koch(1977) 가 정리한 Kappa 계수 등급에 따라 참조 자료와 건물탐지 결과 Kappa 계수가 0.801 이상이므로 이 둘은 높은 일치도(Almost perfect)를 보임을 알 수 있다. 따라서, 그림자를 고려했을 때의 건물탐지 결과의 정확도를 고려했을 때, 이들을 이용한 건물 변화탐지를 수행하기 적합하다고 판단하였다.

각각의 영상에서 탐지된 건물 객체들을 바탕으로 객체기반 건물 변화탐지를 수행하였다. 이 과정에서 동일한 건물 객체들을 탐지한 후 미변화 객체로 분류하기 위해 단순 중첩만을 고려한 방법, 플랫폼의 고도각에 따른 객체 크기를 비교한 방법 그리고 플랫폼의 방위각에 따른 객체 간의 방향을 고려한 방법 이렇게 총 3가지의 방법을 제안하였으며, 제안기법을 이용한 변화탐지 결과는 Fig. 20과 같다.

Fig. 20. Object-based building change detection results: (a) Reference data, (b) pixel-based, (c) considering object overlay, (d) considering object size by elevation angle and, (e) considering object direction by azimuth angle.

변화탐지 정확도 평가를 위하여 건물탐지 정확도 평가 시 사용했던 동일한 평가 지수를 사용하였으며, 결과는 Table 8과 같다. 연구결과, Fig. 20(b)와 같이 화소기반의 건물 변화탐지 결과에 비해 제안기법을 이용한 건물 변화탐지 정확도가 크게 향상된 것을 확인할 수 있었다(Sadeq and Salih, 2020). 제안기법의 결과를 전반적으로 살펴보면 False alarm의 경우 3가지 제안기법에서의 차이가 미미하나, F1-score의 경우 제안기법 중 객체 간의 단순 중첩 수행한 결과가 0.677로 가장 낮았다. 그리고 플랫폼의 고도각에 의한 객체 크기를 비교한 방법 그리고 플랫폼의 방위각에 의한 객체의 방향을 고려한 방법의 F1-score가 각각 0.655, 0.891로 플랫폼의 방위각에 의한 객체의 방향을 고려한 방법의 정확도가 가장 높은 것을 확인할 수 있었으며, Kappa 계수 또한 비슷한 양상을 보였다.

Table 8. Accuracy evaluation of proposal methods

이는 앞서 언급했던 Fig. 14, Fig. 16에서 확인할 수 있듯이 단순 중첩만을 고려한 방법, 플랫폼의 방위각에 따른 객체 크기를 고려한 방법에서 나타났던 일부 오탐지로 인한 결과로 보인다. 또한, Fig. 21과 같이 기존에 있던 건물이 없어지고 새로 건물이 지어진 경우 이들을 변화 건물로 탐지하지 못했던 앞서 2가지의 방법과는 달리 방위각에 따른 객체 간의 방향을 고려한 방법에서는 변화 건물로 탐지한 것을 확인할 수 있다.

Fig. 21. Details of the reconstruction building: (a) Before and after reconstruction of building in KOMPSAT-3 and UAV images and (b) reconstruction building in building detection results.

5. 결론

본 연구에서는 태양과 플랫폼의 방위각 및 고도각을 이용한 객체기반 건물 변화탐지를 제안하였으며, 연구 결과를 통해 제안기법의 활용 가능성을 확인하였다. 변화탐지에 앞서 각 영상에서의 건물탐지를 위해 DSM과 같은 추가적인 데이터 없이 영상의 분광 및 공간적 특성만을 이용해 객체를 탐지할 수 있도록 특징 정보만을 이용해 건물 후보군을 탐지하였으며 이후, 태양의 방위각에 따른 그림자의 위치를 활용하여 최종 건물을 탐지하였다. 그 결과, 건물탐지 시 그림자를 고려했을 때의 정확도가 그림자를 고려하지 않았을 때의 정확도보다 향상되는 것을 확인할 수 있었다. 이후 각 영상에서 탐지된 건물 데이터 기반의 건물 변화탐지 기법들을 제안하였으며 이들의 정확도를 비교, 평가하였다. 첫 번째 제안기법인 객체 간의 단순 중첩만을 고려해 변화탐지 결과를 도출할 경우 인접한 객체와의 중첩이 함께 일어나 실제 변화탐지 결과보다 적은 객체가 변화탐지 결과로 추출되었다. 이에 단순 중첩의 경우 객체들이 밀집된 지역에서의 활용이 어려울 것으로 판단된다. 두 번째 제안 기법인 플랫폼의 고도각에 의한 객체 크기 비교의 경우, 인접한 건물의 그림자와 주변의 건물로 인해 건물 형태가 온전히 탐지되지 않은 객체들이 변화탐지 과정에서 오탐지의 요인이 되며, 건물탐지 정확도가 낮을 경우 제안기법의 활용 가능성이 낮을 것으로 판단된다. 반대로 각 영상에서의 건물탐지 정확도가 높을 시 본 연구의 건물 변화탐지 결과보다 더 높은 정확도를 보일 것으로 사료된다. 제안기법 중 세 번째 제안기법인 플랫폼의 고도각에 의한 객체 방향을 고려한 방법의 정확도가 가장 높았으며, 앞서 언급한 두 가지의 제안 기법과 달리 재건축된 건물 또한 변화 건물로 탐지할 수 있어 제안기법 중 활용 가능성이 가장 높다고 판단하였다.

제안기법의 일반화를 위해 다양한 센서와 대상지역에서의 추가 실험이 필요하며 이는 향후 연구를 통해 진행할 예정이다. 향후 연구에서는 정사영상과 위성영상 간의 실험이 아닌 각기 다른 촬영 방위각과 고도각을 가지고 있는 시계열 영상을 이용한 연구와 다양한 고도의 건물들이 밀집해 있는 상대적으로 넓은 지역에서의 연구 또한 추가적으로 진행할 예정이다. 또한, 본 연구를 통해 2021년 발사 예정인 우리나라국토위성인 차세대 중형위성 1, 2호와 제원이 비슷한 KOMPSAT-3 영상과 이종 센서인 무인항공기 간의 활용 가능성을 확인함에 따라 차세대 중형위성을 통해 취득된 영상은 물론 활용 산출물로 생성된 수치지형모형, 변화탐지 주제도 등을 이용한 후속연구도 가능할 것으로 사료된다.