Comparative Analysis of Evaluation Methods for Image Segmentation Results

영상분할 결과 평가 방법의 적용성 비교 분석

Abstract

Although image segmentation is a critical part of object-based analysis of high resolution imagery, there has been lack of studies to evaluate the quality of image segmentation. In this study, we aimed to find practical and effective methods to obtain optimal parameters for image segmentation. Evaluations of image segmentation are divided into unsupervised, supervised, and qualitative visual interpretation methods. Using the multispectral UAV images, sampled from urban and forest over the Incheon Metropolitan City Park, three evaluation methods were compared. In overall, three methods showed very similar results regardless of the computational costs and applicability, although the optimal parameters determined by the evaluations were different between the urban and forest images. There is no single measure that outperforms in the unsupervised evaluation. Any combinations of intra-segment measures (V, COV, WV) and inter-segment measures (MI, BSH, DTNP) provided almost the same results. Although supervised method may be biased by subjective selection of reference data, it can be easily applied to detect object of interest. The qualitative visual interpretation on the segmentation results corresponded with the unsupervised and supervised evaluations.

고해상도 원격탐사 영상의 객체기반 분석에서 영상분할의 결과는 매우 중요한 부분이지만, 영상분할품질의 평가는 간과되고 있다. 본 연구에서는 영상분할의 최적 매개변수를 구하기 위한 실용적이고 효율적인 방법을 제시하고자 한다. 영상분할 평가는 크게 무감독 평가, 감독 평가, 그리고 시각적 판독에 의한 정성적 평가로 나눈다. 인천대공원 무인기 다중분광영상에서 추출한 도시 지역과 산림을 대상으로 세 가지 영상분할 평가 방법을 비교하였다. 영상분할 평가 방법은 계산 및 적용의 효율성에 따라 차이가 있지만, 표본영상에 대한 평가 결과 도출된 최적의 매개변수는 세 평가 방법에서 거의 동일하게 나타났다. 영상분할 평가를 통하여 도출된 최적의 매개변수는 도시영상과 산림영상에서 다르게 나타났다. 세 가지 조각 내부변이 척도(V, WV, COV)와 세 가지 조각간 이질성 척도(MI, BSH, DTNP)의 조합을 적용한 무감독 평가로 선정한 최적의 매개변수는 거의 같았다. 무감독 평가를 위한 척도마다 처리 과정의 난이도는 다르지만, 실험에 적용된 여러 종류의 척도는 대부분 동일한 성능을 보여주었다. 감독 평가 방법은 참조자료를 구성하는 과정에서 분석자의 주관으로 편향될 가능성이 있지만, 특정 공간객체를 탐지하는 데 간편하게 적용할 수 있다. 정성적 평가는 무감독 및 감독 평가 결과와 일치했다.

1. 서론

원격탐사 영상의 공간 해상도가 날로 향상되는 추세에 따라 기존의 화소 기반 영상분석 방법이 적합하지 않은 경우가 많다. 2000년 이후 등장한 1 m급 고해상도 위성 영상을 비롯하여, 최근에는 무인기 영상을 포함하여 다양한 종류의 항공 영상이 cm급 초고해상도를 갖고 있다. 고해상도 광학 영상은 높은 공간 해상도 때문에, 화소 기반 영상분석을 적용하면 사용자가 요구하는 정보와 거리가 있는 결과가 도출될 수 있다. 가령 사용자는 건물이나 특정 수목과 같은 공간객체에 대한 정보를 원하지만, 화소 단위로 처리할 경우 건물 옥상 및 수관에 포함되는 개별 화소값의 변이로 객체를 제대로 탐지 또는 분류하기 어려울 수 있다(Yu et al., 2006; Ming et al., 2015).

객체기반 영상분석(object-based image analysis, OBIA) 는 고해상도 영상을 화소 단위로 처리할 때 나타나는 문제점을 해결하기 위한 대안으로, 영상을 객체 단위로 분리하여 처리하는 방법이다. 고해상도 광학 영상의 분석을 위하여 다양한 종류의 객체기반 영상처리 방법을 활용하고자 하는 연구가 꾸준히 수행되고 있다(Chen et al., 2014; Crommelinck et al., 2017; Franklin, 2018; Najafi et al., 2021). 그러나 고해상도 영상에서 건물 또는 수목과 같은 특정 관심 객체를 완전히 분리하는 기술은 여전히 보완이 필요한 단계이다. 따라서 현재 객체기반 영상처리에서는, 유사한 특성을 갖는 인접 화소들을 결합한 ‘조각(segment)’ 단위로 분리하는 영상분할 기법을 사용한다. 조각은 유사한 신호 및 공간 특성을 갖는 인접 화소들의 집합이며, 객체의 하부 단위로 하나 이상의 조각이 합쳐서 객체가 될 수 있다. 따라서 객체기반 영상 분석은 영상 분할부터 시작한다고 할 수 있다(Su and Zhang, 2017).

고해상도 영상을 이용한 토지 피복 분류 또는 특정 지표물 탐지를 위한 객체기반 영상 분석에서, 분류 및 탐지 정확도는 중간 처리 과정인 영상분할 결과에 따라 크게 달라질 수 있다(Chung et al., 2011; Cao et al., 2018). 분석자의 입장에서 어려운 문제는 모든 영상분할 방법에서 요구하는 적정 매개변수의 선정에 뚜렷한 기준이 없다는 점이다. 많은 연구에서 시행착오(trial-and-error) 과정을 반복적으로 수행하거나, 분류 및 탐지 정확도를 이용하여 적정 매개변수를 결정한다(Smith, 2010; Dronova et al., 2012; Duro et al., 2012). 이러한 방법은 분석자의 주관적 판단에 의존적이며, 최종 결과물을 이용하여 영상 분할 품질을 평가하는 것은 다소 소모적이라고 할 수 있다.

객체기반 영상분석은 영상분할 결과에 따라 분석 결과가 달라질 수 있기 때문에, 영상분할 결과를 평가하는 과정이 중요하다. 본 연구에서는 영상분할 결과의 품질을 평가하기 위한 다양한 방법을 비교 검토하고, 실무에 적용할 수 있는 영상분할 매개변수를 선정하는 방안을 제시하고자 한다. 영상분할 평가 방법의 난이도와 함께 실제 적용의 효율성을 함께 비교하고자 한다.

2. 영상분할 평가 방법의 종류

영상 분할은 의료, 산업, 보안, 자율주행 등 다양한 분야에서 많이 사용하는 영상처리 기법이며, 원격탐사 영상에도 사용이 증가하고 있다. 영상분할 결과를 평가하기 위한 여러 방법이 개발되었는데, 크게 무감독 평가와 감독 평가로 나눌 수 있다. 본 장에서는 원격탐사 영상에 쉽게 적용할 수 있는 대표적 영상분할 평가 방법의 종류와 특징에 대해 살펴보고자 한다.

1) 무감독 평가 방법

영상분할 결과에 대한 무감독 평가(unsupervised evaluation)는 일체의 참조자료를 사용하지 않기 때문에, 객관적인 평가 방법으로 알려져 있다(Zhang et al., 2008). 무감독 평가는 분할된 조각의 내부 동질성(intra-segment homogeneity)을 나타내는 내부 변이와 조각 간 이질성 (inter-segment heterogeneity)을 기본 척도로 사용한다. 그러나, 일반적으로 조각 내부 변이가 낮으면 과다분할 (over segmentation)이 되며, 반대로 조각간 이질성을 높이면 과소분할(undersegmentation) 된다(Chen et al., 2018). 따라서 조각 내부 변이와 조각 간 이질성을 절충하기 위하여, 두 가지 척도를 결합한 단일의 척도를 사용하여 영상분할 결과를 평가한다. Table 1은 고해상도영상의 분할 결과를 평가하기 위하여 개발된 조각 내부 변이 및 조각간 이질성을 평가하는 척도와, 두 척도를 결합하는 지표를 구하는 여러 방법을 보여준다.

Table 1. Measures of unsupervised evaluation in image segmentation

(1) 조각 내부 변이 척도

분산(variance, V)은 조각 내부 변이를 나타내는 가장 간단한 척도다. 영상분할 결과로 얻어진 모든 조각마다 분산을 구하고, 이를 평균한 값을 내부 변이로 사용한다. 다중분광 영상은 모든 밴드별 영상의 평균 분산을 다시 평균하여 영상 전체의 내부 변이 척도로 사용한다. 분산은 가장 빠르고 간단하게 산출할 수 있는 장점이 있으나, 다중밴드 영상의 밴드 간 공분산을 고려하지 않는 단점이 있다.

면적가중 분산(area-weighted variance, WV)은 모든 조각의 분산(V)을 해당 조각의 면적에 비례하여 산출한 가중평균이다. 면적이 큰 조각이 상대적으로 높은 가중치를 가지므로, 면적이 작은 조각들이 갖는 이상 값의 영향을 최소화할 수 있다(Espindola et al., 2006). 공분산 (covariance, COV)은 V 와 WV가 밴드별 분광 특성에 관계없이 밴드별 조각의 분산을 평균하는 문제를 보완하기 위하여, 본 연구에서 제시한 내부 변이 척도다. 영상 분할이 주로 흑백 영상이나 가시광선 RGB 영상을 기반으로 개발되었기 때문에 V 와 WV만으로 내부 변이를 충분히 나타낼 수 있었지만, 다중분광 영상은 밴드별 신호가 상이하므로 공분산 개념을 고려한 조각 내부 변이 척도를 제안하였다. COV는 조각마다 분산 공분산 행렬을 도출한 후, 대칭행렬에서 상 삼각 행렬의 요소를 모두 더한 값을 해당 조각의 내부 변이로 사용했다.

조각 내부의 동질성을 나타내는 척도로 Zhang et al. (2012)이 제안한 T는 분산과 비슷한 개념이지만, 조각의 면적과 전체 조각 수를 이용하여 내부 변이를 조정하였다. 내부 변이는 밴드별로 조각에 포함된 모든 화소값 벡터와 조각의 평균 벡터의 차이를 합한 결과이며, 이를 해당 조각의 면적과 전체 조각 수를 이용하여 과다분할 및 과소분할의 차이를 조정한다. 조각 내부 변이를 나타내는 척도는 위에서 열거한 방법 외에도 엔트로피, 질감 기반의 평가 척도가 있으나, 원격탐사 영상에 적용된 사례는 많지 않다.

(2) 조각 간 이질성 척도

영상분할 결과에 나타나는 조각 간 이질성을 평가하는 척도는, 모든 조각마다 인접한 조각과의 차이를 비교하는 방법과 각 조각과 전체 영상과의 차이를 비교하는 방법으로 나눌 수 있다. 전자는 각 조각마다 그 조각과 경계를 공유하고 있는 인접한 조각을 찾아내기 위한 별도의 처리(region adjacency graph, RAG) 과정이 필요하므로, 계산이 복잡하고 처리 시간이 증가한다.

Moran’s I (MI) 통계값은 공간적 자기 상관성을 나타내는 척도로서, 영상분할 평가와 관련된 분석에서 조각 간 이질성을 표시하는 척도로 많이 사용하고 있다(Espindola et al., 2006). 영상분할 결과에 나타난 모든 조각에 대하여 인접한 조각과의 MI를 산출하고 이를 평균하여 조각간 이질성을 나타내는 척도로 사용한다. MI는 조각의 크기와 관련된 매개변수에 민감하게 반응하며, 조각의 크기가 커질수록 MI는 낮아진다(Gao et al., 2017).

Wang et al. (2019)이 제안한 조각 간 이질성(between segmentation heterogeneity, BSH)는 MI 산출 과정에서 영상 전체의 평균 화소 값 벡터를 이용하는 문제점을 보완하였다. BSH는 각 조각의 이질성을 구하기 위하여 영상 전체의 평균 화소 값 벡터를 사용하는 대신 인접한 조각들의 평균 벡터를 사용하기 때문에 과소분할에 민감하다고 알려져 있다. MI와 BSH는 공통적으로 인접 조각을 먼저 찾아내는 과정이 필요하므로 많은 처리 시간이 필요하다.

인접 화소 차이(difference to neighbor pixels, DTNP)는 각 조각에 인접한 조각들을 찾아야 하는 MI와 BSH 방법과 다르게, 각 조각의 가장 바깥의 상하좌우 지점에서 한 화소 간격만큼 확장한 사각형에 포함한 조각 외부의 화소들을 비교 대상으로 이질성을 산출한다(Zhao et al., 2020). 이 방법은 영상 전체의 통계값을 이용하지 않고, 또한 인접 조각을 찾아야 하는 별도의 처리 과정이 필요하지 않기 때문에 간단한 조각 간 이질성을 산출하는 방법이다.

Zhang et al. (2012)이 내부 변이 척도인 T와 함께 제안한 D는 가장 간단하게 조각 이질성을 평가하는 척도라고 할 수 있다. D는 각 조각의 평균 벡터와 영상 내 모든 조각들의 평균과의 차이를 나타내며, 결국 분할된 조각들의 평균 벡터의 분산이라고 할 수 있다. 현재 발표된 조각 이질성을 나타내는 척도 중 가장 간단한 방법이지만, scale 매개변수에 거의 비례하는 관계를 보여준다. 조각 이질성 척도는 이 밖에도 다른 방법이 있으나, 원격탐사 영상에는 위의 네 가지 척도가 많이 사용된다.

(3) 조각 내부 변이와 조각 간 이질성을 결합한 척도

조각 내부 변이가 낮고 조각간 이질성이 높을수록 좋은 품질의 영상 분할이 되지만, 전자를 강조하면 과다분할이 되며 후자를 강조하면 과소분할되는 상충효과가 있다. 따라서 두 조건을 최대한 만족하는 영상분할 매개변수를 구하기 위해서는, 두 척도를 결합한 하나의 척도가 필요하다. F-score는 상충관계의 두 척도를 결합한 조화평균으로, 영상처리에서 객체탐지 모델의 정확도를 표시하는 정밀도(precision)와 재현율(recall)을 결합한 지표로 자주 사용한다. F-score는 두 척도의 단순합과 함께 두 척도 값의 크기와 범위를 고려하기 때문에, 내부 변이와 조각 이질성과 같이 상충관계인 두 척도를 결합하는 척도로 사용된다. 두 척도를 F-score로 결합하기 전에, 각각을 동일한 규모로 표시하는 정규화 과정을 거쳐야 한다. 또한 F-score 계산에서 각 척도에 가중치 α를 다르게 적용하여, 분석자가 원하는 척도의 비중을 조절할 수 있다.

Z는 조각의 내부 동질성과 외부 이질성 척도의 최고 값이 각각 과다분할과 과소분할을 나타낼 때, 두 척도의 단순합이 가장 클 경우에 최적의 영상 분할을 결과로 결정한다(Zhang et al., 2012). 결합 방법이 간단하면서 두 척도의 비중을 가중치 λ를 통하여 조절할 수 있는 장점이 있지만, 특정 매개변수에서 나타나는 조각의 내부 변이와 이질성 척도에 발생하는 특이점에 영향을 받을 수 있다. FGS(fast global score)는 조각의 내부 변이 척도가 최소값에서 과다분할이고, 조각 이질성 척도가 최고 값에서 과소분할을 나타낼 경우, 두 값의 차이가 가장 클 때 최적의 영상분할 결과로 판단한다(Zhao et al., 2020). F-score와 동일하게 두 척도의 정규화 과정이 필요하며, 가중치 w를 이용하여 두 척도의 비중을 다르게 설정할 수 있다.

2) 감독 평가 방법

감독 평가(supervised evaluation)는 영상에서 선정한 공간객체의 경계를 참조자료로 하여 영상분할 결과를 중첩하여 객체와 조각의 일치 여부를 평가하는 방법이 다(Zhang et al., 2008). 감독 평가는 공간객체의 경계가 상대적으로 명확한 도시지역 영상에 많이 적용하는 방법이다(Chung et al., 2018). 참조자료 선정에서 분석자의 주관을 배제할 수 없지만, 적용이 간단하고 빠른 평가 방법이다. Table 2는 원격탐사 영상에서 자주 사용되는 감독 평가 방법의 척도와 산출식을 보여준다.

Table 2. Measures of supervised evaluation on image segmentation

과다분할도(oversegmentation, OS), 과소분할도(under segmentation, US), 유클리드 거리(Euclidean distance, ED) 는 참조 공간객체에 상응하는 조각들이 일치하는 중복 면적의 비율과 조각의 개수로 과다분할과 과소분할의 정도를 나타낸다(Clinton et al., 2010). 중복면적의 비율에 따라 OS 와 US는 0과 1 사이의 값을 가지며, 참조객체에 상응하는 조각의 중복면적이 일치할수록, 두 척도의 값은 0에 가까워진다. OS 와 US를 결합한 유클리드 거리 ED도 낮을수록 좋은 영상분할 품질을 표시한다. Fig. 1 은 OS 와 US 산출과정을 보여주는데, (a) 의 과다분할 예시에서 각각의 조각 y₁, y₂, y₃는 중복면적이 참조객체보다 작기 때문에 OS가 높아지며, (b) 의 과소분할 예시에서는 조각 y₁의 중복면적이 참조 객체보다 크기 때문에 US가 높게 나타난다. 조각의 수와 중복면적이 참조객체 x₁ 와 유사하면 OS 와 US는 모두 0에 수렴하기 때문에, 가장 정확한 영상분할 결과가 된다. 참조자료 내 객체가 2개 이상이면, 각 조각에서 산출된 OS 와 US는 조각 수로 나눈 평균을 이용한다.

Fig. 1. Supervised evaluation measures of OS and US in two example cases.

품질도(quality rate, QR) 는 참조객체에 포함되는 조각의 중복면적뿐만 아니라, 각각의 면적의 차이도 결과에 반영하여 영상분할 품질을 평가한다(Weidner, 2008). 영상분할 결과가 과다분할 혹은 과소분할일 경우, 객체와 조각을 포함하는 전체면적은 중복면적보다 항상 크기 때문에 1에 가깝게 되므로, QR은 0에 가까운 값을 나타낼수록 좋은 영상분할 품질을 나타낸다.

3. 실험방법

영상분할 평가 방법을 비교하고 적용성 여부를 비교하기 위하여, 지표물의 분포와 공간객체의 특징이 다른 도시 및 산림지역의 무인기 영상을 사용하여 분석하였다.

1) 실험 영상

실험에 사용한 영상은 인천광역시 남동구에 위치한 인천대공원 지역의 무인기 영상에서, 지표물의 신호 특성과 분포가 상이한 도시 및 산림 영상을 발췌했다 (Fig. 2). 도시 영상은 단독주택, 슬라브 구조의 건물, 도로, 가로수 등이 혼재되어 있다. 산림 영상은 인천대공원 중 심에 위치한 관모산 지역으로 주로 신갈나무(Quercus mongolica), 아카시나무(Robinia pseudoacacia), 리기다소나무 (Pinus rigida), 스트로브잣나무(Pinus strobus) 등이 많이 분포하고 있다. 해당 산림에서는 또한 참나무시들음병으로 인한 피해목이 곳곳에서 관측되고 있다. 산림은 평균 3영급의 중경 목으로 이루어져 있으며, 일부 탐방로와 휴게소를 제외한 산림의 수관 울폐도는 70% 이상으로 밀집된 상태다.

Fig. 2. Mosaic image of the UAV multi-spectral image taken on August 13, 2018 over the Incheon Metropolitan Park including the test image of urban (a) and forest (b) area.

무인기 영상은 2018년 8월 13일 MicaSense사의 Red Edge-M 다중분광 카메라로 촬영하였으며, 약 300 m 고도에서 촬영하여 19.3 cm의 공간 해상도를 갖는다. 다중 분광카메라는 산림 및 식생 관측에 유리한 근적외선 및 적색 경계 밴드와 가시광선 밴드를 포함하여 모두 5개 분광 밴드로 가지고 있다. 충분한 중복도로 촬영된 낱장 영상은 정사 보정 및 모자이크 처리되어 지도좌표계에 등록하였다. 전체 영상에서 실험 대상으로 선정된 도시 및 산림 영상은 각각 1200×1200개의 화소로 이루어졌다. 다중분광 영상은 대기 영향을 최소화하기 위하여, 촬영 시점에 반사율 보정 판넬 측정과 수광량 센서를 영상 촬영과 동시에 작동하여 표면반사율 자료로 변환하였다(Lee et al., 2019).

2) 영상 분할

고해상도 원격탐사 영상에 적용할 수 있는 다양한 종류의 영상 분할 기법이 개발되었으나, 본 실험은 영상 분할 결과에 대한 평가방법을 비교할 목적이므로 비교적 간단한 영상 분할 기법을 적용했다. Achanta et al. (2012)이 개발한 SLIC(Simple Linear Iterative Clustering) 영상 분 할 기법은 두 개의 매개 변수만을 이용하는 비교적 간단한 영상분할 방법으로, 다른 영상 분할 방법보다 처리시간 대비 성능이 우수하다고 알려졌다. SLIC은 기본적으로 K-means 군집화와 유사하지만, 초기 군 집중심 배치 방법과 거리 측정 방법에 차이가 있다. 영상 내총 화소수(N)와 조각수(k)를 이용하여 결정된 간격(scale, S)마다 초기 군 집중심을 배치한다. 초기 군 집중심이 결정되면 영상 내 모든 화소는 2S 범위 이내에 존재하는 몇 개의 군 집중심과의 거리(D)가 가장 가까운 군집으로 할당된다. 각 군 집에 할당된 화소를 이용하여 군집중심이 갱신되어 다시 군집화 과정이 반복되며, 새로운 군집중심과 이전의 군집중심과의 차이가 수렴되면 군집화는 중단된다.

SLIC에서 D는 영상 좌표(x, y)상에서의 공간거리 (spatial distance, ds)와 화소값의 차이를 나타내는 분광 거리(color distance, dc)를 함께 이용하여 계산한다. 원래 SLIC은 흑백영상 또는 자연색 RGB영상을 토대로 간단한 분광거리를 계산하였으나, 본 실험에서는 5개 밴드의 다중분광영상에서 각 화소와 군집중심의 반사율 차이를 분광거리로 산출하였다. 실험에 적용된 공간거리와 분광거리는 아래와 같이 산출한다.

\(d_{s}=\left(x_{i}-x_{c}\right)^{2}+\left(y_{i}-y_{c}\right)^{2}\)       (1)

\(d_{c}=\sqrt{\sum_{b=1}^{5}\left(\rho_{i b}-\rho_{c b}\right)^{2}}\)       (2)

\(D=d c_{\text {norm }}+\mathrm{m} * d s_{\text {norm }}\)       (3)

여기서, x_c, y_c는 군집중심의 좌표, x_i, y_i는 화소의 i의 좌표, ρ_cb는 밴드 b에서 군집중심의 반사율, ρ_ib는 밴드 b의 화소 i의 반사율이 된다. 거리 D는 공간거리와 분광 거리의 합이며, m은 각 조각의 밀집도(compactness, m) 매개변수다. 매개변수 m은 공간거리와 분광거리의 상 대적 가중치이며, D 계산에서 공간거리의 가중치 m을 최대로 하면 각 군집의 형태는 일정한 크기의 육각형에 가깝지만, 분광거리의 가중치가 커질수록 군집의 모양이 육각형에서 벗어난 자유 형태를 갖게 된다. D 계산에서 단위가 다른 dc와 ds를 각각 0과 1사이 값으로 정규화(dc_norm, ds_norm)하여 사용한다. 밀집도 m이 1보다 작을수록 분광거리의 가중치가 높아져서, 영상분할에서 화소값의 영향을 많이 받는다.

3) 영상분할 매개변수 조합

도시 및 산림영상을 분할하기 위하여 적정 매개변수 조합을 적용하고, 매개변수 조합에 따른 영상분할 결과를 평가하고자 하였다. SLIC은 조각의 크기(scale)와 밀집도(m)의 두 매개변수를 필요로 하는데, 해당 영상에 분포하는 주요 공간객체의 크기와 분광특성을 고려하여 적정 범위의 매개변수를 적용했다. 도시영상은 주로 주택과 건물로 이루어져 있으며 또한 가로수와 같은 작은 객체도 포함하고 있기 때문에, 조각 크기를 결정하는 매개변수 scale은 15부터 70까지 5 간격으로 모두 12개의 값을 적용했다. 산림영상은 임목의 수관 크기를 고려하여 10부터 42까지 4 간격으로 9개의 값을 적용했다. 밀집도 m은 분광거리와 공간거리의 가중치가 같은 1부터 분광거리에 더 큰 가중치를 부여한 0.6과 0.2의 세 가지 값을 적용하였다

4) 무감독 평가

본 실험에서는 조각의 내부변이를 나타내는 분산(V), 면적가중 분산(WV), 공분산(COV)의 세 가지 척도를 적용했다. 조각 간 이질성을 나타내는 척도로는 인접한 조각과의 차이를 계산하는 MI 및 BSH와, 별도의 RAG 처리가 필요 없이 각 조각의 이질성을 계산하는 DTNP와 D를 포함하여 모두 네 가지를 적용하였다. 조각의 내부 변이와 외부 이질성을 결합한 지표로 F-score를 이용하여 최적의 매개변수 값을 분석했다.

5) 감독 평가

감독 평가를 위해서는 정확한 경계선을 구획할 수 있는 참조 공간객체를 선정해야 한다. 도시영상을 구성하는 주요 공간객체인 단독주택, 연립주택, 상가 건물과 상대적으로 크기가 작은 도로 시설물과 가로수도 일부 포함하여 총 35개의 객체의 경계선을 영상에서 추출하여 참조자료를 구성했다. 산림영상에서는 개체목의 수관 형태 및 동질성을 고려하여 두 그룹으로 나누어 참조자료로 선정했다. 개체목의 수관 경계가 비교적 뚜렷하고 수관의 분광특성이 유사한 화소들로 구성된 리기 다소나무, 낙엽송, 아카시나무, 밤나무에서 모두 30본의 개체목 수관을 참조자료로 추출하였다(Forest-1). 신갈 나무, 상수리나무, 굴참나무의 수관은 잎이 부분적으로 뭉쳐 있고, 잎 사이로 그늘이 존재하는 등 이질적인 요소로 구성된 수관 형태를 보인다. 참나무류의 수관 특성에 따른 영상분할 결과의 차이를 평가하기 위하여, 참나무류에 해당하는 25본의 개체목과 참나무시들음병에 감염된 피해목 5본을 포함하여 모두 30본의 수관 경계를 획득하여 별도의 참조자료(Forest-2)를 준비했다.

감독 평가는 분할 결과와 참조자료를 중첩하여 중복된 면적과 분할된 조각의 수에 따라 계산되는, 과다분 할도(OS), 과소분할도(US), 유클리드 거리(ED), 품질도 (QR)의 네 가지 척도를 이용했다.

4. 결과 및 토의

1) 무감독 평가 결과

영상분할의 무감독 평가는 기본적으로 분할된 조각 내부변이가 낮고, 조각간 차이가 크면 좋은 영상분할 결과로 간주한다. 먼저 도시영상 및 산림영상에서 생성된 36가지(12scales×3밀집도) 및 27가지(9scales×3밀집도) 영상분할 결과를 대상으로 조각의 내부변이와 이질성 척도를 비교하였다. Fig. 3은 도시영상과 산림영상에서 세 가지 내부변이 척도를 0부터 1사이 값으로 정규화한 결과를 보여준다. F-score는 상충관계인 두 척도의 값이 클수록 높은 값을 나타내기 때문에, 내부변이는 최소값 이 아닌 최대값을 기준으로 정규화를 수행하여 값이 클수록 동질성이 높도록 했다. 먼저 조각의 크기(scale)가 커지면서 내부 동질성은 낮아지는 경향을 보여주는데, 세 가지 내부변이 척도인 V, WV, COV는 큰 차이가 없이 나타났다. 계산과정이 가장 간단한 평균 분산인 V와 공분산을 이용한 COV를 사용해도 차이가 없으며, 심지어 분산을 각 조각의 면적에 따라 가중치를 부여하여 계 산한 WV를 적용해도 내부변이를 나타내는 데 큰 차이를 보이지 않았다. 세 가지 내부변이 척도는 도시영상 과 산림영상에서 모두 유사하게 나타났다.

Fig. 3. Intra-segment homogeneity measured by V, WV, COV for the segmentation results using different scale and compactness parameters.

영상분할 결과는 밀집도 m에 따라 도시와 산림영상에서 모두 뚜렷한 차이를 보여준다. 밀집도 m이 낮아지면, 분광거리의 가중치가 높아져 유사한 화소끼리 결합되는 효과가 증가하므로, 조각 내부 동질성은 높아졌다. 반면에 m이 1인 경우는 공간거리와 분광거리의 가중치가 같으므로 내부 동질성은 감소하는 경향성을 보였다. SLIC은 scale과 밀집도의 두 가지 매개변수를 이용하므로, 주어진 scale에서 분광거리를 강조하여 m을 낮게 적용하면 내부 동질성이 높아지는 영상분할 결과를 얻을 수 있었다.

조각간 이질성 척도를 비교하기에 앞서, 척도간 차이를 직접 비교하기 용이하도록 정규화 작업을 적용했다. MI와 BSH는 값이 낮아질수록 이질성이 증가하는 반면에, DTNP와 D는 값이 클수록 이질성이 증가한다. 따라서 MI와 BSH는 최대값을 기준으로 정규화를 적용하여, D 및 DTNP와 동일하게 값이 클수록 이질성이 증가하도록 하였다.

Fig. 4는 도시 및 산림영상에서 생성된 모든 영상분할 결과를 대상으로 조각간 이질성을 네 가지 척도로 평가한 결과를 보여준다. 네 가지 척도는 scale이 증가하면 다른 조각과의 차이가 커지는(이질성이 높아지는) 양상을 보여준다. 최대 이질성은 대부분 가장 큰 scale에서 얻어지지만, 중간 구간에서 최대값에 근접한 국소적인 최대값을 보여주었다. 도시영상의 조각간 이질성은 D 를 제외한 세 가지 척도에서 scale이 45에서 60 사이에서 국소적인 최대값을 나타냈다. 산림영상에서는 scale이 26에서 38사이에서 국소적인 최대값을 보여주며, 특히 scale 26에서 높은 조각간 이질성을 보여주었다. 조각간 이질성은 조각 내부변이와 서로 상충되므로, 조각간 이질성만으로 최적의 매개변수를 선정할 수 없다. 조각의 크기가 커지면 조각간 이질성은 당연히 증가하므로, 도시 및 산림영상에 적용한 scale보다 큰 값의 scale을 적용하면 이질성은 더욱 증가한다.

Fig. 4. Inter-segment heterogeneity measured by MI, BSH, DTNP, D for the segmentation results in the urban (a) and forest area (b).

네 가지 조각 간 이질성 척도는 밀집도(m) 매개변수에 의한 차이가 다르게 나타났다. 네 척도에서 모두 화소값에 의한 분광거리에 높은 가중치를 부여한 밀집도 (m=0.2)에서 가장 좋은 조각간 이질성을 보여준다. Fig. 3의 조각 내부변이 평가와 마찬가지로 분광거리의 가중치가 높아지면, 유사한 화소끼리 결합하여 조각을 형성하게 되므로 내부변이가 낮아지고 조각간 차이가 커짐을 확인할 수 있다.

특히 인접 조각들을 찾아내는 처리 과정(RAG)을 통하여 각 조각과 이웃한 조각의 차이를 계산한 BSH는 밀집도에 따른 차이를 뚜렷하게 보여준다. 반면에 이웃한 조각의 정보를 전혀 고려하지 않고 전체 영상과의 차이에 기반하여 계산된 D는 밀집도에 의한 차이가 가장 미미하게 나타났다. MI는 BSH와 마찬가지로 RAG을 이용하여 계산하지만, 영상 전체 평균과의 차이를 함께 고려하므로 BSH 보다 밀집도에 의한 차이가 상대적으로 작았다. DTNP는 인접 조각을 찾는 RAG을 이용하지 않고 산출되지만, 각 조각을 둘러싼 화소들과 차이를 기반으로 이질성이 계산되므로, 밀집도에 의한 차이가 BSH와 마찬가지로 크게 나타났다.

영상분할 결과에 대하여 조각 내부변이와 이질성 척도를 결합한 F-score를 비교한 결과, 모든 조합에서 공통적으로 밀집도가 낮은 0.2에서 가장 높은 값을 보여주었다. 이는 밀집도가 낮으면 조각 내부의 동질성과 조각 간 이질성이 모두 높기 때문에, 높은 F-score를 보였다. 따라서 F-score 비교는 밀집도 m에 0.2를 적용한 분할 결과만을 대상으로 비교하였다. Fig. 5은 도시와 산림영 상을 분할한 결과에 대하여 세 가지 내부변이 척도와 네 가지 조각 간 이질성 척도를 적용하여 모두 12개 조합에서 산출한 F-score의 분포를 보여준다. 비록 12개 조합 별로 각 분할 결과의 F-score 분포를 그렸지만, 흡사 네 개의 선으로 보일 정도로 조각간 이질성 척도에 의한 영 향이 절대적이다. 즉 F-score 산출에서 조각 내부변이에 의한 차이는 매우 작게 나타났다. Fig. 3에서 보듯이 조각의 내부 동질성은 scale 매개변수에 따라 거의 선형으로 감소하므로, F-score는 조각 간 이질성 척도에 좌우됨을 알 수 있다. 이는 F-score 계산에서 조각 내부변이와 이질성의 가중치를 동일하게 적용한 결과다. 영상분할 목적에 따라 조각 내부변이가 중요하거나 반대로 조각 간 이질성이 강조될 필요가 있으면, F-score 산출에서 내부변이와 조각간 이질성에 부여하는 가중치(α)를 조정하면, 그에 합당한 F-score를 얻을 수 있다.

Fig. 5. Distribution of F-scores that combine intra-segment homogeneity and inter-segment heterogeneity for the segmentation results with different scales.

F-score 그래프는 scale에 따라 종 모양의 포물선 형태를 띠고 있는데, 최고 F-score는 과소분할과 과다분할의 중간에서 나타났다. 도시영상은 scale이 40에서 50 사이 에서 높은 F-score를 보이며, scale 55를 기점으로 다시 감소한다. F-score가 높은 상위 5개 분할 결과는 대부분 scale 45를 적용했을 때 얻어졌으며, 최고 F-score는 WV 와 DTNP을 이용하여 평가했을 때 얻어졌다. 그러나 상위 5개 F-score의 범위는 0.796부터 0.750사이로 절대적 차이가 미미하다. 높은 F-score는 조각 이질성 척도를 DTNP와 BSH로 사용하여 평가했을 때 나타났다. 조각 이질성 척도 D를 적용하면 다른 평가 조합과 상이한 결과를 보여주었다. D를 적용하여 산출한 최고 F-score는 scale 55에서 나타났는데, 이는 D가 인접 조각과의 차이가 아니라 영상의 모든 조각들의 평균과의 차이를 나타내기 때문이다.

산림영상의 분할결과는 도시영상과 다르게 D를 제외한 나머지 평가 조합에서 scale 26에서 최고 F-score를 보였다. 이는 산림을 구성하는 주요 객체인 임목의 수관크기에 해당하는 scale이며, 주택과 건물로 이루어진 도시영상과 구별되는 적정 매개변수의 특징을 보여준 결과다. 산림에서도 F-score가 높은 상위 5개 평가 결과는 모두 scale 26를 적용했을 때 얻어졌으며, 조각 간 이질성 척도는 도시영상과 마찬가지로 DTNP와 BSH를 이용했을 때 크게 나타났다.

Table 3은 각 평가 조합에서 최고 F-score를 보인 영상 분할 결과에 적용된 scale를 보여준다. 도시영상의 분할 결과 평가에서 최고 F-score는 scale 45에서 가장 많이 나타났으며, 그 다음으로는 scale 50에서 나타났다. 조각 이질성 척도 D를 사용한 평가 조합에서는 최고 F-score가 scale 55에서 나타났다. 산림영상의 분할 결과에 대한 평가에서 최고 F-score는 D를 사용한 조합을 제외하면 모두 scale 26에서 나타났다. 조각 간 이질성 척도 D를 이용한 평가조합에서는 최고 F-score가 scale 34로, 도시영상 결과와 마찬가지로 다른 평가조합보다 조각이 크게 분할되었을 때 높은 평가점수를 얻었다.

Table 3. The highest F-score and corresponding scale(parentheses) obtained from each of the 12 combinations of three intra-segment homogeneity and four inter-segment heterogeneity measures applied to the segmentation results with difference scales

조각 이질성 평가에서 D를 제외한 나머지 척도는 대부분 같은 scale에서 최고 F-score를 보여주었다. 특히 산림에서는 D를 제외한 나머지 조합에서 모두 scale 26에서 최고의 F-score를 보여주었다. 네 가지 조각 이질성 평가 척도 중, BSH와 DTNP가 비교적 높은 F-score를 보여주었고, D는 가장 낮은 F-score를 보여준다.

세 가지 조각간 이질성 평가 척도는 각 조각과 인접한 조각 및 화소와의 차이를 계산한 결과지만, D는 각 조각과 전체 영상과의 차이를 나타내기 때문에 조각간 이질성을 나타내는 척도로는 다소 부적합한 결과를 보여주었다. Table 3에서 볼 수 있듯이 세 가지 내부변이 척도의 평균은 도시 및 산림영상 분할 결과에서 거의 차이가 없으므로, 어느 것을 사용해도 최적의 매개변수를 구하는 F-score에 큰 영향을 미치지 않았다. 도시영상 분할 결과에서 각 조각의 면적으로 분산을 조정한 WV 를 적용했을 때, 최적의 scale이 모두 45로 나타났다.

영상분할 결과의 무감독 평가는 다양한 조각 내부변이 척도와 외부변이 척도가 개발되었지만, F-score에 의하여 산출한 최적의 영상분할 매개변수는 척도에 따라 큰 차이가 나타나지 않았다. 특히 세 가지 조각 내부의 동질성을 나타내는 척도인 V, WV, COV는 어느 척도 를 사용해도 최적 매개변수는 차이가 없었다. 계산과 정의 효율성을 감안하면 V와 COV가 적합한 선택일 수 있으나, 각 조각의 면적을 고려하지 않기 때문에 아주 작은 크기의 조각들에 의하여 다소 편중된 평균 분산이 될 수 있다. 비록 본 연구에 적용된 표본 영상에서는 세 가지 내부변이 척도에 따른 차이가 없었지만, 도시 및 산림 등이 복잡하게 혼재된 영상의 분할에서는 각 조각의 면적으로 가중평균한 WV가 전체 조각의 내부 동질성을 나타내는 척도로 보다 나은 선택이 될 수 있다.

조각 간 이질성을 나타내는 척도로 네 가지가 적용되었는데, 각 조각에 이웃하는 조각 또는 화소와의 차이를 계산한 MI, BSH, DTNP는 거의 동일한 결과를 보여주었다. 영상분할 결과에 대한 무감독 평가에서 세 가지 이질성 척도가 최적의 매개변수 선정에 동일한 결과를 제공한다면, 가장 간단하게 산출할 수 있는 척도가 바람직할 것이다. MI와 BSH를 계산하기 위해서는 각 조각마다 인접한 조각을 찾아야 하는 RAG 처리과정을 거쳐야 한다. 반면에 DTNP는 각 조각을 둘러싼 화소와의 차이를 계산하므로, 별도의 인접 조각을 찾는 과정이 필요 없이 간단하고 빠르게 조각간 이질성을 산출할 수 있다.

조각간 이질성 척도의 계산 효율성을 비교하기 위하여 일반 PC(i7-8700 CPU와 16GB memory)에서 실험영 상을 대상으로 처리시간을 측정하였다. 영상 전체 조각의 평균 분산과의 차이를 계산하는 D의 처리시간이 1~3초로 가장 빠르며, 사각형 경계에 포함된 이웃 화소 와의 차이를 계산하는 DTNP의 처리시간은 1.3~5초로 측정되었다. 반면에 인접한 조각을 찾는 RAG 과정이 필요한 MI와 BSH의 처리시간은 350~1400초로 약 300 배의 연산 시간이 소요되었다. 따라서 동일한 평가 결과를 얻을 수 있다면, 처리 시간이 훨씬 절약되는 DTNP가 보다 효과적인 선택이 될 수 있다.

2) 감독 평가 결과

영상에서 직접 선정한 공간객체를 참조자료로 하여, 영상분할 결과 얻어진 조각과의 일치 여부를 측정하는 감독 평가는 비교적 간단한 최적 매개변수 도출 방법이 라고 할 수 있다. 즉 감독 평가는 선정된 공간객체와 분할된 조각의 비교이므로, 일치하는 면적과 조각의 개수에 따라 평가 결과가 결정된다. Table 4는 도시영상과 산림영상에서 추출한 공간객체를 기준으로 산출한 네 가지 감독 평가 척도의 값을 보여준다. 무감독 평가에서는 영상분할 매개변수인 밀집도 m이 낮을수록 최종 평 가 지표인 F-score가 높아지므로, m=0.2을 적용한 분할 결과만을 비교하였다. 그러나 감독 평가는 공간객체와 해당 조각과의 비교이므로, 각 조각이 형성되는 과정에서 화소값에 의한 분광거리의 영향을 분석하고자 밀집도를 구분하여 평가하였다.

Table 4. Supervised evaluations on the segmentation results with several parameters in the urban and the forest area

도시영상 분할 결과에 대한 감독 평가에서 가장 높은 정확도(낮은 ED 및 QR)를 보여주는 매개변수 조합은 scale 45, 밀집도 0.2로 나타났다. 이는 앞의 무감독 평가와 거의 같은 결과로서, scale 45에서 과다분할 및 과소 분할 정도가 가장 낮게 나타났다. 영상분할에서 화소값의 변이를 최대한 고려하여 분광거리의 비중을 높게 한 밀집도 0.2에서 가장 높은 정확도가 나타나는 이유는 도시영상의 공간객체에 해당하는 참조 객체인 주택 지붕 및 건물 옥상에 해당하는 화소들의 변이가 낮아 조각의 외부경계와 공간객체의 경계가 잘 일치하기 때문이다.

Forest-1은 개체목 수관이 비교적 유사한 화소로 구성된 수종을 참조자료로 이용했는데, 감독 평가 결과는 무감독 평가와 동일하게 scale 26, 밀집도 0.2에서 가장 높은 정확도를 나타냈다. 이는 앞의 도시영상의 감독 평 가와 마찬가지로 동질의 화소로 구성된 개체목의 수관 경계와 조각의 외부 경계가 잘 일치하기 때문이다. 개체목 수관이 상대적으로 이질적인 요소로 구성된 참나 무류를 참조자료로 한 Forest-2에 대한 감독 평가 결과는 scale 26와 밀집도는 1.0을 적용한 분할에서 가장 높은 정확도를 보여주었다.

Forest-2에서 밀집도를 높게(m=1.0) 적용하여 분할한 결과가 가장 높은 정확도를 보이는 이유는, 참나무류 수 관이 분광특성이 다른 이질적인 요소로 구성되어 있기 때문이다. 밀집도를 낮게 하여 분광거리 가중치를 높게 적용하면, 유사한 값을 갖는 화소끼리 뭉치기 때문에 이질적 요소로 구성된 수관은 많은 조각으로 과다분할 될 수 있다. Fig. 6은 Forest-2에 참조자료로 사용된 신갈나 무 개체목 수관의 경계(점선)와, scale 26에서 세 가지 밀집도를 적용하여 분할한 조각의 경계(실선)을 중첩한 결과를 보여준다. 밀집도 m=0.2를 적용하면 분광거리의 가중치가 공간거리보다 5배이므로, 유사한 화소값을 갖는 조각이 형성되어 하나의 개체목 수관이 많은 조각으로 분할된다. 반면에 밀집도 m=1.0을 적용하면 분광거리와 공간거리의 비중이 동일하게 적용되므로, 다소 이질적인 분광특성을 갖는 요소도 공간거리에 따라 하나의 조각으로 합쳐지는 효과를 얻을 수 있다. 따라서 높은 밀집도를 적용한 분할 결과, 개체목 수관내에 포함된 조각의 수도 작고 조각의 외부경계도 수관의 경계와 상당히 일치하는 결과를 보여주었다.

Fig. 6. Comparison between an oak tree crown and image segments obtained by applying three compactness (m) of (a) 0.2, (b) 0.6, (c) 1.0.

참나무류와 같은 이질적 요소를 포함한 특정 공간객체를 탐지하려면 밀집도를 높게 하여 분광거리의 영향 을 최소화하여 분할해야 한다. 반면에 모든 수종을 분류하고자 한다면, 동질적인 수관특성을 가진 수종과 이질적 수관특성을 가진 수종의 구성에 따라 적절한 밀집도 선정이 필요하다. 결국 영상분할의 감독 평가는 영상분할 목적에 따라 기준이 되는 참조자료 선정이 필요하다. 특히 특정 공간객체를 탐지하고자 할 경우, 해당 공간객체에 가장 적합한 영상분할 매개변수를 감독 평가를 통하여 도출할 수 있을 것이다.

3) 정성적 평가 결과

본 실험에서 사용한 도시 및 산림영상의 분할 결과에 대한 무감독 및 감독 평가 결과, 선정된 최적의 매개변수는 거의 동일한 결과를 나타냈다. 그러나 F-score 및 감독 평가에 의한 정확도가 적정한지 여부를 검증하고자, 분할 결과에 대한 육안 판독을 통하여 정성적인 평가를 수행했다.

Fig. 7은 도시지역 자연색 합성영상과 산림의 근적외선 합성영상 위에 scale을 다르게 적용하여 분할된 조각들을 중첩한 결과를 보여준다. 판독 대상은 무감독 및 감독 평가 결과 선정된 최적의 scale 및 주변 scale을 적용한 분할 결과를 비교했으며, 매개변수 밀집도는 두 영상에서 모두 분광거리가 강조된 m=0.2를 적용한 결과다. 도시영상에서는 무감독 및 감독 평가에서 최적의 매개 변수로 선정된 scale 45를 적용한 분할 결과를 scale 35와 55를 적용한 결과와 비교했으며, 주택, 건물 옥상, 공장, 가로수와 같이 경계가 뚜렷한 공간객체를 중점적으로 판독했다. 판독은 분할된 조각의 외부 경계와 공간객체의 경계의 일치 여부와 공간객체 내부에 포함되는 분할 조각의 수를 기준으로 했다.

Fig. 7. Qualitative visual evaluation on the segmentation results by scale parameters.

Fig. 7에서 볼 수 있듯이, 도시영상에 분포하는 대부분의 공간객체는 지붕 및 건물 옥상과 같이 유사한 분광특성을 갖고 있기 때문에, 하나의 객체에서 과다분할 문제가 크게 나타나지 않는다. 매개변수 scale 45를 적용한 결과는 건물의 경계와 분할된 조각들의 외부 경계가 가장 잘 일치한다. 매개변수 scale 35를 적용한 분할 결과는 외부 경계가 어느 정도 일치하고 있으나, 조각이 과다하게 분할되었음을 볼 수 있다. 조각을 크게 하고자 scale 55를 적용한 분할 결과는 객체에 포함된 조각의 수는 줄었지만, 객체 경계와 불일치하는 부분이 많이 나타났다. 건물이 아닌 가로수는 영상에서 분포하는 비율이 매우 낮으므로, 판독에 적용된 scale에서는 개체목의 수관보다 큰 여러 그루의 나무가 하나의 조각으로 분할된 결과를 볼 수 있다.

산림영상에서는 무감독 및 감독 평가에서 최적의 매개변수로 선정된 scale 26을 적용한 분할 결과와 scale 22 와 30을 적용한 결과를 비교했다. 개체목 수관이 동질적 분광특성을 갖는 리기다소나무, 아카시나무와 수관특성이 이질적인 참나무류를 함께 비교했다. 매개변수 scale 26을 적용하여 분할된 조각들의 외부 경계가 개체 목수관 경계와 가장 일치하고 있음을 볼 수 있다. 특히 수관의 분광특성이 매우 동질적인 아카시나무는 개체목의 수관이 하나로 분할된 조각의 경계와 거의 일치하 고 있다. 그러나 수관이 매우 이질적인 요소로 구성된 신갈나무 및 참나무시들음병에 감염된 피해목에서는 scale 26를 적용한 결과는 많은 부분에서 경계 불일치를 볼 수 있다. 물론 scale 26을 적용한 결과는 분할된 조각 수가 scale 22를 적용한 결과보다 적으며, scale 30을 적용한 결과보다 많게 보인다. 판독에 사용된 분할결과는 밀집도 매개변수 m=0.2를 적용하여 분광거리의 비중을 높게 했기 때문에 참나무 수관에서 이러한 경계 불일치가 많이 나타났다. 앞의 Fig. 6에서 설명했듯이 이질적 요소가 혼재된 참나무 수관의 경우, 매개변수 m을 1로 했을 때 감독 평가 정확도가 높게 나타나며 육안 판독 결과 또한 m=1.0을 적용한 결과가 가장 우수한 분할결과를 보여준다.

영상분할 결과에 대하여 육안으로 경계 일치 여부와 조각 수를 기준으로 판독한 결과, 무감독 및 감독 평가 를 통하여 선정된 최적의 매개변수와 일치하는 결과를 보여주었다. 최적의 매개변수 선정을 위한 무감독 및 감독 평가 방법은 F-score 및 정확도와 같은 숫자만을 사용한다. 그러나 다양한 공간객체의 크기, 형태, 분광특 성에 따라 분할 결과는 숫자로 평가하는 결과와 다를 수 있다. 예를 들어 다양한 수관 특성을 가진 산림에서 특정 수종을 탐지하거나 또는 모든 수종을 개체목 단위로 분류하고자 한다면, 무감독 및 감독 평가와 함께 분할 결과에 대한 정성적인 평가도 함께 수행되어야 한다.

5. 결론

고해상도 영상은 관심 대상인 공간객체보다 훨씬 작은 크기의 화소 때문에, 기존의 화소기반 처리 방법을 그대로 적용하는 데 문제가 있다. 영상분할은 객체기반 영상분석에서 반드시 필요한 처리 과정이며, 영상분할 결과에 따라 최종 분석결과의 정확도가 좌우된다. 본 연구에서는 영상분할 결과에 대한 무감독 평가와 감독평가를 위한 여러 척도를 비교하였고, 정량적으로 제시된 최적의 매개변수에 의한 영상분할 결과를 육안 판독에 의한 정성적 평가로 검증하였다.

무감독 평가는 기본적으로 분할된 조각의 내부변이가 낮고 조각간 이질성이 큰 경우를 가장 우수한 분할 결과로 판단한다. 따라서 무감독 평가는 토지피복 분류 및 수종 분류와 같이 영상 전체를 분류하기 위한 영상 분할에 적합한 평가 방법이라고 할 수 있다. 감독 평가는 평가 기준이 되는 참조 공간객체를 선정하는 과정에서 분석자의 주관을 배제할 수 없지만, 비교적 빠르고 효과적으로 적용할 수 있는 평가 방법이다. 특히 영상에서 특정 공간객체를 탐지하고자 할 경우, 해당 공간 객체의 크기 및 분광특성을 고려한 감독 평가는 매우 효과적인 영상분할 평가 방법이 될 수 있다.

인천대공원 지역의 고해상도 무인기 다중분광영상을 이용하여 영상분할 결과에 대한 무감독 평가에서 세 가지 조각 내부변이 척도와 네 가지 조각간 이질성 척도를 조합하여 평가했으나, 가장 우수한 분할결과를 나타내는 최고 F-score는 평가 척도에 관계없이 대부분 동일한 매개변수 조합에서 나타났다. 특히 조각간 이질성을 나타내는 MI와 BSH와 같이 많은 처리시간을 요구하는 평가 척도와 비교적 간단한 DTNP는, 최적의 매개변수를 구하는 데 큰 차이가 없었다. 따라서 인접 조각을 찾는 RAG 처리과정을 요구하지 않으면서, 조각간 이질성을 잘 나타내는 DTNP를 사용하는 조합이 최적의 무 감독 평가 방법으로 사용될 수 있다.

분할 결과에 대한 감독 평가 및 육안에 의한 정성적 평가 결과는 무감독 평가에 의하여 선정된 최적 매개변수와 동일하게 나타났다. 감독 평가 및 육안에 의한 정성적 평가는 간단하게 시험적으로 적용할 수 있는 효과적인 방법이다. 그러나 감독 평가와 정성적인 평가를 적용하려면 기준이 되는 참조 공간객체를 선정하는 과정에서 분석자의 주관을 최대한 배제하는 방안이 마련되어야 한다.

일반적으로 가장 좋은 영상분할 결과는 존재하기 어렵다. 영상분할은 고해상도 영상을 분석하기 위한 중간 단계이며, 활용목적에 따라 최적의 영상분할 결과를 얻기 위한 평가방법은 다르게 적용되어야 한다. 영상 전체를 정해진 등급으로 분류하기 위한 영상분할이라면, 조각의 내부변이가 작고 조각간 차이가 커야 하는 무감독 평가방법이 보다 적합하다. 반면에 영상에서 특정 공간객체를 탐지하기 위한 영상분할이라면, 특정 공간객체와 일치하는 조각의 수가 작고 경계선의 일치 여부를 측정하는 감독 평가 또는 정성적 평가가 보다 효과적인 방법이 될 수 있다. 영상분류 또는 공간객체 탐지를 위한 표본영상을 추출하여, 목적에 맞는 영상분할 평가를 적용하면 최적의 매개변수를 선정할 수 있을 것이다. 객체기반 영상분석을 위한 영상분할 기법은 인공지능 기법을 포함하여 날로 발전하고 있으며, 이와 함께 영상 분할 품질을 평가할 수 있는 효과적이고 효율적인 방법이 충분히 고려되어야 한다.