A Study on Class Sample Extraction Technique Using Histogram Back-Projection for Object-Based Image Classification

객체 기반 영상 분류를 위한 히스토그램 역투영을 이용한 클래스 샘플 추출 기법에 관한 연구

Abstract

Image segmentation and supervised classification techniques are widely used to monitor the ground surface using high-resolution remote sensing images. In order to classify various objects, a process of defining a class corresponding to each object and selecting samples belonging to each class is required. Existing methods for extracting class samples should select a sufficient number of samples having similar intensity characteristics for each class. This process depends on the user's visual identification and takes a lot of time. Representative samples of the class extracted are likely to vary depending on the user, and as a result, the classification performance is greatly affected by the class sample extraction result. In this study, we propose an image classification technique that minimizes user intervention when extracting class samples by applying the histogram back-projection technique and has consistent intensity characteristics of samples belonging to classes. The proposed classification technique using histogram back-projection showed improved classification accuracy in both the experiment using hue subchannels of the hue saturation value transformed image from Compact Advanced Satellite 500-1 imagery and the experiment using the original image compared to the technique that did not use histogram back-projection.

고해상도 원격탐사 영상을 이용하여 지표면을 모니터링 하기 위해서 영상 분할 및 감독 기반의 분류 기법이 널리 사용된다. 다양한 객체를 분류하기 위해서는 각 객체에 해당하는 클래스를 정의하고 각 클래스에 속하는 샘플들을 선택하는 과정이 필요하다. 클래스 샘플을 추출하는 기존의 방법은 각 클래스 별로 유사한 밝기값 특성을 가지는 충분한 개수의 샘플을 선택해야 한다. 이 과정은 사용자의 육안 식별에 의존하는 과정으로 많은 시간이 소요되며 사용자에 따라 추출되는 클래스의 대표 샘플들이 달라질 가능성이 높고 결과적으로 분류 성능이 클래스 샘플 추출 결과에 크게 영향을 받게 된다. 본 연구에서는 클래스 샘플 추출 시 히스토그램 역투영 기법을 적용하여 샘플 추출 시 사용자의 개입을 최소화하고 클래스에 속하는 샘플들의 밝기값 특성이 일관성을 가지는 영상 분류 기법을 제안한다. 제안한 히스토그램 역투영을 이용한 분류 기법은 차세대중형위성 1호(Compact Advanced Satellite 500-1) 영상의 색상 서브채널을 이용한 분류 실험과 원영상을 이용한 분류 실험에서 히스토그램 역투영을 사용하지 않은 기법에 비해 모두 향상된 분류 정확도를 보였다.

1. 서론

최근 다양한 종류의 국내외 고해상도 위성영상의 활용이 가능함에 따라 고해상도 위성 영상을 이용한 영상분류 및 변화 탐지 분야에 대한 관심도 크게 증가하고 있다. 위성영상의 공간해상도가 향상되면서 영상에 존재하는 관심 대상을 객체 단위로 표현하고 분석하는 객체 기반 영상 분석(object based image analysis, OBIA)의 연구가 활발하게 수행되었다(Blaschke, 2010; Blaschke et al., 2014; Kucharczyk et al., 2020; Ye, 2021). 최근에는 딥러닝 기술의 발전과 함께 의미론적 영상 분할 기법을 이용하여 원격 탐사 영상에 포함된 건물 객체를 추출하기 위한 다양한 연구들이 수행되었다(Ye et al., 2019; Foivos et al., 2020; Li et al., 2021; Seong and Choi, 2021; Wang and Fang, 2022; Ye et al., 2022). 딥러닝 기반의 의미론적 영상 분할 기법을 적용하기 위해서는 충분한 규모의 데이터셋 사전 구축과 학습 과정이 필요하고 현업에서 고해상도의 위성영상을 이용하여 도심 지역의 건물 등과 같은 주요 객체를 정확하게 분류하기 위해서는 기술적으로 해결해야 할 부분들이 여전히 존재하고 있다.

반면에 딥러닝을 이용하지 않는 객체 기반 영상 분석을 이용한 분류 기술은 학습을 위한 데이터셋의 사전 구축이 필요가 없고 분석 대상 영상에서 객체 클래스별로 충분한 개수의 샘플을 추출하여 영상을 분류한다. 도심지역 객체 기반 영상 분석의 주요 분석대상 중 하나인 건물의 경우, 도로, 식생 등 다른 유형의 객체로부터 건물 객체를 구분하는 것과 함께 건물 객체 클래스 안에서도 다양한 색상을 가지는 건물이 다수 존재하는 점을 분류 과정에서 고려해야 한다. 다양한 색상을 가지는 건물 객체의 분류를 위해 Ye (2021)는 RGB 원영상을 hue saturation value (HSV) 영상으로 변환한 후에 HSV 영상의 색상(hue) 채널을 일정 간격의 서브채널로 분할한 후에 각 서브채널 영상을 분류하고 전체 분류 결과를 객체 단위로 융합하는 분류 방법을 제안하였다. 이 방법은 다양한 색상을 가지는 건물 객체의 분류에 효과적인 방법이나 원영상을 다수의 색상 서브채널로 분할한 후에 각 서브채널 영상마다 객체 클래스를 정의하고 샘플을 추출해야 하기 때문에 사용자가 여러 서브채널에서 다수의 샘플을 추출해야 하는 부담이 발생한다.

본 논문에서는 객체기반의 영상 분류 과정에서 클래스 샘플 추출 중에 사용자의 수작업을 줄이고 클래스 샘플의 분광 특성이 일관성을 가지는 영상 분류 기법을 제안한다. 본 논문은 2장에서 클래스 샘플과 밝기값 균일성에 대한 개념과 히스토그램 역투영을 이용한 샘플 영역 반자동 검출 방법을 소개한다. 3장에서는 차세대중형위성1호 영상을 이용하여 제안한 방법의 정성적 및 정량적 성능 분석 결과를 제시하고 4장에서는 본 논문의 결론을 제시한다.

2. 연구 방법

2.1. 클래스 샘플과 밝기값 균일성

객체 기반의 영상 분류에서 객체를 생성하기 위해 먼저 영상 분할을 수행한다. 영상 분할은 영상에서 유사한 밝기값을 가지는 화소들을 하나의 영역으로 구분하는 과정으로 분할된 각 영역은 클래스에 속하는 영역을 선택하는 샘플링 과정에서 샘플로 사용된다. 영상 분할 과정을 통해 유사한 밝기값을 가지는 인접 화소들이 하나의 영역으로 구분되나 영상 분할에 사용되는 임계값에 따라 분할된 영역 내부의 밝기값 균일성이 달라진다.

분할된 영역의 균일성을 높이기 위해서 영상 분할 임계값을 조정하면 분할 영역 화소 밝기값의 유사성은 높아지는 반면에 분할 영역의 크기는 일반적으로 작아지게 된다. 이 경우 하나의 객체를 나타내는 영역이 여러개의 분할 영역으로 나누어질 가능성이 높아지고, 객체가 과도한 영역으로 분할되어 하나의 객체가 하나의 영역에 대응되지 않는 문제가 발생된다. 반면에 분할 영역의 균일성을 낮추는 방식으로 영상 분할 임계값을 조정하면 서로 다른 객체가 각기 다른 영역으로 구분되지 않고 하나의 영역 안에 포함될 가능성이 높아진다. 일반적으로 영상에 따라 사용자가 적절한 영상 분할 임계값을 선택하면 분할된 영역 내부 화소들은 대체로 유사한 밝기값을 보이지만 분할 영역에 따라서는 균일성이 낮은 화소들이 영역 내부에 존재할 수 있다.

Fig. 1은 영상 분할 후에 얻어진 영역 경계선을 잡음 제거 필터링을 적용한 원영상에 표시한 영상으로 분할된 영역 내부는 대체로 유사한 밝기값을 보인다. 그러나 A, B, C로 표시된 분할 영역은 영역 내부 밝기값의 균일성이 낮은 영역들이며, D, E로 표시된 분할 영역은 영역 내부 밝기값의 평균보다 훨씬 낮은 화소들이 존재하는 경우를 보여준다. 영역 내부의 균일성이 낮은 화소들이 클래스에 속하는 샘플 추출 과정에 포함되면 해당 클래스를 대표하는 밝기값의 평균 및 표준편차에 영향을 주어 결과적으로 분류 성능을 저하시킬 수 있다. 고해상도 원격탐사 영상에서는 도심 지역의 경우 건물을 포함한 다양한 객체들의 밝기값이 유사한 경우가 자주 발생하며 이는 객체가 속하는 클래스간 분류를 어렵게 만드는 요인으로 작용한다.

Fig. 1. Examples of segmented regions (A, B, C, D, E) with low uniformity of pixels inside the region.

Fig. 2는 차세대중형위성1호(Compact Advanced Satellite 500-1) 영상에서 지면 A와 건물 지붕 B의 흰색 사각형 영역에 대한 RGB 히스토그램를 비교한 예로, 청색 히스토그램에서 약간의 차이가 있고 적색 및 녹색 히스토그램은 거의 차이가 나지 않음을 볼 수 있다. 이 경우 지면과 건물 지붕을 구분하기 위해서는 지면과 건물 지붕의 두 클래스를 대표하는 샘플의 추출과정에서 각 클래스를 대표하는 균일한 분광 특성을 나타내는 화소들을 주의 깊게 선택해야 함을 알 수 있다. 클래스를 대표하는 샘플들의 밝기값이 균일성을 가지도록 하기 위해서는 분할 영역 내부에서 비균일한 특성을 보이는 화소들은 제외하고, 샘플들을 선택하는 과정에서 육안으로 유사한 분광 특성을 가지는 샘플들을 신중하게 선택해야 한다. 일반적으로 객체 기반의 영상 분류에서는 클래스에 속하는 충분한 개수의 샘플 선택을 권장한다. 예를 들면, 객체 기반의 영상 분류 소프트웨어인 ENVI Feature Extraction 소프트웨어는 클래스를 대표하는 샘플을 최소 20여개를 선택하기를 권장한다. 다수의 샘플을 사용하는 것은 클래스의 대표적인 속성을 획득하는 측면에서는 유리하지만 사용자가 선택한 샘플 전체 화소의 밝기값 균일성은 낮아질 가능성이 높다. 다수의 샘플을 사용하는 것은 유사한 분광 특성을 보이는 클래스간의 분리도는 저하시키고 결과적으로 분류 정확도를 낮아지게 하는 요인이 될 수 있다. 따라서 고해상도 위성 영상에서 클래스를 대표하는 균일성이 높은 샘플 화소들을 추출하기 위해서는 샘플 내부에서 비균일한 특성을 보이는 화소들은 제외하고 선택한 다수의 샘플들이 밝기값 균일성을 유지할 수 있는 샘플 추출 기법이 필요하다.

Fig. 2. An example of comparing the RGB histograms of a building rooftop and ground surface.

2.2. 히스토그램 역투영을 이용한 객체 기반 분류

본 연구에서는 클래스의 샘플을 추출하고 추출된 샘플들을 모두 클래스 분류에 그대로 사용하는 일반적인 방식과 달리 균일성이 높은 샘플 화소들을 추출하여 객체 분류에 사용하는 분류 기법을 제안한다. 제안하는 객체 기반 분류 기법은 Fig. 3과 같이 RGB 입력 영상을 HSV 영상으로 변환하고 HSV 변환 영상 중 색상 정보를 담고 있는 hue 채널 영상을 일정한 색상 간격의 서브채널 영상으로 분할한다. 분할된 각 서브채널 영상에 대해 워터쉐드(watershed) 영상 분할 방법을 이용하여 영상을 분할한 후에 클래스별로 초기 샘플링을 수행한다. 초기 샘플링을 통해 얻어진 화소들의 밝기값 히스토그램을 이용하여 샘플링 화소 밝기값에 대한 확률을 계산하고 전체 영상 화소에 적용하여 확률 지도(probability map) 영상을 생성한다. 확률 지도 영상은 각 화소가 샘플링 화소와 확률적으로 얼마나 유사한지를 나타내며 일정한 확률 이상의 화소들을 클래스를 대표하는 샘플로 최종 선택한다. 각 서브채널 영상별로 클래스별 최종 선택된 샘플 화소들의 red/green/blue/near-infrared 밴드별 밝기값을 이용하여 최소 거리(minimum distance) 기반의 영상 분류를 수행하고 서브채널 영상별 분류 결과를 융합하여 최종 분류 영상을 획득한다.

Fig. 3. Overall flowchart of object-based image classification using histogram back-projection.

2.3. 히스토그램 역투영을 이용한 샘플 영역 반자동 검출

추출된 샘플들이 밝기값의 균일성을 유지하도록 본 논문에서는 히스토그램 역투영(histogram back-projection)을 클래스 샘플 추출에 적용하는 방법을 제안한다. 히스토그램 역투영은 샘플 영역의 밝기값 히스토그램을 획득한 후에 히스토그램을 정규화하여 각 밝기값에 속하는 화소의 확률을 계산한다. 히스토그램 정규화는 샘플 영역에 속하는 화소들을 이용하여 각 밝기값에 해당하는 화소 수를 샘플 영역의 전체 화소 수로 나누는 과정으로 샘플 영역 화소 밝기값에 대한 확률이 계산된다. 샘플 영역 내에 다수의 화소들이 유사한 밝기값을 가지면 해당 밝기값은 높은 확률을 가지게 되며 상대적으로 샘플 영역 내에 화소 개수가 적은 밝기값은 낮은 확률을 가지게 된다. 샘플 영역을 통해 계산된 히스토그램 확률을 전체 영상 화소의 밝기값에 적용을 하면 각 화소에 대한 확률이 계산되고 일정 크기 이상의 확률을 가지는 화소들을 선택하면 초기 샘플 영역에 다수 존재하는 화소들의 밝기값과 유사한 화소들을 선택할 수 있다.

Fig. 4는 샘플 영역 밝기값을 이용해서 히스토그램 역투영을 적용하여 전체 영상의 각 화소가 샘플 영역과 확률적으로 얼마나 유사한지를 나타내는 확률 지도의 생성 과정을 보여준다. 샘플 영역의 히스토그램을 정규화하고 전체 영상의 각 화소에 대한 확률을 계산한 확률지도 영상은 확률이 높은 화소는 밝은 화소로, 확률이 낮은 화소는 어두운 화소로 표현된다.

Fig. 4. Probability map creation process that shows the degree of probabilistic similarity with the spectral characteristics of the sample area using histogram back-projection.

Fig. 5는 Fig. 5(b)에 표시된 초기 샘플 영역에 속하는 화소들의 히스토그램 역투영을 통해 확률지도 영상을 생성한 후에 확률 임계값을 적용하여 초기 샘플 영역의 밝기값과 유사한 영역을 검출한 예를 보여준다. Fig. 5(c)에서 화소의 밝기값이 밝을수록 초기 샘플 영역의 밝기값과의 유사도가 높다. Fig. 5(c)에서 상대적으로 낮은 확률값으로 인해서 어두운 화소들도 일부 존재하나 적절한 확률 임계값을 적용하여 이진 영상을 생성하면 Fig. 5(d)와 같이 초기 샘플 영역에 속하는 대부분의 화소들이 검출된다. 또한 초기 샘플의 외부에서도 초기 샘플 영역과 유사한 밝기값을 가지는 세 개의 지붕 영역에 속하는 화소들도 함께 검출할 수 있다.

Fig. 5. Example of probability map generation and sampling pixel generation using histogram back-projection. (a) Original image. (b) An initial sample region. (c) Probability map image. (d) A binary image in which pixels with a probability greater than 0.06 are displayed as white, and other pixels are displayed as black.

Fig. 5(a)에서 건물 지붕의 A로 표시된 초기 샘플 영역의 밝기값과 B로 표시된 영역의 밝기값은 그 차이가 크지 않으나 Fig. 5(d)와 같이 히스토그램 역투영과 임계값 적용을 통해서 A 영역과 유사한 화소들만 정확하게 검출할 수 있다. B로 표시된 건물 지붕 영역을 포함해서 이와 유사한 밝기값을 가지는 네 개의 건물 지붕 영역들에 속하는 화소들은 Fig. 5(d)의 검출 결과에서 볼 수 있듯이 효과적으로 제외된다.

히스토그램 역투영을 이용하여 검출된 영역 화소들은 초기 샘플 영역 화소들을 대체하여 해당 클래스의 샘플링 화소로 사용된다. 즉, 초기 샘플링 영역뿐만 아니라 전체 영상에서 초기 샘플 영역의 밝기값과 유사한 영역들이 자동으로 검출된다. 이를 통해서 유사한 분광 특성을 가지는 다수의 샘플을 반복적으로 선택하는 과정을 대체할 수 있고 동시에 선택된 샘플 화소들의 밝기값의 균일성을 확보할 수 있다.

한편, 히스토그램 역투영을 이용하면 Fig. 5(a)의 A 및 B 영역과 같이 밝기값의 차이가 작은 경우에 서로 구분하여 특정 영역과 유사한 밝기값을 가지는 영역을 자동으로 검출할 수 있을 뿐만 아니라 밝기값의 차이가 있는 영역들도 경우에 따라서는 하나의 클래스 샘플로 선택하는 것이 가능하다. Fig. 6은 Fig. 5(a)의 A와 B 두 영역을 모두 초기 샘플 영역으로 선택한 후에 히스토그램 역투영을 이용하여 유사한 밝기값을 가지는 화소들을 검출한 결과를 보여준다. 앞서 살펴본 바와 같이 히스토그램 역투영을 통해 샘플 영역의 미세한 차이를 구분하여 영역을 검출할 수 있는 것과 초기 샘플과 유사한 밝기값을 가지는 화소들을 자동으로 선택할 수 있는 것은 다양한 색상이 존재하는 도심 지역의 객체 분류에 매우 유용한 특성이다.

Fig. 6. An example of detecting pixels with similar brightness values using the histogram back-projection. (a) Two sample regions.(b) Detected pixels with similar brightness values to the two sample regions.

3. 연구 결과 및 분석

본 연구에서는 차세대중형위성1호의 전정색 영상과 다중 분광 영상을 융합한 0.5 m 공간해상도의 영상을 실험 영상으로 사용하였다. Fig. 7은 부산광역시 강서구 송정동 일원에 위치한 녹산국가산업단지의 일부 지역을 촬영한 영상으로 다양한 색상의 건물들을 포함하고 있다. 건물 지붕이 단일 색상인 경우도 있으나 대부분의 건물 지붕에는 다양한 텍스처가 존재하고 같은 건물 지붕의 화소들 가운데 부분적으로 주위 화소보다 어두운 색상을 보이는 경우도 다수 존재한다.

Fig. 7. A Compact Advanced Satellite 500-1 image of the Noksan district industrial complex in Gangseo-gu, Busan (June 2, 2022).

Fig. 8은 Fig. 7의 RGB 영상을 HSV 영상으로 변환한 후에 색상 성분을 60도 간격의 6개 서브채널 영상으로 분할한 결과를 보여준다. 유사한 색상을 가지는 화소들로 구성되는 각 서브채널 영상별로 영상 분류를 수행하면 서브채널 간에는 영상 분류가 독립적으로 진행되어 다른 서브채널에 속하는 화소들의 영향을 받지 않는다.

Fig. 8. Six hue subchannel images extracted from the Compact Advanced Satellite 500-1 image in Fig. 6. Each hue subchannel image was created by dividing the hue component into 60-degree intervals.

Table 1은 Fig. 8의 각 서브채널 영상에 포함된 클래스와 각 클래스를 대표하는 샘플의 수를 나타낸다. 각 서브채널은 건물(Building), 도로(Road), 식생(Vegetation)의 3개 클래스 중에서 2개 이상의 클래스를 포함한다. Table 1의 서브채널별 클래스 유형과 클래스의 샘플 수는 히스토그램 역투영을 적용하지 않는 경우와 적용하는 두 경우 모두 동일한 조건으로 실험하였다. 본 실험에서는 히스토그램 역투영이 분류 정확도에 미치는 영향을 확인하기 위하여 각 서브채널 영상의 클래스별로 서브클래스를 구성하고 서브클래스를 대표하는 샘플은 1~2개만을 선택하였다. 6개 서브채널 영상에서 총 39개의 샘플을 추출하였다.

Table 1. Class types for each hue subchannel and number of samples extracted for each class​​​​​​​

Fig. 9(a)는 Fig. 8의 Subchannel 4 영상의 서브클래스의 종류와 샘플 영역을 보여준다. 건물 클래스는 건물 색상에 따라 Building_1부터 Building_7까지 7개의 서브클래스로, 도로 클래스는 1개의 서브클래스(Road_1)로 구성되며, 각 서브클래스마다 화살표로 표시된 영역의 한 개 샘플을 선택하였다. Fig. 9(b)는 추출된 샘플을 이용하여 Subchannel 4 영상을 건물과 도로로 분류한 결과영상이다. 총 8개의 서브클래스로 화소를 분류하고 Building_1부터 Building_7까지 분류된 화소들은 적색으로, Road_1으로 분류된 화소는 회색으로 표시하였다. 건물에 속하는 대부분의 화소들이 건물 클래스로 분류되었음을 볼 수 있다.

Fig. 9. Examples of subclass definitions and classification results. (a) Class type of subchannel 4 image and corresponding sampling region. (b) Classification result: red and gray indicate building class and road class, respectively​​​​​​​.

Fig. 10은 6개의 서브채널 영상을 각각 분류한 후에 분류 결과를 융합하고 객체 단위로 표현한 결과를 보여준다. 분류 결과 융합 방법은 각 서브채널 영상의 분류로 결정된 화소의 클래스를 분할 영상으로 모은 후에 분할 영역 내에 가장 많은 빈도로 존재하는 클래스를 해당 영역의 클래스로 결정하고 영역 내부의 모든 화소들의 클래스로 재할당하는 방식으로 융합한다. Fig. 10(a)는 히스토그램 역투영을 적용하지 않고 6개 서브채널 영상을 분류한 결과로 노란색 사각형 내부는 건물 화소들이 건물 클래스로 분류되지 않은 예를 보여준다. 반면에 Fig. 10(b)는 히스토그램 역투영을 적용한 분류 결과로 노란색 사각형 내부의 대부분의 화소들이 건물 클래스로 분류되었다. 히스토그램 역투영을 이용한 방법은 최초 샘플 영역의 밝기값과 유사한 화소들을 추가로 샘플 화소로 선택하게 되어 해당 클래스에 속하는 샘플 화소들을 보다 많이 확보할 수 있는 장점을 가진다. 분류 결과에 대한 정량적인 성능 평가를 위해서 무작위 추출법(random sampling)으로 총 302개의 기준점을 선정하였다.

Fig. 10. Comparison of image classification results using 6 hue subchannels. (a) Results without histogram back-projection. (b) Results with histogram back-projection applied. The yellow rectangle areas show the marked difference between the two classification results.​​​​​​​

분류 정확도를 평가하기 위해서 분류 결과에 대한 사용자정확도(user’s accuracy, U.A.), 생산자정확도(producer’s accuracy, P.A.), 전체 정확도(overall accuracy, O.A.), kappa계수(kappa coefficient, K.C.)를 사용하였다. Table 2와 Table 3은 Fig. 10의 두 분류 결과 영상에 대한 정확도 평가 결과로, 히스토그램 역투영을 적용하지 않은 경우에는 overall accuracy와 kappa coefficient가 각각 73.84%, 54.38%의 결과를 보였다. 반면에 히스토그램 역투영을 적용한 경우에는 overall accuracy와 kappa coefficient가 각각 83.77%, 69.59%의 결과를 보여 히스토그램 역투영을 적용하지 않은 경우보다 overall accuracy와 kappa coefficient가 각각 9.93%p, 15.21%p 향상되었다. 특히, 건물 클래스의 생산자 정확도(producer’s accuracy)가 78.42%에서 93.16%로 14.74%p 향상되었다. Fig. 10의 두 분류 결과 영상에서 식생 클래스의 정확도가 상대적으로 낮은 이유는 식생 클래스에 속하는 화소들의 밝기값은 건물 지붕과 달리 일정한 밝기값이 넓은 영역에 분포하지 않고 작은 영역 내에서 밝기값의 변화가 크고 Subchannel 2 영상과 Subchannel 3 영상에 모두 분포하여 작은 영역의 샘플 화소만으로는 검출에 한계가 있기 때문이라 판단된다. 서브채널 영상의 개수가 많을수록 각 서브채널 영상 내에 분포하는 화소 색상의 균일성은 증가하여 유사한 색상을 가지는 객체들을 구분하는 능력은 증가하지만 한 객체 영역 내부의 색상 변동이 큰 경우에는 객체 색상이 여러 서브채널에 나타날 가능성이 높아지고 비록 서브채널별 분류 결과를 융합하더라도 특히 크기가 작은 객체들의 경우에는 최종적으로 올바르게 분류되지 않을 가능성이 높다.

Table 2. Accuracy assessment of classification results using six hue subchannels without applying histogram back-projection

Table 3. Accuracy evaluation of classification results using the six hue subchannels with histogram back-projection applied

히스토그램 역투영을 다수의 서브채널 영상이 아닌 원영상에 직접 적용한 경우의 성능 분석을 위해서 Table 4와 같이 건물, 도로, 식생 클래스별로 총 11개의 샘플을 추출하였다. 히스토그램 역투영을 적용하지 않는 경우와 적용하는 두 경우 모두 Table 4의 조건으로 실험하였다. 히스토그램 역투영을 원영상에 직접 적용을 하면 서브채널별로 추출해야 하는 샘플의 개수를 크게 줄일 수 있고 앞서 살펴본 식생 클래스와 같이 크기가 작고 객체 내부의 색상 변화가 큰 클래스의 경우에도 서브채널 영상별로 클래스 화소들이 분산되지 않기 때문에 샘플 영역의 색상 분포와 유사한 화소들을 원영상에서 검출할 수 있는 장점이 있다.

Table 4. Class type for the original image and the number of samples extracted for each class​​​​​​​

Fig. 11은 Table 4의 조건으로 원영상에 히스토그램 역투영을 적용하지 않은 경우와 적용한 경우의 객체 분류 결과를 각각 보여준다. 히스토그램 역투영을 적용하지 않은 Fig. 11(a)의 경우 노란색 사각형 내부에서 볼 수 있듯이 식생 클래스에 속하는 화소들의 검출율이 매우 낮은 반면에 히스토그램 역투영을 적용한 Fig. 11(b)의 경우에는 노란색 사각형 내부에서 식생 클래스에 해당되는 대부분의 화소들이 검출되었음을 볼 수 있다.

Fig. 11. Comparison of image classification results using original images. (a) Result without histogram back-projection. (b) Result with histogram back-projection applied. The yellow rectangle areas show the significant difference in vegetation class detection between the two classification results.​​​​​​​

Table 5와 Table 6은 Fig. 11의 두 분류 결과 영상에 대한 정확도 평가 결과로, 히스토그램 역투영을 적용하지 않은 경우에는 overall accuracy와 kappa coefficient가 각각 82.12%, 67.41%의 결과를 보였다. 반면에 히스토그램 역투영을 적용한 경우에는 overall accuracy와 kappa coefficient가 각각 88.74%, 79.41%의 결과를 보여 히스토그램 역투영을 적용하지 않은 경우보다 overall accuracy와 kappa coefficient가 각각 6.62%p, 12.00%p 향상되었다. 앞서 제시한 6개 서브채널 영상의 실험 결과와 같이 원영상에 히스토그램 역투영을 적용한 경우가 적용하지 않은 경우보다 높은 분류 정확도를 보였다. 히스토그램 역투영을 적용하지 않은 경우에는 식생 클래스의 생산자 정확도가 35.56%로 Table 2의 6개 서브채널 영상을 이용한 경우의 생산자 정확도 26.67%보다 8.89%p 향상된 반면에 히스토그램 역투영을 적용한 경우에는 생산자 정확도가 66.67%로 Table 3의 6개 서브채널 영상을 이용한 경우의 생산자 정확도 33.33%보다 두 배 향상된 결과를 보였다.

Table 5. Accuracy evaluation of classification result using original images (R/G/B/NIR bands) and not applying histogram back-projection

Table 6. Accuracy evaluation of classification result using original images (R/G/B/NIR bands) and applying histogram back-projection

Fig. 12는 Subchannel 5에 대해 히스토그램 역투영을 적용하지 않은 분류 결과(Fig. 12c)와 적용한 분류 결과(Fig. 12d)를 각각 보여준다. 앞서 소개한 Fig. 10에서 영상 좌측 상단의 건물 밀집 영역(Site A)의 경우 건물 간의 경계선이 히스토그램 역투영을 사용하지 않은 경우 보다 잘 구분된 것으로 보이는 이유는 Subchannel 5의 분류 과정에서 그 이유를 찾을 수 있다. 클래스 샘플링 과정에서 Fig. 12(b)에 보인 바와 같이 건물은 Building_1부터 Building_4까지 4개 영역을 건물 클래스로 지정하였고, 도로 클래스는 Road_1 영역을 지정하였다. Site A의 경우 원영상에서 건물 경계선 화소들의 색상은 Road_1의 샘플 색상과 유사한 화소들도 있으나 Building_4의 색상과 유사한 화소들도 분포하고 Site A의 우측에 존재하는 식생 객체와 유사한 화소들도 함께 분포한다.

Fig. 12. Comparison of subchannel classification results. (a) Subchannel 5, (b) defining sample region, (c) classification results not using histogram back-projection, and (d) classification results using histogram back-projection.​​​​​​​

히스토그램 역투영을 사용하지 않은 분류 방법에서는 Fig. 12(c)와 같이 Road_1 샘플 영역은 대부분 도로 클래스로 분류된 반면에 히스토그램 역투영을 사용한 분류 방법에서는 Site B 내부에서도 건물 클래스와 도로 클래스를 세부적으로 구분하는 분류 결과를 보였고, Site A의 경계선에 속하는 화소들 중 일부는 도로 클래스로, 일부는 건물 클래스로 분류되었다. 건물 간 경계선 화소들이 건물 클래스로 분류되기 보다는 도로 클래스로 구분되는 것이 시각적으로 구분된 효과를 보여주기 때문에 우수한 분류 성능을 보이는 것으로 생각될 수도 있으나 실제 화소 밝기값 기준으로 살펴볼 때에는 건물 경계선 사이의 화소들이 도로 클래스 이외에 건물 클래스 화소가 일부 검출되는 것도 자연스러운 현상이다. 마찬가지로 Fig. 11의 결과에서 볼 수 있듯이 원영상을 이용한 분류에서 식생 클래스가 정의되었고 히스토그램 역투영 방법에서 건물 간의 경계에 위치한 화소들 가운데 식생과 유사한 화소들은 일부 식생으로 분류되었다.

서브채널별로 클래스를 정의하고 샘플 영역을 정하는 과정은 서브채널의 개수가 많아질수록 사용자의 주의 깊은 시각적 판단이 더욱 요구되고 작업 부담을 증가시키므로 서브클래스 채널의 수는 가급적 줄이는 것이 바람직하다. 앞서 기술한 건물 사이의 경계선 화소에 대한 분류 문제를 해결할 수 있는 방법은 건물 사이의 경계선 화소들이 건물, 도로, 식생 객체의 화소들 중에서 밝기값이 어두운 화소들과 관련이 있으므로 그림자 클래스와 같이 별도의 클래스를 정의하고 분류하는 방법으로 건물 사이의 경계선을 구분할 수 있으리라 판단된다.

4. 결론

본 연구에서는 객체 기반의 영상 분류에 히스토그램 역투영을 적용하여 클래스 샘플 추출 시 사용자의 수작업을 줄이고 클래스 샘플의 분광 특성이 균일성을 가지는 영상 분류 기법을 제안하였다. 제안한 클래스 샘플 추출 방법은 HSV 변환 영상의 색상 서브채널 영상에 적용하거나 RGB 원영상에 직접 적용할 수 있는 방법으로, 히스토그램 역투영 방식을 이용하여 샘플 영역의 미세한 차이를 구분하여 영역을 검출하고 동시에 하나의 초기 샘플을 선택하여 이와 유사한 밝기값을 가지는 화소들을 자동으로 선택하여 사용자의 샘플 추출 횟수를 효과적으로 줄일 수 있는 방법이다.

제안한 분류 방법을 차세대중형위성1호 영상에 적용한 결과, 6개 서브채널 영상에 대해 총 39개의 샘플을 이용하고 히스토그램 역투영을 적용하지 않은 경우에는 overall accuracy와 kappa coefficient가 각각 73.84%, 54.38%의 결과를 보였고, 히스토그램 역투영을 적용한 경우에는 overall accuracy와 kappa coefficient가 각각 83.77%, 69.59%의 결과를 보여 overall accuracy와 kappa coefficient가 각각 9.93%, 15.21% 향상되었다. 특히 건물 클래스의 생산자 정확도는 78.42%에서 93.16%로 14.74%가 향상되었다. 클래스 샘플의 개수를 더욱 줄여서 총 11개의 샘플을 선택하고 히스토그램 역투영을 원영상에 직접 적용한 결과, 히스토그램 역투영을 적용하지 않은 경우에는 overall accuracy와 kappa coefficient가 각각 82.12%, 67.41%의 결과를 보였으나 히스토그램 역투영을 적용한 경우에는 overall accuracy와 kappa coefficient가 각각 88.74%, 79.41%의 결과를 보여 overall accuracy와 kappa coefficient가 각각 6.62%, 12.00% 향상되었다. 특히 식생 클래스의 경우, 6개 서브채널 영상 분류에서는 생산자 정확도가 33.33%이었으나 원영상에 히스토그램 역투영을 적용한 경우에는 두 배 향상된 66.67%의 결과를 보였다.

히스토그램 역투영을 이용한 클래스 샘플 추출 방법은 HSV 변환 영상의 색상 서브채널 영상을 이용한 분류 기법의 샘플 추출 과정에서 사용자의 수작업 횟수를 크게 줄이면서도 분류 정확도는 보다 향상시킬 수 있었다. 특히 색상 서브채널 영상이 아닌 RGB 영상에 대해서 총 11개의 샘플 만으로도 건물 클래스의 높은 분류 정확도를 유지하고 동시에 크기가 작고 객체 내부의 색상 변화가 큰 식생 클래스의 생산자 정확도를 향상시킬 수 있었다. 본 논문은 객체 기반의 감독 분류 기법과 결합하여 사용자의 샘플 추출 과정의 수고를 줄이고 동시에 객체 분류의 성능을 향상시킬 수 있는 히스토그램 역투영 기반의 샘플 추출 방법을 제안한 데 의의가 있다.