Semantic Segmentation of Hazardous Facilities in Rural Area Using U-Net from KOMPSAT Ortho Mosaic Imagery

KOMPSAT 정사모자이크 영상으로부터 U-Net 모델을 활용한 농촌위해시설 분류

Abstract

Rural areas, which account for about 90% of the country's land area, are increasing in importance and value as a space that performs various public functions. However, facilities that adversely affect residents' lives, such as livestock facilities, factories, and solar panels, are being built indiscriminately near residential areas, damaging the rural environment and landscape and lowering the quality of residents' lives. In order to prevent disorderly development in rural areas and manage rural space in a planned manner, detection and monitoring of hazardous facilities in rural areas is necessary. Data can be acquired through satellite imagery, which can be acquired periodically and provide information on the entire region. Effective detection is possible by utilizing image-based deep learning techniques using convolutional neural networks. Therefore, U-Net model, which shows high performance in semantic segmentation, was used to classify potentially hazardous facilities in rural areas. In this study, KOMPSAT ortho-mosaic optical imagery provided by the Korea Aerospace Research Institute in 2020 with a spatial resolution of 0.7 meters was used, and AI training data for livestock facilities, factories, and solar panels were produced by hand for training and inference. After training with U-Net, pixel accuracy of 0.9739 and mean Intersection over Union (mIoU) of 0.7025 were achieved. The results of this study can be used for monitoring hazardous facilities in rural areas and are expected to be used as basis for rural planning.

국토 면적의 약 90%를 차지하는 농촌은 여러가지 공익적 기능을 수행하는 공간으로서 중요성과 가치가 증가하고 있지만 주거지 인근에 축사, 공장, 태양광패널 등 주민생활에 불편을 미치는 시설들이 무분별하게 들어서면서 농촌 환경과 경관이 훼손되고 주민 삶의 질이 낮아지고 있다. 농촌지역의 무질서한 개발을 방지하고 농촌 공간을 계획적으로 관리하기 위해서는 농촌지역 내 위해시설에 대한 탐지 및 모니터링이 필요하다. 주기적으로 취득 가능하고 전체 지역에 대한 정보를 얻을 수 있는 위성영상을 통해 데이터의 취득이 가능하고, 합성곱 신경망 기법을 통한 영상 기반 딥러닝 기술을 활용하여 효과적인 탐지가 가능하다. 따라서 본 연구에서는 의미적 분할(Semantic segmentation)에서 높은 성능을 보이는 U-Net 모델을 이용하여 농촌 지역에서 잠재적으로 위해시설이 될 수 있는 농촌시설을 분류하는 연구를 수행하였다. 본 연구에서는 2020년에 제작된 공간해상도 0.7 m의 KOMPSAT 정사모자이크 광학영상을 한국항공우주연구원으로부터 제공받아 사용하였으며 축사, 공장, 태양광 패널에 대한 AI 학습용 데이터를 직접 제작하여 학습 및 추론을 진행하였다. U-Net을 통해 학습시킨 결과 픽셀 정확도(pixel accuracy)는 0.9739, mean Intersection over Union (mIOU)은 0.7025의 값을 도출하였다. 본 연구 결과는 농촌 지역의 위험 시설물 모니터링에 활용될 수 있으며, 농촌계획 수립에 있어 기초 자료로 활용될 수 있을 것으로 기대된다.

1. 서론

과거에 농촌은 식량생산 공간이라는 인식과 함께 도시에 비해 그 중요성이 강조되지 않았지만, 현대에 들어서 농촌은 단순히 식량공급기지로서의 역할에 그치지 않고 여러가지 공익적 기능을 수행하는 공간으로 인식되고 있다. 대한민국에서 국토 면적의 약 90%를 차지하는 농촌은 식량생산 이외에도 식량 안보, 대기 정화, 생태계 유지, 수자원의 형성, 야생동물 서식처 등 여러 가지 공익적 기능을 수행하고 있으며 다양한 경제활동이 입지하고 있는 공간으로 변화하며 그 중요성과 가치는 증대되고 있다(Kim et al., 2014).

그러나 농촌의 가치와 중요성에도 불구하고 현재 우리나라의 농촌은 심각한 문제에 직면해 있다. 체계적인 정책과 계획이 미흡한 상황속에서 주거지 인근에 주거 환경을 저해하는 공장, 축사, 재생에너지시설 등이 무계획적으로 난립하여 주민의 안전과 건강을 위협하고 있다(Seong, 2020). 2015년 김포 거물대리와 2019년 익산 정점마을에서는 각각 주거지 인근에 입지한 금속가공 공장과 비료공장으로 인해 마을주민들이 심각한 건강상의 피해를 입었으며 해당 피해사례는 뉴스 등의 언론을 통해 다뤄진 바 있다. 이러한 농촌 난개발 현상과 피해사례는 한 지역에서만 국한된 문제가 아니라 전국적으로 고루 분포하고 있어 체계적인 대응과 계획이 필요할 것으로 보인다(Korea Rural Economic Institute, 2022).

농촌을 계획적으로 관리하고 공간계획을 수립하기 위해서는 농촌의 난개발 요소와 난립하고 있는 시설에 대한 모니터링과 관리가 필수적이다. 그러나 현재 농촌 지역의 난개발 요소들과 위해시설은 현실적인 관리 수단이 부재하여 체계적인 관리 및 모니터링이 미비한 실정이다. 농촌 주거환경을 보호, 정비하고 체계적인 공간 계획을 수립하기 위해서는 농촌 위해시설에 대한 데이터의 구축 범위, 구축 방법 및 추가적인 공간 조사방법이 필요하다. 농촌공간 재구조화 및 재생지원에 관한 법률 제2조 제14항에 따르면 “농촌위해시설”을 농촌 생활, 경관 및 환경에 부정적 영향을 미치는 건강위해시설, 환경위해시설, 기타위해시설로 정의하고 있지만 정량적인 지표 및 범위에 대한 기준이 마련되어 있지 않다.

따라서 본 연구에서는 농림축산식품부의 2023년 농촌공간정비사업 시행지침에서 유해시설 범위로 다룬 축사, 공장, 재생에너지시설(태양광 패널)을 농촌위해 시설 분류 대상 객체로 정의하였다. 농촌 위해시설을 관리하기 위한 데이터의 취득은 일반적으로 현장조사를 통해 취득되고 있으며 각 지방자치단체 또는 공공기관을 통해 데이터의 수집 및 관리가 이루어지고 있다. 하지만 농촌은 면적이 매우 넓고, 접근이 용이하지 않은 지역이 많이 존재하기 때문에 시간적, 비용적 측면을 고려하였을 때 현장조사를 통한 자료의 획득에는 한계가 존재한다. 이러한 상황속에서 넓은 지역에 대한 정보를 주기적으로 획득할 수 있는 위성영상을 활용한다면 효과적인 탐지가 가능하다.

최근 인공지능 기법을 활용한 이미지 기반 딥러닝 기술은 객체 분류 및 탐지에서 기존의 기계학습 모델을 상회하는 높은 성능을 보이고 있으며, 원격탐사 데이터를 최신 딥러닝 알고리즘에 적용시키는 연구가 활발히 이루어지고 있다(LeCun et al., 2015). 특히 수체탐지, 토지 피복분류, 태양광 패널 탐지 등의 연구에서 U-Net 모델을 활용한 의미적 객체 분할(Semantic segmentation) 기법이 사용되었으며 효과가 입증된 바 있다(Feng et al., 2018; Ulmas and Liiv, 2020; Baek et al., 2017). 하지만 현재까지 국내에서 원격탐사 자료와 딥러닝 기법을 사용하여 농촌지역의 위해시설을 분류, 탐지하는 연구는 수행되지 않았다.

이에 따라 본 연구에서는 KOMPSAT 정사모자이크 광학영상 데이터를 U-Net 모델에 적용하여 농촌위해 시설을 분류하고자 하였으며 축사, 공장, 태양광 패널을 본 연구의 분류 대상으로 선정하여 의미론적 분할 기법을 적용하였고 결과 분석을 통해 분류 가능성을 분석하였다. 본 연구에서는 딥러닝 모델의 적용을 위하여 축사, 공장, 태양광 패널에 대한 AI 학습 데이터를 제작하였고 이를 토대로 향후 농촌 계획 수립의 기초 자료로써 활용 가능성을 확인하였다.

2. 연구지역 및 데이터

2.1. 연구지역

난개발이 심각한 특정 지역을 대상으로 위해시설의 철거, 이전 등의 정비를 위한 사업이 진행되는 농촌협약 대상지를 연구지역 선정의 기준으로 정하였다. 이에 따라 본 연구의 연구 대상지역은 2022년 농촌협약 대상지로 선정된 대한민국의 충청남도 서산시, 경기도 안성시, 전라남도 나주시, 경상남도 거창군으로 설정하였다. Fig. 1은 연구 대상지역의 위치와 범위를 나타낸다. 농촌협약 대상지역으로 선정된 서산시, 안성시, 나주시, 거창군은 축사, 공장, 태양광 패널 객체가 많이 분포하고 있으며, 연구대상지역 전체에 걸쳐 고르게 분포하는 특징을 가진다.

Fig. 1. Study areas of this study.

지역별로 안성시는 공장 객체가 차지하는 비율이 높고, 거창군은 경사가 높은 산악지형에 위치하여 공장 객체가 상대적으로 적은 비율을 차지한다. 설치되는 지형에 의하여 영향을 받는 태양광 패널의 경우 연구 지역별로 지형적 특징의 차이가 존재하여 다양한 형태를 갖는다(Jung and Kim, 2016). 본 연구에서는 각각의 연구 지역이 서로 다른 지형적 특징을 나타내고 이로 인해 데이터의 다양성을 확보하여 모델의 일반화 성능을 향상시킬 수 있었다(Baek et al., 2022). Table 1은 연구 대상지역의 지역별 축사, 공장, 태양과 패널 객체의 개수를 나타낸다.

Table 1. Number of rural facilities in the study area

2.2. 데이터

연구 데이터는 서산시, 안성시, 나주시, 거창군의 농촌위해시설 AI 학습 데이터의 제작 및 분류를 위하여 해당 지역을 포함하는 KOMPSAT 정사모자이크 광학 영상과 농촌시설 공간데이터를 활용하였다. Table 2는 본 연구에 사용된 KOMPSAT 정사모자이크 광학영상의 정보를 나타낸다. 사용된 정사모자이크 광학영상은 2020년도 전체에 걸쳐 촬영 및 제작되었으며 Red, Green, Blue 3개의 파장대역이 사용되었고 0.7 m의 공간 해상도를 갖는다. Table 3은 본 연구에 사용된 농촌시설 공간 데이터의 정보를 나타내며 주소 정보, 획득 연도, 축종, 건물명 등의 속성 정보를 포함한다. 획득한 주소데이터는 지오코딩(geocoding)을 통해 포인트 데이터로 변환하여 본 연구에 사용하였다. KOMPSAT 정사모자이크 광학영상과 농촌시설 공간데이터는 각각 한국항공우주연구원(Korea Aerospace Research Institute)과 한국농촌경제연구원(Korea Rural Economic Institute)으로부터 제공받아 활용하였다.

Table 2. KOMPSAT ortho mosaic imagery used in this study

Table 3. Rural facilities data used in this study

3. 연구방법

Fig. 2는 본 연구의 전체적인 흐름을 나타낸다. 본 연구에 사용된 AI 학습 데이터셋의 라벨 데이터는 KOMPSAT 정사모자이크 광학영상과 농촌시설 포인트 데이터를 활용하여 데이터 어노테이션(data annotation)을 통해 직접 구축하였다. AI 학습 데이터셋은 위성영상 데이터와 라벨 데이터의 쌍으로 구성되며, U-Net 모델의 입력데이터로 사용하기 위해 512 × 512 크기의 패치데이터로 가공하는 과정을 수행하였다. 512 × 512 크기의 패치 데이터로 구축된 입력 데이터셋은 8:2의 비율로 학습 데이터셋과 시험 데이터셋으로 분할하여 구성하였다. 학습 데이터셋에 대하여 데이터 확장기법(data augmentation)을 적용하여 데이터의 다양성을 확보하였으며 이를 통해 과적합을 방지하고 모델의 일반성을 확보하였다. 학습 데이터셋은 U-Net 모델의 학습에, 테스트 데이터셋은 학습된 모델을 통한 추론과 정량적 평가에 사용하였다.

Fig. 2. Data flow of this study.

3.1. AI 학습용 데이터 제작

본 연구에서는 AI 모델의 학습을 위해 필요한 농촌 위해시설 라벨 데이터의 부재를 확인하였고, 이를 해결하기 위해 새로운 농촌위해시설라벨 데이터를 KOMPSAT 정사모자이크 광학영상을 활용하여 직접 구축하였다. 하지만 위성영상만을 활용하여 축사, 공장, 태양광 패널과 같은 연구 대상 객체들의 존재 및 구축 여부를 판단하는 것에는 여러 한계점이 존재한다. 이러한 문제를 극복하기 위해 농촌시설 공간정보 데이터를 포인트 데이터로 변환하여 참조 데이터로 활용하였으며, 이를 통해 보다 정확한 어노테이션 작업을 수행하였다. 데이터 어노테이션 작업방법 및 구체적인 어노테이션 구축 기준은 Gong et al. (2023)의 AI 학습용 데이터셋 제작의 내용을 따른다.

농촌위해시설 분류를 위한 AI 학습용 라벨 데이터는 축사, 공장, 태양광 패널, 비대상지의 4가지 클래스로 구성하였으며, 각각 10, 20, 30, 90의 라벨 값을 할당하였다. U-Net 모델의 입력데이터로 사용하기 위해 위성영상과 라벨데이터의 쌍을 25% 중복률을 고려하여 512 × 512 크기의 패치데이터로 가공하는 과정을 수행하였다. 25%의 중복률을 적용하여 패치데이터를 제작하므로 인해 모델이 이미지의 더 넓은 영역에 대한 정보를 효과적으로 받아들여 정확한 이미지 분할을 할 수 있고, 가장자리 영역의 정보가 소실되는 것을 방지하여 경계 추출 성능을 향상시킬 수 있다(Akil et al., 2020). 512 × 512 크기의 패치데이터로 가공된 AI 학습용 데이터셋은 80%의 학습 데이터셋과 20%의 시험 데이터셋으로 분할하여 학습 데이터셋은 U-Net의 학습에 사용하고 시험 데이터셋은 학습된 모델을 통해 추론 및 정략적 평가에 사용하였다.

3.2. 데이터 확장 기법

딥러닝 모델 적용에 있어 충분하지 못한 양의 학습 데이터와 데이터의 불균형은 결과의 편향과 과적합을 야기하여 모델 성능의 저하를 유발한다(Johnson and Khoshgoftaar, 2019). 하지만 많은 양의 AI 데이터 확보 및 구축에는 시간과 비용적 측면에서 한계가 존재한다. 데이터 확장 기법을 통해 학습 데이터에 대하여 임의의 왜곡과 변형을 적용하여 데이터를 증강시킴으로써 데이터 부족의 한계를 극복할 수 있다.

본 연구에서는 분할한 학습 데이터셋에 대하여 데이터 확장 기법을 적용하여 데이터셋의 불균형을 해소하고 데이터의 다양성을 확보하였다. 이를 통해 모델의 일반성을 확보하여 딥러닝 모델의 성능을 향상시킬 수 있도록 하였다(Sun et al., 2017; Perez and Wang, 2017; Shorten and Khoshgoftaar, 2019). 본 연구에서는 데이터의 개수가 가장 적은 태양광 패널객체가 포함된 512 × 512 패치데이터에 대하여 오버샘플링(oversampling)을 적용하였으며, 오버샘플링된 데이터셋에 대하여 임의 회전(random rotation), 임의 크기변환(random scaling), 임의 영역 삭제(random cutout) 방법을 적용하였다.

3.3. U-Net

U-Net 모델은 합성곱 신경망(convolutional neural network) 기반의 영상 분할 모델로 이미지의 탐지(detection) 및 의미적 객체 분할(semantic segmentation)에서 두드러지는 성능을 보여주었으며 의료, 산업, 원격탐사 등 이미지 기반의 분석을 수행하는 여러 분야에서 활발히 사용되고 있다(Long et al., 2015; Du et al., 2020). U-Net은 특징을 추출하는 인코더(encoder)와 특성맵(feature map)을 확장하기 위한 디코더(decoder)가 결합된 ‘U’자형의 구조를 가진다. U-Net의 인코더에서는 합성곱(convolution) 연산을 반복하고 맥스풀링(max pooling) 연산을 통하여 특성맵의 크기를 줄여나간다. 이후 디코더에서는 마찬가지로 합성곱 연산을 반복하며 이미지의 복원을 위해 업샘플링 연산을 통하여 특성맵의 크기를 늘려주고 채널의 수는 줄이는 과정을 거친다.

또한 U-Net에는 concatenate 연산이 적용되는데 이는 인코더에서 생성된 특성맵과 디코더에서 생성된 특성맵을 결합하여 정보의 소실을 방지하고 학습의 효율성을 증대시킨다. 이와 같이 U-Net은 인코더와 디코더로 그리고 각각의 경로가 결합되는 구조를 통해 특성맵을 위치정보의 손실없이 효과적으로 추출할 수 있다(Ronneberger et al., 2015). Ronneberger et al. (2015)에 의해 제안된 기존의 U-Net은 하나의 인코딩 블록과 디코딩 블록에서 두 번의 컨볼루션(convolution) 연산이 적용되지만 본 연구에서 사용한 U-Net 모델은 컨볼루션 연산의 반복 횟수를 세 번으로 늘려 특징 추출 능력을 강화하고 작은 객체의 인식 성능을 높일 수 있도록 보완하였다.

Fig. 3은 본 연구에 사용된 U-Net의 구조를 나타낸다. 512 × 512 크기의 3개 채널의 위성영상이 입력데이터로써 사용되었고 인코더에서 3 × 3 컨볼루션 연산과 2 × 2 맥스풀링 연산이 적용되고 디코더에서 3 × 3 컨볼루션 연산과 2 × 2 업샘플링 연산이 적용되었다. 디코더에서 업샘플링 연산이 적용된 특성맵은 인코더의 특성맵과 결합되는 concatenate 연산 역시 함께 적용된다.

Fig. 3. U-Net model architecture used in this study.

3.4. 성능평가 지표

모델을 학습시킨 후, 예측된 결과와 실제 정답값의 비교를 통해 혼동 행렬(confusion matrix)을 제작하였다. 이를 통해 픽셀 정확도(Pixel Accuracy), 정밀도(Precision), 재현율(Recall), F1 스코어(score), Intersection over Union (IoU)을 모델을 정량적으로 평가하기 위한 지표로 사용하였다(Yu et al., 2021). 픽셀 정확도는 전체 픽셀 중에서 정확하게 분류한 픽셀의 비율을 나타내는 지표로 일반적으로 성능을 평가하는 지표로 사용되지만 데이터 불균형이 존재하는 경우 값이 편중되는 한계를 가진다(Baek and Jung, 2021; Alomar et al., 2023). 픽셀 정확도에 대한 수식은 다음과 같다.

\(\begin{aligned}\text {Accuracy}=\frac{\text { True Positive }+ \text { True Negative }}{\text { True Positive }+ \text { True Negative }+ \text { False Positive }+ \text { False Negative }}\end{aligned}\)       (1)

정밀도는 모델이 True라고 예측한 것 중에 실제 True값의 비율을 나타내고, 재현율은 실제로 True인 값들 중에서 모델이 True라고 예측한 값의 비율을 나타낸다. F1 스코어는 정밀도와 재현율의 조화평균을 통해 계산되며 모델의 성능을 하나의 값으로 표현할 수 있는 지표이다. F1 스코어는 특히 클래스 간의 불균형이 존재하는 데이터 세트에서 픽셀 정확도만으로 모델의 성능평가가 어려운 점을 보완할 수 있는 지표이다(Chicco and Jurman, 2020; Miao and Zhu, 2022). 또한 Precision-Recall curve와 평균 정밀도(Average Precision)를 모델 성능 평가에 활용하였다. Precision-Recall curve는 정밀도와 재현율의 서로 다른 임계값에서의 관계를 시각적으로 나타낸 그래프이고, 평균 정밀도는 곡선의 아래 면적을 나타내는 지표로 값이 클수록 모델의 성능이 우수함을 나타낸다(Miao and Zhu, 2022; Lee et al., 2020). 정밀도, 재현율, F1 스코어에 대한 수식은 다음과 같다.

\(\begin{aligned}\text {Precision}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Positive }}\end{aligned}\)       (2)

\(\begin{aligned}\text {Recall}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Negative }}\end{aligned}\)       (3)

\(\begin{aligned}\text {F1 Score}=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}\end{aligned}\)       (4)

IoU는 이미지의 의미적 분할 및 객체 탐지 등의 모델에서 널리 사용되는 성능 예측값과 실제 라벨값 간의 일치 정도를 측정하는데 사용되는 지표이다. 이는 예측된 영역과 실제 영역의 겹치는 부분(교집합)을 두 영역의 합집합으로 나눈 비율로 계산되며, 수식은 아래와 같다(Cheng et al., 2021; Rahman and Wang, 2016).

\(\begin{aligned}I o U=\frac{\text { Area of Overlap }}{\text { Area of Union }}\end{aligned}\)       (5)

4. 연구결과

본 연구의 AI 학습용 데이터 구축의 결과 U-Net 모델에 적용하기 위한 512 × 512 패치크기의 입력 데이터셋은 총 8,087장이 제작되었다. 지역별로 서산지역 1,361장, 안성지역 2,454장, 나주지역 2,491장, 거창지역 1,781장으로 최종 제작되었다. 해당 입력 데이터셋은 모든 데이터에 대하여 512 × 512 패치 내에 비대상지를 제외한 분류대상 객체가 1픽셀이상 존재하지만 전체 패치 대비 비대상지의 비율을 고려하지 않았다.

농촌 지역의 특성상, 비대상지가 대부분의 영역을 차지하는 것이 일반적이며, 본 연구에서 구축된 입력 데이터셋에서도 이러한 경향이 명확히 나타났다. 특히, 512 × 512 크기의 패치 중 99% 이상이 비대상지로 구성된 경우가 많이 존재하였다. 하지만 한 가지 영역이 지배적인 영역을 차지하거나 매우 작은 비율을 차지하는 경우 데이터 불균형으로 인해 성능의 편향이 커지고 분류 성능이 떨어지게 된다(Baek et al., 2022).

따라서 본 연구에서는 구축된 학습 데이터셋에 대하여 512 × 512 패치 입력데이터 기준 비대상지가 97% 이상을 차지하는 경우는 학습 및 평가에서 배제하였다. 또한 상대적으로 적은 데이터 개수가 분포하는 태양광패널 객체에 대해서는 태양광패널이 존재하는 512 × 512 패치를 오버샘플링을 통하여 데이터 불균형을 해소하고자 하였다. 이후 처리된 입력데이터에 대하여 데이터 확장 기법을 적용하여 학습 데이터를 2배 증강시켰다.

최종적으로 본 연구의 입력데이터 셋은 학습 데이터 5,001쌍과 시험데이터 475쌍으로 구성되었다. Figs. 4(a–c)와 Figs. 4(d–f)는 각각 AI 학습용 데이터셋의 위성영상 이미지와 라벨데이터를 나타내며 본 연구에서 구축한 결과를 나타낸다. 라벨데이터는 가시화를 위해 그레이스케일(grayscale)을 사용하였으며 비대상지는 흰색, 축사는 검정색, 공장은 진한 회색 그리고 태양광 패널은 연한 회색을 통해 나타내었다.

Fig. 4. The examples of constructed AI training data. (a–c) KOMPSAT ortho mosaic imagery. (d–f) Label data.

Fig. 5는 학습된 U-Net 모델을 사용하여 시험 데이터에 대한 분류 결과를 나타낸다. Figs. 5(a1–c1)은 시험 데이터의 위성영상 원본 이미지를 나타내고, Figs. 5(a2–c2)는 시험데이터의 라벨데이터를 나타낸다. Figs. 5(a3–c3)는 본 연구에서 학습시킨 U-Net 모델을 사용하여 추론한 결과이다. Fig. 5의 추론된 결과들은 공통적으로 512 × 512 패치 내에 단일 클래스만이 존재하는 것을 확인할 수 있는데, 구분이 명확한 단일 객체만 존재하는 경우 모델의 분류성능이 높은 것을 확인할 수 있다. Fig. 5의 추론된 결과를 정성적으로 라벨데이터와 비교하여 판단하였을 때 건물과 태양광 패널의 경계를 잘 검출하였음을 확인할 수 있고, Fig. 5(a3)를 통해 일부 라벨 데이터에서 누락이 된 객체도 검출하는 경우를 확인할 수 있었다. 이를 통해 객체의 분류가 높은 성능으로 이루어졌음을 판단할 수 있다.

Fig. 5. Prediction result of single object in 512 × 512 test data. (a1–c1) Satellite image. (a2–c2) True label. (a3–c3) Prediction result.

Fig. 6의 추론된 결과들은 512 × 512 패치 내에 두 개 이상의 클래스가 존재하는 예시를 나타낸다. Fig. 6의 a1–c1, a2–c2, a3–c3는 각각 시험 데이터의 위성영상 원본이미지, 라벨데이터 추론 결과를 나타낸다. Figs. 6(a3–c3)의 빨간색 박스 부분은 실제 객체와 다른 객체로 오분류한 결과를 나타내고, Figs. 6(a2–c2)의 파란색 박스 부분은 실제 객체에 대하여 미분류한 결과를 나타낸다. Fig. 6의 a1–a3와 b1–b3은 태양광 패널과 축사 객체가 512 × 512 패치 내에 함께 존재하고, Figs. 6(c1–c3)은 축사와 공장 객체가 함께 존재하는 것을 확인할 수 있다.

Fig. 6. Prediction result of multiple objects in 512 × 512 test data. (a1–c1) Satellite image. (a2–c2) True label. (a3–c3) Prediction result.

정성적으로 라벨과 추론결과를 비교하였을 때 축사를 공장 객체로 오분류한 경우와 비대상지로 분류되는 기타 건물을 축사로 오분류한 결과를 Figs. 6(a1–a3, c1–c3)에서 확인할 수 있다. 이러한 경향은 본 연구의 전체 훈련 데이터셋에서 가장 흔하게 찾을 수 있는 오분류 유형으로 확인하였으며, 해당 객체들은 참조데이터 없이 사람이 육안으로 분류하기 어렵다는 사실을 확인할 수 있다. 특히, 축사의 경우 일반건물(비대상지)과 구분이 힘든 경우가 다수 존재하고 공장 객체와도 뚜렷이 구분이 되지 않는 경우가 많아 모델의 분류 성능에 영향을 미쳤다고 판단할 수 있다. Figs. 6(b1–b3)는 태양광패널의 오분류 및 미분류 결과를 나타낸다. 태양광패널은 농작물의 재배를 위해 토양의 표면을 덮어주는 비닐(mulching)과 혼동되는 경향을 보였는데 실제로 위성 이미지와 라벨데이터를 사람이 확인해도 구분이 매우 어려운 것을 확인할 수 있다.

Table 4는 학습된 U-Net 모델을 시범데이터를 통해 검증한 정량적인 지표들을 나타낸다. 3가지 분류 클래스의 분류 성능은 정밀도와 재현율의 조화평균인 F1 스코어를 통해 확인할 수 있는데 각각의 정량적인 수치는 공장이 0.8418, 태양광 패널이 0.8104, 축사가 0.7789로 공장이 가장 높은 분류 성능을 보였다. 축사의 분류 성능이 낮게 나온 결과는 추론된 이미지를 통해 정성적으로 평가한 내용과 일치하는 것을 확인할 수 있다.

Table 4. Performance evaluation indices of the U-Net model in this study

공장의 경우에는 축사와 다르게 공장부지(아스팔트)에 지어져 있고, 건물의 크기가 축사에 비해 상대적으로 크기 때문에 일반 건물(비대상지)과 혼동되는 경우가 적었을 것으로 판단된다. 태양광패널의 경우에는 육안으로 정성적인 평가하였을 때 대체로 매우 높은 분류 성능을 보였음에도 정량적이 수치는 비교적 낮은 값을 보였는데, 이는 태양광 패널의 픽셀 분포비율이 축사, 공장 객체에 비해 절대적으로 부족하여 생긴 결과로 해석할 수 있다.

정밀도와 재현율의 값을 확인하면 공장과 태양광 패널에 비해 축사의 경우 재현율이 정밀도와 값의 차이가 큰 것을 확인할 수 있다. 재현율은 실제 참값인 것 중에 모델이 참이라고 예측한 비율을 의미하는데, 해당 값이 낮다는 의미는 실제 라벨데이터와 비교했을 때 축사로 분류하지 못하거나 공장 또는 일반 건물로 잘못 분류하는 경우가 상대적으로 많았다고 해석할 수 있다. 이는 앞서 정성적으로 분석한 내용과 경향이 일치하는 것을 확인할 수 있다. 본 연구에서 사용한 U-Net 모델의 평균 IoU 값은 0.7025로 예측한 부분과 실제 참값 영역의 합집합에 대해 70% 이상의 비율로 맞게 분류하였음을 확인할 수 있다.

Fig. 7은 시험 데이터셋에 대한 모델의 Precision-Recall curve와 각 클래스별 평균 정밀도를 나타낸다. 평균 정밀도는 0~1 사이의 값을 가지고 1에 가까운 값을 나타낼수록 해당 클래스에 대한 모델의 분류 성능이 우수하다는 것을 알 수 있다. 본 연구에 사용된 모델의 평균 정밀도는 0.9662 값으로 높은 값을 보이는 반면, 각각의 클래스별 정밀도는 축사가 0.6329, 공장이 0.7235, 태양광 패널이 0.6889의 값으로 평균 정밀도에 비해 낮은 값을 보였다.

Fig. 7. Precision-recall curve of trained U-Net.

이와 같은 결과가 나온 이유는 512 × 512 패치 데이터 대부분의 영역을 차지하는 비대상지의 정밀도가 0.9824로 높은 값을 나타냈기 때문으로 판단할 수 있다. 따라서 비대상지가 매우 높은 비율을 차지하는 본 연구의 데이터셋과 같은 경우 모델의 평균 정밀도 값은 유의미한 분석을 도출하기 어렵다는 사실을 확인할 수 있다. 각각의 클래스별 정밀도는 공장, 축사, 태양광 패널 순서로 성능이 높게 도출되었으며, 이는 정성평가 및 F1 스코어를 통해 확인한 결과와 경향이 일치하는 것을 확인할 수 있다.

본 연구에서는 시험 데이터에 대한 정성적, 정량적 평가를 통해 축사, 공장 그리고 일반 건물에 대한 구분과 인식이 모델의 성능에 가장 큰 영향을 미친다는 사실을 확인하였다. 이는 실제 영상으로만 건물 이용에 대한 분류를 수행하는 것에는 한계가 있기 때문이며 이를 해결하기 위해서는 추가적인 데이터 또는 정보의 활용이 필요하다. 이에 따라 기타 행정 데이터를 추가 활용하거나, 축사 인접지는 대부분 논밭이며, 공장은 대부분 아스팔트 상에 존재하는 입지 특성 등을 고려하여 추가적인 연구가 필요할 것으로 보인다.

5. 결론

농촌지역은 현대에 들어서 그 가치가 주목받고 있으며 중요성 또한 점차 커지고 있다. 하지만 무질서한 개발과 미흡한 공간계획으로 인해 농촌 지역은 가치를 잃어가고 미래 농촌의 지속가능성 또한 위협받고 있는 상황이다. 주변 경관과 조화를 통해 농촌다움을 유지하면서 농촌 난개발 문제에 대응하기 위해서는 체계적인 정책의 수립과 공간 계획이 필요하다. 이를 위해서 우선적으로 농촌 위해시설에 대한 탐지와 모니터링을 통한 관리가 필요하며 농촌위해시설 데이터에 대한 체계적인 구축 및 관리 또한 선행되어야 한다. 위성 원격탐사를 통한 데이터의 취득 및 연구는 시간, 비용적이 측면에서 좋은 해결책이 될 수 있다.

본 연구에서는 이미지 의미적 객체 분할에서 효과적인 성능을 보여주고 있으며 활발하게 영상분할 기법에 적용되는 U-Net 모델을 사용하여 잠재적으로 농촌위해시설이 될 수 있는 축사, 공장, 태양광 패널에 대한 객체 분류를 진행하였다. 딥러닝 모델 학습을 위하여 축사, 공장, 태양광 패널에 대하여 라벨 데이터를 직접 제작하여 학습 및 추론을 진행하였고 F1 스코어 값이 공장 0.8418, 태양광패널 0.8104, 축사가 0.7789의 값으로 공장, 태양광패널, 축사 순으로 높은 성능을 보였다. 축사는 분류대상이 아닌 기타 건물 그리고 공장과 구분이 어려운 경우가 많이 존재하여 다른 분류 대상 객체에 비해 낮은 분류 성능을 보였다.

본 연구에서 가장 개선이 필요한 축사의 분류 성능을 높이기 위해서 건물의 구분을 위한 기타 행정 데이터를 추가 활용하거나 입지 특성을 고려하여 데이터의 구축 방식을 변경하는 등의 추가적인 방법을 향후 연구에서 다룰 예정이다. 본 연구를 통해 농촌위해시설에 대한 분류 가능성을 확인할 수 있었고, 연구의 결과는 “농촌”의 다양한 공간적 특징을 효율적으로 접근, 분석하기 위한 위성정보 활용 체계 마련과 향후 농촌공간계획 수립에 있어 기초자료 역할을 할 수 있을 것이라고 기대된다.