DOI QR코드

DOI QR Code

Exploratory Study of the Applicability of Kompsat 3/3A Satellite Pan-sharpened Imagery Using Semantic Segmentation Model

아리랑 3/3A호 위성 융합영상의 Semantic Segmentation을 통한 활용 가능성 탐색 연구

  • Chae, Hanseong (Department of Geography, Kyung Hee University) ;
  • Rhim, Heesoo (Department of Geography, Kyung Hee University) ;
  • Lee, Jaegwan (Industry-Academic Cooperation Foundation, Kyung Hee University) ;
  • Choi, Jinmu (Department of Geography, Kyung Hee University)
  • Received : 2022.11.23
  • Accepted : 2022.12.07
  • Published : 2022.12.31

Abstract

Roads are an essential factor in the physical functioning of modern society. The spatial information of the road has much longer update cycle than the traffic situation information, and it is necessary to generate the information faster and more accurately than now. In this study, as a way to achieve that goal, the Pan-sharpening technique was applied to satellite images of Kompsat 3 and 3A to improve spatial resolution. Then, the data were used for road extraction using the semantic segmentation technique, which has been actively researched recently. The acquired Kompsat 3/3A pan-sharpened images were trained by putting it into a U-Net based segmentation model along with Massachusetts road data, and the applicability of the images were evaluated. As a result of training and verification, it was found that the model prediction performance was maintained as long as certain conditions were maintained for the input image. Therefore, it is expected that the possibility of utilizing satellite images such as Kompsat satellite will be even higher if rich training data are constructed by applying a method that minimizes the impact of surrounding environmental conditions affecting models such as shadows and surface conditions.

도로는 현대사회의 기능이 물리적으로 작동하는 데 필수불가결한 요소이다. 교통상황정보에 비해 갱신 주기가 긴 도로공간 정보를 더 빠르고 정확하게 생성할 필요가 있다. 본 연구에서는 그 방법의 일환으로 아리랑 3호와 아리랑 3A호의 위성영상에 pan-sharpening 영상융합 기법을 적용하여 공간해상도를 향상시킨 영상자료를 최근 활발히 연구가 진행되고 있는 semantic segmentation 기법을 활용한 도로 추출에 활용하고자 하였다. 확보한 영상은 U-Net 기반의 segmentation 기법에 매사추세츠 도로데이터와 함께 투입하여 훈련하였고 아리랑 위성 융합영상의 모델 적용 가능성을 평가하였다. 훈련 및 검증 결과, 모델에 투입하는 영상에 대해 일정한 조건이 유지되는 한 일정한 모델 예측 성능을 유지하는 것으로 나타났다. 따라서 그림자와 지표면 상태와 같은 모델에 영향을 미치는 주변 환경 조건의 영향을 최소화하는 방법을 적용하여 풍부한 훈련자료를 구성한다면 아리랑위성과 같은 위성 영상의 활용 가능성이 더욱 높아질 것으로 기대된다.

Keywords

1. 서론

도로는 현대 사회의 물리적 기능이 문제없이 작동할 수 있도록 하는 지역 사회의 혈관이다. 도로는 국가에 의해 상태와 현황이 관리되고 있으며 법률을 통해 도로의 원활한 이용을 위하여 도로교통정보체계를 구축할 것을 국가의 책무로 명시하고 있을 만큼 중요성이 강조되고 있다(Ministry of Government Legislation, 2021). 도로정보는 정확성이 보장되어야 할 뿐만 아니라 변화를 빠르게 반영해야 한다. 도로정보 중 도로교통 상황에 대한 정보는 CCTV 등을 통하여 실시간으로 수집되어 관리되고 있으나 도로의 형태, 경계 정보 등이 포함된 공간 정보는 수치지형도를 통해 생성되고 있다. 수치지형도는 갱신 주기가 최소 2년으로 정보의 공백 기간이 상대적으로 길어 도로정보가 실제 현상을 반영하지 못하는 문제가 발생할 수 있다(Lee et al., 2008).

수치지형도는 갱신하는 데 긴 시간이 소요될 뿐 아니라 실제 측량 정보와 항공사진 등 많은 비용 및 재원이필요하다는 근본적인 한계를 가지고 있으므로 이 한계를 극복하기 위한 시도가 존재하였다(Lee et al., 2008; Lee et al., 2009). 또한 정확한 도로정보의 생성은 수치지형도의 갱신 주기에 의해 제한을 받기 때문에 수치지도 갱신사업과 무관하게 항공사진 및 위성영상 등 영상정보를 해석하여 도로 정보를 보다 빠르게 추출하고자 하는연구 역시 다수 수행되었다(Lee et al., 2007; Byun et al.,2011; Lee et al., 2014; Kim and Choi, 2022; Wang et al., 2022).도로정보를 빠르고 정확하게 추출하고자 하는 시도는전통적인 분류방법에서부터 추출 알고리즘 개발, 타 학문분야의 기법 융합 등 그 방법론을 가리지 않고 있다.

최근 급격히 발전한 컴퓨터 연산 능력을 사용하여딥러닝에서 사용되는 네트워크 구조인 ConvolutionalNeural Networks (CNN)을 사용한 의미론적 분할(semantic segmentation) 기법으로 도로를 추출하는 연구가 활발히 수행되고 있다. 특히 의학 분야에서의 영상 해석 능력 향상을 위해 제시된 U-Net 모델은 의학분야 뿐만 아니라 일반 이미지와 항공 및 위성영상의Segmentation에 매우 효과적이므로 U-Net 모델과 그에기반하여 수정된 다양한 모델을 이용한 도로 추출 연구가 수행되었다(Ronneberger et al., 2015). Zhang et al. (2018)은 U-Net과 유사한 구조를 나타내는 residual unit에 기반한 ResUnet을 제안하여 매사추세츠 도로 데이터셋에 대해 비교한 결과 기존의 U-Net 및 DeepLabV3+ 등기법보다 높은 정확도를 나타냈다. Tan et al. (2021)은U-Net과 유사한 구조의 모델을 개발하여 DeepGlobe데이터셋에 대해 기존의 segmentation 모델들 대비 정확도가 높고 기타 모델에서 누락한 도로 분절을 감지하는 등으로 효과적임을 확인하였다. Abdollahi et al. (2021)은 수정된 U-Net 모델에 학습과 정확도 향상을 위하여generative adversarial network 프레임워크를 융합하였고전체 정확도에서는 다른 기존 모델에 비해 낮았으나 정밀도와 재현율이 더 우수하였다.

위의 연구 사례를 보면, 지금까지의 도로 정보 추출연구는 U-Net 기반의 다양한 모델과 데이터셋 훈련을통해 높은 성과를 달성하고 있으나, 대부분 50 cm 이상의 공간 해상도를 가지는 항공사진이나 고해상도 영상에 기반하여 만들어진 데이터셋에 의존하고 있다. 영상자료의 공간해상도는 자료로부터 추출할 수 있는 정보의 양과 질에 영향을 줄 수 있으므로 모델의 성능 향상을 위해 해상도가 매우 높은 항공사진에 기반한 자료를사용하는 것이 좋다. 하지만 고해상도 항공사진은 자료의 생성과 처리 과정에 상당한 비용이 소모되며 쉽게자료에 접근하기 어렵다. 그보다 낮은 공간해상도를 가지는 위성자료의 경우 panchromatic 채널을 활용한 pansharpening 영상융합 기법(이하 pan-sharpening 기법)을사용하면 기존 다분광(multi-spectral) 영상의 자세한 분광 특성을 유지하면서 공간해상도를 높일 수 있다. 아리랑 3호/3A호 위성영상의 경우 기본 RGB 채널의 공간해상도가 2.2–2.8 m로 비교적 높으나 실제 도심에서의 폭 좁은 도로를 정밀하게 구분할만큼 충분히 높다고 볼 수 없다. 하지만 두 위성은 모두 panchromatic 채널을 포함하고 있으므로 pan-sharpening 기법을 사용하여 공간해상도를 향상시킬 수 있다.

따라서 본 연구에서는 pan-sharpening 기법을 적용하여 공간해상도를 향상시킨 아리랑 3호/3A호 위성영상을 semantic segmentation 모델에 사용하여 도로정보를 추출하고자 하였다. 이를 위해 아리랑 3호 및 3A호 위성영상에 대해 Gram-Schmidt 방법에 기반한 pansharpening 기법을 적용한 후 향상된 시각 정보의 구체성을 이용하여 도로 경계를 디지타이징(digitizing)하여 도로 라벨 데이터를 만들었다. 아리랑 위성 영상과 도로 라벨 데이터는 추가 데이터와 함께 U-Net 기반의 semantic segmentation 모델에 입력하여 훈련하였다. 훈련을 완료한 모델은 훈련에 사용하지 않은 자료에 대한 도로 예측자료를 생성하고 결과 평가 및 정확도 검증을 진행하였다.

2. 데이터 확보 및 전처리

본 연구에서는 pan-sharpening 기법을 적용하여 공간해상도를 높인 위성영상을 semantic segmentation 모델에 입력하여 도로정보를 추출하는 데 사용할 수 있는지 파악하고자 하였다. 이를 위해 미국을 대상으로 촬영한 아리랑 3호 및 3A호 위성영상을 한국항공우주연구원으로부터 제공받았다. 제공받은 영상 중 아리랑 3호의 영상은 일리노이 주 LaSalle 카운티 일대, 아리랑 3A호의 영상은 필라델피아 지역의 영상이다.

Table 1은 아리랑 3/3A호 위성영상의 밴드 별 파장과 공간해상도 정보를 나타낸 것으로 두 위성의 공간해상도는 각각 2.8 m와 2.2 m로 Landsat-8 및 Sentinel-2 위성과 같은 중해상도 영상에 비해 높다. 하지만 이는 국내 항공정사영상으로 제공되는 자료의 해상도에 해당하는 약 25 cm에서 51 cm 보다는 낮으며 이를 이용하여 도로의 윤곽을 정확히 구분하기 어려울 수 있다. 따라서 ArcMap에서 제공하는 Gram-Schmidt 방법에 따라 0.7 m 와 0.55 m로 공간해상도가 4배 높은 panchromatic 채널을 이용하여 pan-sharpening 과정을 진행하여 기존 RGB 밴드가 가지고 있던 분광 정보를 유지하면서도 공간해상도가 향상된 영상을 생성하였다.

Table 1. KOMPSAT-3 and KOMPSAT-3A band wavelength and spatial resolution (ESA, 2022a; 2022b)

OGCSBN_2022_v38n6_4_1889_t0001.png 이미지

도로추출을 위한 U-Net 기반의 모델을 훈련하기 위해 원천 영상 데이터와 함께 원천 영상 데이터에서 실제 도로에 해당하는 픽셀의 정보를 제공하는 라벨데이터가 필요하다. 라벨데이터는 영상자료에서 파악할 수 있는 가시정보와 함께 연구지역의 지도자료와 미국 인구조사국의 2018년, 2020년 topologically integrated geographic encoding & referencing (TIGER) 도로데이터 정보를 활용하여 도로의 윤곽을 포함하는 폴리곤(polygon)을 디지타이징하여 생성하였다. 이때, 제공받은 영상 중 필라델피아 지역의 영상은 위성 센서와 지표의 각도로 인해 생기는 기하학적 오류와 건물이 도로 위를 가리는 경우가 다수 존재하였다. 따라서 도로의 라벨데이터에서는 도로 위를 가린 건물이 포함되지 않도록 하여 라벨데이터가 영상에서 도로인 것으로 판단되는 영역만을 포함하도록 하였다. Fig. 1(a)는 2018년 2월 27일 필라델피아 지역을 촬영한 아리랑3A호 위성영상 중 약 72.74 km2에 해당하는 영상 데이터와 도로 라벨 데이터를 생성하여 추출한 것이고 Fig. 1(b)는 2020년 3월 7일 촬영된 일리노이 주 LaSalle 카운티 지역 중 약 11.46 km2에 대해 동일한 데이터를 생성하여 추출한 것이다. 추출한 영상은 이후 U-Net 기반의 segmentation 모델에 입력할 수 있도록 8비트로 방사해상도를 낮추고 공간해상도는 유지한 상태에서 1,500 × 1,500 픽셀 크기로 25%만큼 중첩되게 나누어 총 197쌍의 영상과 라벨 데이터를 구성하였다.

OGCSBN_2022_v38n6_4_1889_f0001.png 이미지

Fig. 1. Kompsat3/3A images and road label image: (a) Philadelphia region and (b) LaSalle County region

이 때 모델의 훈련에는 많은 양의 데이터가 필요하므로 본 연구에서 선택한 아리랑 위성영상을 사용하여 만든 데이터 이외에 추가적으로 매사추세츠 도로 데이터셋을 사용하였다. 매사추세츠 도로 데이터셋은 미국 매사추세츠 주 지역을 촬영한 1 m 해상도의 항공사진으로, 개별 사진이 2.25 km2의 영역을 포함하며 전체 데이터셋이 포함하는 영역은 2,600 km2로 시가지와 교외 및 농촌을 포함하는 1,171쌍의 영상 및 라벨 데이터로 구성되어 있다(Mnih, 2013). 또한 이 데이터의 공간적 범위는 다양한 도로 데이터셋 중에서도 연구 대상지역인 LaSalle 카운티 및 필라델피아와 상대적으로 가깝다. 그러므로 매사추세츠 도로 데이터셋에 나타나는 자연적 인문적 경관 및 환경은 본 연구에서 확보한 아리랑 위성 영상에서 나타나는 것과 유사할 것으로 판단되었다.

매사추세츠 도로 데이터에 구성된 총 1,171쌍의 데이터 중 1,108쌍의 훈련 데이터와 14쌍의 훈련 중 검증 데이터 그리고 49쌍의 훈련 후 검증 데이터는 아리랑 3호 및 3A호 위성영상을 가공하여 얻은 총 197쌍의 데이터를 155쌍의 훈련 데이터와 14쌍의 훈련 중 검증 데이터 그리고 28쌍의 데이터를 훈련 후 검증 데이터로 구분하여 함께 사용할 수 있도록 하였다. Fig. 2는 기존의 매사추세츠 도로데이터와 아리랑위성영상과 각각의 라벨데이터를 모델에 투입한 후 모델이 인식하기 쉽도록 변환한 상태의 데이터를 하나씩 나타낸 것으로, Fig. 2(a)는 매사추세츠 도로데이터를, Fig. 2(b)는 필라델피아 지역의 아리랑 3A호 자료를 나타낸 것이다. 각각의 데이터는 원본 영상 데이터와 도로 픽셀 여부를 0과 255의 값으로 구분하는 라벨 데이터로 구분되어 있다. 라벨 데이터는 모델 학습의 효율성을 위해 라벨 데이터의 값을 0과 1로 구분하는 one-hot 형식의 데이터로 전환되어 사용된다.

OGCSBN_2022_v38n6_4_1889_f0002.png 이미지

Fig. 2. Training sample image and label data: (a) Massachusetts road data and (b) Kompsat-3A data.

3. Semantic segmentation 모델

본 연구에서는 도로 추출을 위한 segmentation 모델로 Pytorch 라이브러리 기반의 U-Net 모델을 사용하였다. U-Net 모델은 특징적인 U자 모양의 대칭적 네트워크 구조를 가지고 있는 모델로, 하위 레이어로 내려가며 영상의 픽셀 정보에서 특징을 찾아내는 encoding 과정에서 손실될 수 있는 위치 정보를 유지할 수 있도록 고해상도의 특징 정보를 encoder 레이어에 연결하여 위치정보의 정확성을 유지할 수 있다(Ronneberger et al., 2015). 모델의 세부 설정과 기타 매개변수 설정은 encoder를 Resnet50으로 선택한 것 이외에는 모델에서 기본값으로 설정되어 있는 수치를 그대로 사용하였다. 모델을 훈련하기 위해 위에서 구성한 아리랑 위성 영상 기반의 영상 데이터와 라벨 데이터 및 매사추세츠 도로 데이터셋을 종합하여 모델에 투입하였다. 또한 적은 데이터를 사용해서 생길 수 있는 과적합을 줄이고 segmentation 결과를 향상시키기 위해 모델의 반복 시행마다 무작위로 영상을 회전하고 확대하거나 잘라내서 추가 자료로 사용하는 데이터 증강 기법을 적용하였다. 훈련의 batch 크기는 16, learning rate는 0.00008로 설정하였다(Balraj, 2020). U-Net 모델 훈련 반복 수는 훈련 중 검증 지표가 90%가 될 때까지 반복하도록 설정하여 해당 지표가 90.03%에 도달하였을 때 훈련을 종료하였다. 모델의 훈련을 위해 사용한 환경은 Table 2에서 나타낸 것과 같다.

Table 2. System specifications for model training

OGCSBN_2022_v38n6_4_1889_t0002.png 이미지

4. 도로 정보 추출 결과

아리랑위성 영상을 사용하여 훈련을 완료한 모델을 사용하여 도로를 추출한 결과는 훈련 데이터에 포함시키지 않은 검증 데이터를 이용하여 시각화 하였다. 또한 모델의 전반적 성능을 평가하고 실제 예측 및 추출 결과의 정확도를 검증하여 그 결과를 Table 3에 정리하였다. 모델의 성능을 평가하는 기준으로 라벨 데이터에서 도로로 지정된 영역과 모델의 훈련 검증 결과를 통해 예측한 도로의 영역 중 중첩되는 영역의 비율을 평균으로 계산한 mean Intersection over Union (mIoU)가 semantic segmentation 분야에서 일반적으로 사용되고 있으므로 mIoU를 사용하였다(Park et al., 2020; Oh et al., 2022). 모델은 앞에서 설정한 것과 같이 약 0.9003의 mIoU 수준에서 훈련이 완료되었으므로 훈련 후 검증 데이터셋에 대해 검증 진행 결과 약 0.8752의 mIoU 점수와 약 0.067의 검증 손실을 기록하였다. 영상자료에 대한 예측 결과의 정확도는 딥러닝 기법에 기반한 원격탐사 연구 중에서도 본 연구의 사례와 같이 분류되는 클래스의 비율이 크게 다른 이분법적 분할(binary segmentation) 방식에서 가장 빈번히 사용되는 방법인 전체 픽셀 정확도 및 F1 점수에 기반한 검증 방법을 사용하여 검증하였다(Maxwell et al., 2021). 검증 데이터에 대한 전체 픽셀 정확도는 라벨 데이터와 모델 예측 데이터의 모든 픽셀에 대해 도로나 도로가 아닌 것의 일치율을 계산한 것이다. 본 연구에서훈련한 모델의 검증 데이터에 대한 전체 픽셀 정확도는약 0.9622로 나타났다. F1 점수는 모델의 예측 결과에 대한 정밀도(precision)와 재현율(recall)의 조화평균으로 계산하며 검증 데이터셋에 대한 F1 점수는 약 0.7537로 나타났다.

Table 3. Accuracy assessment of the model training results

OGCSBN_2022_v38n6_4_1889_t0003.png 이미지

Fig. 3은 훈련을 완료한 모델을 이용하여 훈련 후 검증 데이터를 시각화한 것 중 매사추세츠 데이터에서 훈련 후 검증 데이터로 구분된 것 만을 나타낸 것이다. (a)의 영상은 실제 투입 영상 데이터를 의미하며 (b)는 정답지로서의 라벨 데이터, 그리고 (c)는 모델의 도로 예측 결과를 의미한다. 매사추세츠 도로 데이터의 예측 결과의 경우 전반적인 예측 결과가 라벨 데이터와 상당 부분 일치하는 것을 볼 수 있다.

OGCSBN_2022_v38n6_4_1889_f0003.png 이미지

Fig. 3. Good prediction images of Massachusetts road data: (a) original image, (b) label image, and (c) predicted image

Fig. 4는 필라델피아 지역의 아리랑3A호 위성영상 데이터 중 예측 결과의 참조자료 대비 유사성이 높은 영상 몇 개를 표현한 것이다. Fig. 4의 1(a)부터 1(c)까지의 경우 전반적인 도로의 형태와 구조가 잘 재현되었다. 2(a)부터 2(c)까지의 경우는 전체적으로 건물의 그림자가 도로에 미치는 영향이 적어 결과에서 나타낸 도로 형태의 유사성 역시 높다. 3(a)부터 3(c)까지의 경우에도 유사한 경향이 나타나며 빨간 원으로 표시한 부분과 같이 라벨 데이터 생성 과정에서 누락되거나 주택 단지 내의 도로로 판단하여 도로 라벨에 포함시키지 않은 누락된 픽셀들이 여럿 포함된 것을 볼 수 있다. 또한 F1 점수의 평균도 약 0.8603으로 나타나 전반적으로 도로가 잘 예측된 것을 확인할 수 있다.

OGCSBN_2022_v38n6_4_1889_f0004.png 이미지

Fig. 4. Good prediction images of Philadelphia regions of KOMPSAT-3A image: (a) original image, (b) label image, and (c) predicted image.

Fig. 5는 필라델피아 지역의 영상 중 예측 결과와 참조 자료의 유사성이 낮거나 중요한 부분을 누락한 사례를 나타낸 것인데, 도심지에서 그림자가 드리워진 부분과 공단 지역에서 도로가 비포장 상태이거나 흙먼지가 많은 경우 대부분 도로로 포함되지 않는 것을 확인할 수 있다. Fig. 5-(1)의 경우는 F1 점수가 약 0.8501로 낮지 않으나 빨간색 원으로 표시한 부분에서 대형 건물의 그림자가 도로를 가려 도로의 폭이 넓음에도 불구하고 모델이 도로로 예측하지 못하였다. Fig. 5-(2) 및 Fig. 5-(3)의 경우는 도로로 예측하지 못한 부분도 많으며 F1 점수도 평균 약 0.3에 불과하였다.

OGCSBN_2022_v38n6_4_1889_f0005.png 이미지

Fig. 5. Poor prediction images of Philadelphia regions of KOMPSAT-3A image: (a) original image, (b) label image, and (c) predicted image.

Fig. 6 역시 일리노이 주 LaSalle 카운티 지역에 대한 예측 결과가 전반적으로 참조 자료 대비 유사성이 낮은 것을 확인할 수 있다. Fig. 6-(1)과 Fig. 6-(2) 모두 주요 간선 도로의 일부 또는 대부분이 예측 결과에 포함되지 않았고 Fig. 6-(3)의 경우는 어떤 픽셀도 도로로 포함되지 못했다. 전체적으로 일리노이 주 데이터는 F1 점수가 매우 낮았으며 평균 약 0.1에 불과하여 전체 평균 F1 점수가 낮아지는데 영향을 주었다. 이는 훈련에 투입한 일리노이 주 지역의 훈련 데이터가 부족할 뿐만 아니라 원본 영상 데이터의 픽셀 값 분포가 다른 자료와 달리 매우 낮은 값을 나타내고 있어 농경 평원 지대를 지나는 해당 지역 도로 피복의 독특한 분광 특성을 모델이 충분히 학습하지 못하였기 때문인 것으로 판단된다. 일리노이 주 지역의 훈련 데이터는 영상의 시인성 향상을 위해 대비 향상 작업이 진행되었음에도 예측 결과가 크게 향상되지 않았으며 추가적인 영상 처리 작업을 고안하거나 더 풍부한 훈련 자료를 투입해야 할 것으로 보인다.

OGCSBN_2022_v38n6_4_1889_f0006.png 이미지

Fig. 6. Poor prediction images of LaSalle regions of KOMPSAT-3 image: (a) original image, (b) label image, and (c) predicted image.

아리랑 3호 및 3A호 위성 영상에 pan-sharpening 기법을 적용하고 semantic segmentation 모델을 이용하여 도로 정보를 추출한 결과는 다음과 같다. 본 연구에서는 U-Net 기반의 모델을 사용하여 약 1천여장의 훈련 및 검증데이터만을 가지고도 비교적 높은 모델 훈련 성능을 개인 사용자가 구성 가능한 환경에서 단기간(약 8시간)에 달성할 수 있었다. 훈련된 모델을 이용해 산출한 도로 예측 결과를 평가한 결과 위성의 광학 센서와 지표면 사이 각도가 일정 수준 이하인 nadir 지역에 해당하는 지역은 모델이 도로 피복의 특성을 충분히 학습하여 예측 정확도 역시 높았다. 하지만 nadir 바깥에 해당하는 off-nadir 지역의 영상에서는 도로 윤곽에 대한 온전한 정보를 포함하기 어려우므로 정확한 결과를 기대하기 어려운 것으로 보이며 이 지역의 자료는 제외하거나 off-nadir로 인한 영향을 줄일 수 있는 방법을 고려해야 한다. 또한 Fig. 5와 Fig. 6에서 확인한 바와 같이 기존에 주로 학습한 자료와 공간적 혹은 분광 특징이 다른 자료의 경우는 해당 자료의 특징을 효과적으로 예측하기 위해 보다 더 충분한 학습 데이터가 필요할 것으로 판단된다.

5. 논의 및 결론

본 연구에서는 도로의 위치와 상태 등에 대한 정보를 추출하기 위해 2.8 m 및 2.2 m의 공간해상도를 가진 아리랑 3호 및 3A호 위성영상에 pan-sharpening 기법을 적용한 융합영상에 대해 semantic segmentation 모델 활용 가능성을 평가하기 위해 도로정보를 추출하고 그 결과를 평가하였다. 이를 위해 일리노이 주 및 필라델피아 지역의 아리랑위성 3호 및 3A호 영상자료를 확보하였다. 아리랑위성 자료는 직접 디지타이징 방법을 사용해 도로 라벨 데이터로 구성하였다. 이 자료는 매사추세츠 도로데이터와 함께 U-Net 기반의 모델에 투입하여 훈련하였고 모델의 도로 예측 및 분류 데이터를 생성하였다. 훈련 중 달성된 모델의 최대 성능 지표인 mIoU 점수는 0.9003이며 검증 데이터에 적용하였을 때 mIoU가 0.8752로 나타났다. 전체 예측 결과에 대한 픽셀분류 정확도는 0.9622, F1 점수는 0.7537로 나타나 최적의 조건을 가진 자료를 충분히 구성하여 학습한 기존의 모델 정확도보다는 낮게 나타났다. 이는 모델의 결과물 예측 능력이 자료에 포함된 지표 피복 및 환경의 조건에 따라 크게 영향을 받기 때문인 것으로 보인다. 자료에 off-nadir 위치의 지역이 포함되어 영상에서 도로 위에 그림자 및 건물 상층부 등이 나타나는 것은 모델이 온전한 도로의 형태에 대한 정보를 훈련하고 예측해 내는 데 큰 방해 요소로 나타났으며 비포장도로 혹은 흙먼지의 비율이 높은 도로도 예측 결과가 정확하지 않았다. 모델의 효과적인 훈련과 예측을 방해하는 요소를제거하거나 그 영향을 최소화하는 방법을 적용하여 자료를 구성한다면 모델의 학습 효율성과 예측 정확도는 더욱 향상될 수 있다.

본 연구에서 확인한 바와 같이 pan-sharpening 기법이 적용된 자료를 사용하더라도 훈련을 위한 자료를 구성한 후 semantic segmentation 모델에 투입하여 효과적으로 도로 피복에 대한 정보를 추출할 수 있다. 특히 도로를 구성하는 피복의 상태와, 주변 자연 및 인문 환경 조건은 다양할 수 있으므로 추후 이런 조건의 변화를 고려하고 그 영향을 최소화할 수 있도록 하는 자료 처리방법을 구성하거나 사용한다면 모델을 더욱 효과적으로 사용할 수 있다. 도로추출 뿐 아니라 다른 다양한 지표 피복 정보를 추출하고 사용하는 데에도 본 연구에서 제시한 방법을 활용한다면 저고도에서 지표면을 촬영한 항공사진과 동일한 수준의 공간 해상도를 달성하기 힘든 기존의 저해상도 다분광 위성 영상에 대해서도 그 정보의 활용성이 높아질 것으로 기대된다. 특히 아리랑3호 및 3A호 위성과 같이 이미 높은 수준의 공간해상도를 가지고 있는 자료의 경우 그 효과가 더 높게 나타날 수 있다. 이를 통해 효율적인 데이터 구성과 모델의 훈련 등의 과정을 구성한다면 빠르고 정확하게 도로 등에 대한 공간 정보를 추출하여 도로공간정보 관리의 효율성을 더욱 높일 수 있을 것으로 기대된다.

사사

이 논문은 행정안전부 지능형 상황관리 기술개발사업의 지원을 받아 수행된 연구임(2021-MOIS37-003).

References

  1. Abdollahi, A., B. Pradhan, G. Sharma, K.N.A. Maulud, and A. Alamri, 2021. Improving Road Semantic Segmentation Using Generative Adversarial Network, IEEE Access, 9: 64381-64392. https://doi.org/10.1109/ACCESS.2021.3075951
  2. Balraj, A., 2020. UNet (ResNet50 frontend) Road Segmentation PyTorch, https://www.kaggle.com/code/balraj98/unet-resnet50-frontend-roadsegmentation-pytorch, Accessed on Nov. 10, 2022.
  3. Byun, Y.G., Y.K. Han, and T.B. Chae, 2011. Road Extraction from High Resolution Satellite Image Using Object-based Road Model, Korean Journal of Remote Sensing, 27(4): 421-433 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2011.27.4.421
  4. ESA (European Space Agency), 2022a. KOMPSAT-3, https://www.eoportal.org/satellite-missions/kompsat3#eos-electro-optical-subsystem, Accessed on Nov. 10, 2022.
  5. ESA (European Space Agency), 2022b. KOMPSAT-3A, https://www.eoportal.org/satellite-missions/kompsat3a#eop-quick-facts-section, Accessed on Nov. 10, 2022.
  6. Kim, H.S. and K.H. Choi, 2022. A Framework of 3D Road Extraction and Update Using Drone Images, Journal of the Korea Academia-Industrial, 23(5): 572-579 (in Korean with English abstract). https://doi.org/10.5762/KAIS.2022.23.5.572
  7. Lee, D.H., J.H. Kim, and H.M. Choi, 2007. Histogram-based road border line extractor for road extraction from satellite imagery, Journal of the Institute of Electronics Engineers of Korea SP, 44(5): 27-34 (in Korean with English abstract).
  8. Lee, H.J., K.J. Park, and C. Park, 2009. Analysis of Application and Economical Efficiency on Next Generation Digital Maps on Demand Updating System, Journal of the Korean Society for Geospatial Information Science, 17(2): 133-143 (in Korean with English abstract).
  9. Lee, J.K., K.J. Lee, and S.H. Ju, 2008. Development of Digital Map On-demand Updating System, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 26(5): 537-546 (in Korean with English abstract).
  10. Lee, K.M., S.Y. Go, K.M. Kim, and G.S. Cho, 2014. Extracting Method The New Roads by Using High-resolution Aerial Orthophotos, Journal of the Korean Society for Geospatial Information System, 22(3): 3-10 (in Korean with English abstract). https://doi.org/10.7319/kogsis.2014.22.3.003
  11. Maxwell, A.E., T.A. Warner, and L.A. Guillen, 2021. Accuracy Assessment in Convolutional Neural Network-Based Deep Learning Remote Sensing Studies-Part 2: Recommendations and Best Practices, Remote Sensing, 13(13): 2591. https://doi.org/10.3390/rs13132591
  12. Ministry of Government Legislation, 2021. Road Act, https://elaw.klri.re.kr/kor_service/lawView.do?hseq=49884&lang=ENG, Accessed on Nov. 10, 2022.
  13. Mnih, V., 2013. Machine Learning for Aerial Image Labeling, University of Toronto, Toronto, ON, Canada.
  14. Oh, H.Y., S.B. Jeon, G. Kim, and M.H. Jeong, 2022. Road Extraction from Images Using Semantic Segmentation Algorithm, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 40(3): 237-247 (in Korean with English abstract). https://doi.org/10.7848/ksgpc.2022.40.3.239
  15. Park, S.J., J.H. Han, and S.M. Young, 2020. Efficient Deep Neural Network Architecture based on Semantic Segmentation for Paved Road Detection, Journal of the Korea Institute of Information and Communication Engineering, 24(11): 1437-1444 (in Korean with English abstract). https://doi.org/10.6109/jkiice.2020.24.11.1437
  16. Ronneberger, O., P. Fischer, and T. Brox, 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation, Proc. of Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015, Munich, Germany, Oct. 5-9. vol. 9351, pp. 234-241. https://doi.org/10.1007/978-3-319-24574-4_28
  17. Tan, J.H., M. Gao, K. Yang, and T. Duan, 2021. Remote Sensing Road Extraction by Road Segmentation Network, Applied Science, 11(11): 5050. https://doi.org/10.3390/app11115050
  18. Wang, G., C. Ma, and X. Liang, 2022. Application of Road Extraction from High-Resolution Remote Sensing Images in Tourism Navigation and GIS, Wireless Communications and Mobile Computing, 2022: 1-8. https://doi.org/10.1155/2022/2422030
  19. Zhang, Z.X., Q.J. Liu, and Y.H. Wang, 2018. Road Extraction by Deep Residual U-Net, IEEE Geoscience and Remote Sensing Letters, 15(5): 749-753. https://doi.org/10.1109/LGRS.2018.2802944